Janubiy Afrikadagi tadqiqotchilar afrikalik tillar oldidagi raqamli davrdagi asosiy muammolardan birini hal qilish uchun dasturiy vositani ishlab chiqdilar va u hozirda butun dunyo olimlari tomonidan qoʻllanilmoqda.
TextAugment deb nomlangan bu vosita ishlab chiquvchilarga sunʼiy intellekt tizimlarini oʻqitish uchun zarur boʻlgan katta hajmdagi raqamli matn mavjud boʻlmaganda til texnologiyalarini yaratishga yordam berish uchun yaratilgan. Ochiq kodli dasturiy taʼminot Pretoria universiteti Absa UP Data Science kursi direktori va AfriDSAI (Afrika maʼlumotlar va AI ilmiy instituti) professori Vukosi Marivate hamda Tshephisho Sefara tadqiqotchisi tomonidan ishlab chiqilgan. Hozirgi kunda ushbu vosita 286 000 dan ortiq yuklab olingan va suahili, arab tili va oʻzbek tili kabi tillar bilan ishlashda qoʻllanilmoqda.
Bu dasturiy taʼminotning tarqalishi 16-iyul kuni qayd etildi, chunki Marivate va TextAugment jamoasi inson til texnologiyalari boʻyicha birinchi NSTF-SADiLaR Research Software Award mukofotini olgan. Bu mukofot kam raqamli resurslarga ega tillar uchun sintezlangan oʻquv maʼlumotlarini yaratishga yordam beradigan ochiq kodli dasturiy taʼminot yaratish uchun beriladi.
Tan olish Marivate uchun yaqinda berilgan mukofotlar seriyasining bir qismi boʻldi. 19-may kuni Gʻarankuvda tugʻilgan kompyuter olimi Maʼlumotlar ilmi, sunʼiy intellekt va tabiiy tilni qayta ishlash sohasidagi hissasi uchun Mapungubwe Kumush Ordeniga sazovor boʻldi. Prezidentligi uning ishini yuqori baholadi, «u milliy va kontinental texnologik imkoniyatlarni sezilarli darajada ilgari surgan maʼlumotlar ilmi, sunʼiy intellekt (AI) va tabiiy tilni qayta ishlash (NLP) sohasidagi aʼlo hissasini» taʼkidladi.
Biroq, uning faoliyati shunchaki mashinalarni tilni tushunishga oʻrgatishdan tashqarida. U kengroq savolni qoʻyadi: agar kelajakni shakllantiruvchi texnologiyalar millionlab odamlar gapiradigan tillarni tushuna olmasa nima boʻladi? U «faqat AI mavjudligi odamlarga haqiqatda taʼsir qilish uchun yetarli emas»; har qanday texnologiyaning ijobiy jihatlarini kuchaytirish va salbiy oqibatlarini minimallashtirish uchun mos sharoitlar yaratilishi kerakligini taʼkidladi.
Tadqiqotlarda afrikalik tillari «past resursli tillar» sifatida tasniflanadi. Marivate fikricha, bu bunday tillarning kam gapiruvchisi yoʻqligini anglatmaydi, balki ularda mashinalar samarali qayta ishlashi uchun raqamli maʼlumotlar va vositalar yetishmasligini anglatadi. U «past resursli tillar (masalan, isiZulu, Sesotho yoki Yoruba) uchun ishonchli mashinaviy oʻrganish modellarini oʻqitishdagi eng katta toʻsiqlardan biri maʼlumotlar yetishmasligidir. Anʼanaviy AI modellariga yaxshi ishlash uchun juda koʻp toza, belgilangan maʼlumotlar talab qilinadi. Agar bunday maʼlumotlar mavjud boʻlmasa, bu tillar aslida zamonaviy AI inqilobidan chetda qoladi» deb tushuntirdi.
Afrikalik tillarni AI dan chetda qoldiradigan maʼlumotlar muammosi
Bu boʻshliq odamlar onlayn tizimlar bilan oʻzaro aloqada boʻlganda ayniqsa aniq boʻladi. Masalan, kayfiyatni tahlil qilish tizimlari onlayndagi fikr-mulohazaning ijobiy, salbiy yoki neytral ekanligini aniqlashi mumkin. Ammo asosan ingliz tiliga moʻljallangan tizimlar afrikalik tillar uchun shu xizmatni avtomatik ravishda taqdim eta olmaydi.
Marivate shunday dedi: «Janubiy Afrikada bizda 12 ta rasmiy til bor va biz aslida aholimizning aksariyatini xizmat koʻrsatmayapmiz. Barcha bu onlayn tizimlar bilan oʻzaro aloqada boʻlish uchun sizni ingliz tilida yozishga majburlaydilar, chunki qayta ishlash shu tarzda amalga oshiriladi».
Til millionlab lugʻatga ega boʻlishi mumkin, ammo internetda zaif ifodalangan boʻlishi mumkin. Aynan shu yerda Marivatening eng koʻp ishlatiladigan tadqiqot vositalaridan biri ishga tushadi. TextAugment yuqori sifatli til maʼlumotlari tanqisligini bartaraf etishga yordam berish uchun yaratilgan. Vosita mavjud maʼlumotlar toʻplamlarini sintez yordamida kengaytirish orqali ishlaydi, jumladan, gaplardagi soʻzlarni asl maʼnoni saqlab qolishga urinib, sinonimlar bilan almashtirishni oʻz ichiga oladi.
Bu texnologiya tarjima, kayfiyatni tahlil qilish, xulosa chiqarish va boshqa tilni qayta ishlash vazifalarini qoʻllab-quvvatlaydi. Shuningdek, u tadqiqotchilarga imlo tekshiruvi va nutqni qayta ishlash tizimlari kabi vositalarni yaratishga yordam beradi. Natijada, TextAugment Marivate jamoasidan tashqaridagi tadqiqotchilar foydalanishi uchun ochiq kodli dasturiy taʼminot sifatida chiqarildi. Udan beri u suahili, oʻzbek va arab tili kabi tillar bilan ishlaydigan tadqiqotchilar tomonidan qoʻllanilmoqda.
Faqat soʻzlardan koʻproq tushunadigan AI yaratish
Biroq, AI modellar uchun til maʼlumotlari hajmini oshirish muammoning faqat bir qismi. Afrikalik tillar madaniy qiymatlar, idiomalar va maqollarni oʻz ichiga oladi, ularni har doim soʻzma-soʻz tarjima qilish mumkin emas. Marivate baʼzi augmentatsiya usullari cheklovlarga ega ekanligini tan oladi, chunki soʻzni sinonim bilan almashtirish uning ishlatilayotgan kontekstini hisobga olmasligi mumkin.
U shunday dedi: «Ingliz tilida yozish va keyin uni isiXhosa tiliga tarjima qilish, isiXhosa tilida yozuvchi odam kabi emas, chunki ular madaniyat, geografiya va ichkaridagi koʻplab narsalarni qamrab oladigan tarzda yozadilar».
Marivate uchun afrikalik til texnologiyalari ingliz tilidagi tizimlarni olib, ularni afrikalik soʻzlarni chiqarishga majburlashdan iborat boʻlishi kerak emas. Texnologiya bu tillar ishlatilayotgan madaniy kontekst bilan oʻzaro aloqaga kirishish qobiliyatiga ega boʻlishi kerak. Shu sababli, uning tadqiqot guruhlari isiZulu va Tshivenda kabi afrikalik tillardagi idiomalarni va maqollarni AI modellarining qanday tushunishini oʻrganmoqda.
Muammo faqat AI individual soʻzlarni qanday qayta ishlashi bilan bogʻliq emas. Kimlarning tillari va bilimlari AI da aks etganligi haqidagi kengroq savol Ghana universiteti vitse-kansleri, professor Nana Aba Appiah Amfo tomonidan 2026 yil York universiteti mukofot nutqida koʻrib chiqildi. «Qaysi til muhim? Afrikalik ovozlar, bilimlar tizimlari va AI kelajagi» nomli nutqida Amfo yangi texnologiyalarda tillarning chetda qolishining oqibatlarini oʻrgandi va AI tizimlarida kimning bilimlari aks etganligi haqidagi umumiy farazlarni inkor etdi.
Uning soʻzlariga koʻra, afrikalik tillarning raqamli ekotizimlarda mavjud emasligi nafaqat texnik cheklov, balki vakillik va kiritilish masalasidir. U shunday dedi: «Til raqamli korpusda mavjud boʻlmasa, bu shunchaki tarjima muammosi emas. Bu koʻrinish muammosi. Bu bilimlar muammosi. Va oxir-oqibat, bu adolat masalasi».
AI ning Afrikada rivojlanishini ChatGPT paydo boʻlishi bilan boshlangan deb tasavvur qilish oson. Marivate bu narrativni rad etadi. U oʻn yildan ortiq vaqtdan beri rivojlanayotgan afrikalik AI ekotizimiga ishora qiladi. Deep Learning Indaba konferensiyasi 2016 yilda afrikalik tadqiqotchilar, AI sohasidagi ishlab chiquvchilar va innovatsionlar uchun uchrashuv sifatida boshlandi. 2026 yildagi Lagosdagi uchrashuvda taxminan 1000 kishi ishtirok etdi. Marivate maʼlumotlariga koʻra, 2019 yilda ushbu kengroq jamoadan paydo boʻlgan Masakhane tadqiqot fondi 3000 dan ortiq afrikalik tillar ustida ishlaydigan tadqiqotchilar va innovatsionlarga oʻsdi. Marivate taʼkidladi: «Afrikalik AI ekotizimi kutmadi. Ular kutmadilar; bu tashkilotlar oʻn yil oldin boshlandi».
Tilning oʻziga bevosita sarmoya kiritish zarur, shu jumladan raqamli vositalar, tadqiqot potentsiali va taʼlimni ishlab chiqish. Hukumatlar va xususiy kompaniyalar ham boshqa joylarda yaratilgan tizimlarni shunchaki import qilish yoki qayta sotish oʻrniga mahalliy ishlab chiqilgan texnologiyalarni qoʻllab-quvvatlashi kerak. U, afrikalik texnologik kompaniyalar va tadqiqotchilarni qoʻllab-quvvatlovchi xaridlar va investitsiyalar boʻlmasa, barqaror ekotizim paydo boʻla olmasligini taʼkidlaydi. Bu ayniqsa muhim, chunki notoʻgʻri ishlaydigan AI tizimlari noqulayliklardan tashqari oqibatlarga ega boʻlishi mumkin. Marivate ogohlantiradiki, agar AI xizmati ingliz tilida yaxshi ishlasa, lekin afrikalik tilda ishonchsiz natijalar bersa, foydalanuvchilar texnologiya barcha tillarda teng darajada qodir deb xato fikrlashi mumkin, bu esa haqiqatan zararli tajribaga olib kelishi mumkin.
Uning ishining keyingi bosqichi mavjud katta til modellarining afrikalik tillarda qanchalik yaxshi ishlayotganini baholashdir. U Afrika hali ham xorijda ishlab chiqilgan texnologiyalarga juda bogʻliqligini tan oladi. Biroq, u mahalliy ilmiy-tadqiqot salohiyatini yaratish kontinentga texnologik oʻzgarishlarni faqat reaksiyaga kirish oʻrniga oldindan koʻrish imkonini berishini hisoblaydi. U xulosa qildi: «Biz oʻzimiz qurishimiz kerak, shundan soʻng uni yaxshiroq qilishni oʻrganishimiz kerak».
TextAugment dastlab afrikalik tillarning cheklangan raqamli ifodasiga javoban paydo boʻldi. Uning qabul qilinishi kengroq imkoniyatni namoyish etadi: afrikalik tadqiqotchilar kontinent realiyatlariga mos keladigan yechimlarni yaratganda, ular global ahamiyatga ega texnologiyalarni ishlab chiqarishi mumkin.