दक्षिण अफ्रीका में विकसित उपकरण सीमित संसाधनों वाली भाषाओं को कृत्रिम बुद्धिमत्ता के युग में प्रवेश करने में मदद करता है

दक्षिण अफ्रीका के शोधकर्ताओं ने एक सॉफ्टवेयर उपकरण विकसित किया है जिसका उद्देश्य डिजिटल युग में अफ्रीकी भाषाओं के सामने आने वाली एक प्रमुख समस्या का समाधान करना है, और अब इसका उपयोग दुनिया भर के वैज्ञानिक कर रहे हैं।

यह उपकरण, जिसे टेक्स्टऑगमेंट (TextAugment) नाम दिया गया है, डेवलपर्स की मदद करने के लिए बनाया गया है जब उनके पास आर्टिफिशियल इंटेलिजेंस सिस्टम को प्रशिक्षित करने के लिए आवश्यक बड़ी मात्रा में डिजिटल पाठ उपलब्ध नहीं होता है। यह ओपन-सोर्स सॉफ्टवेयर प्रोफेसर वुकोसी मारिवाइटे (Vukosi Marivate) द्वारा विकसित किया गया था, जो अफ्रीकी डेटा साइंस एंड एआई इंस्टीट्यूट (AfriDSAI) के निदेशक और प्रेटोरिया विश्वविद्यालय में एब्सा यूपी चेयर ऑफ डेटा साइंस के धारक हैं, साथ ही शोधकर्ता तशेफिशो सेफारा (Tshephisho Sefara) भी हैं। वर्तमान में, इस उपकरण ने 286,000 से अधिक डाउनलोड दर्ज किए हैं और स्वाहिली, अरबी और उज़्बेक जैसी भाषाओं के साथ काम करने में उपयोग किया जाता है।

इस सॉफ्टवेयर के प्रसार को 16 जुलाई को चिह्नित किया गया था, जब मारिवाइटे और टेक्स्टऑगमेंट टीम को मानव भाषा प्रौद्योगिकियों के लिए पहला एनएसटीएफ-एसएडीआईएलएआर रिसर्च सॉफ्टवेयर अवार्ड मिला। यह पुरस्कार ओपन-सोर्स सॉफ्टवेयर बनाने के लिए दिया जाता है जो शोधकर्ताओं को अपर्याप्त डिजिटल संसाधनों वाली भाषाओं के लिए सिंथेटिक प्रशिक्षण डेटा उत्पन्न करने में मदद करता है।

यह मान्यता मारिवाइटे के हालिया पुरस्कारों की श्रृंखला का हिस्सा थी। 19 मई को, गा-रैंकूवे में जन्मे कंप्यूटर वैज्ञानिक को डेटा साइंस, आर्टिफिशियल इंटेलिजेंस और नेचुरल लैंग्वेज प्रोसेसिंग के क्षेत्र में उनके योगदान के लिए मपुंगुब्वे सिल्वर ऑर्डर से सम्मानित किया गया। राष्ट्रपति ने उनके काम की सराहना करते हुए कहा कि उन्होंने 'डेटा साइंस, आर्टिफिशियल इंटेलिजेंस (AI) और नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में उत्कृष्ट योगदान दिया है, जिसने राष्ट्रीय और महाद्वीपीय तकनीकी क्षमताओं दोनों को महत्वपूर्ण रूप से आगे बढ़ाया है'।

हालांकि, उनका कार्य केवल मशीनों को भाषा समझने के बारे में सिखाने से कहीं अधिक है। यह एक व्यापक प्रश्न उठाता है: क्या होगा यदि भविष्य को आकार देने वाली प्रौद्योगिकियां उन भाषाओं को नहीं समझ सकती हैं जिनमें लाखों लोग बोलते हैं? उन्होंने इस बात पर जोर दिया कि 'केवल AI का अस्तित्व लोगों को वास्तव में प्रभावित करने के लिए पर्याप्त नहीं है'; किसी भी तकनीक के सकारात्मक पहलुओं को बढ़ाने और किसी भी तकनीक के नकारात्मक परिणामों को कम करने के लिए उपयुक्त परिस्थितियाँ बनाना आवश्यक है।

शोध में अफ्रीकी भाषाओं को 'कम संसाधन वाली भाषाएं' के रूप में वर्गीकृत किया जाता है। मारिवाइटे के अनुसार, इसका मतलब यह नहीं है कि ऐसे भाषाओं के बोलने वाले कम हैं, बल्कि यह है कि उनके पास डिजिटल डेटा और उपकरण की कमी है जो मशीनों को उन्हें प्रभावी ढंग से संसाधित करने की अनुमति देते हैं। उन्होंने समझाया कि 'कम संसाधन वाली भाषाओं (जैसे isiZulu, Sesotho या Yoruba) के लिए विश्वसनीय मशीन लर्निंग मॉडल को प्रशिक्षित करने में सबसे बड़ी बाधाओं में से एक डेटा की कमी है। पारंपरिक AI मॉडल अच्छी तरह से काम करने के लिए भारी मात्रा में स्वच्छ, लेबल किए गए डेटा की मांग करते हैं। यदि ऐसा डेटा अनुपस्थित है, तो ये भाषाएं वास्तव में आधुनिक AI क्रांति से बाहर हो जाती हैं'।

डेटा की समस्या जो अफ्रीकी भाषाओं को AI से बाहर करती है

यह अंतर तब विशेष रूप से स्पष्ट हो जाता है जब लोग ऑनलाइन सिस्टम के साथ इंटरैक्ट करते हैं। उदाहरण के लिए, भावना विश्लेषण प्रणाली यह निर्धारित कर सकती है कि ऑनलाइन समीक्षा सकारात्मक, नकारात्मक या तटस्थ है। लेकिन मुख्य रूप से अंग्रेजी के लिए विकसित प्रणालियाँ अफ्रीकी भाषाओं के लिए स्वचालित रूप से ऐसी सेवा प्रदान नहीं कर सकती हैं।

मारिवाइटे ने टिप्पणी की: 'दक्षिण अफ्रीका में हमारे 12 आधिकारिक भाषाएं हैं, और हम वास्तव में अपने अधिकांश लोगों की सेवा नहीं कर रहे हैं। इन सभी ऑनलाइन सिस्टमों के साथ इंटरैक्ट करने के लिए, आपको अंग्रेजी में लिखने के लिए मजबूर किया जाता है, क्योंकि प्रसंस्करण इसी तरह होता है।'

एक भाषा में लाखों वक्ता हो सकते हैं, फिर भी वह इंटरनेट पर कम प्रतिनिधित्व वाली रह सकती है। यहीं पर मारिवाइटे के सबसे अधिक उपयोग किए जाने वाले शोध उपकरणों में से एक खेल में आता है। टेक्स्टऑगमेंट उच्च गुणवत्ता वाले भाषाई डेटा की कमी को दूर करने में शोधकर्ताओं की मदद करने के लिए बनाया गया था। यह उपकरण मौजूदा डेटासेट के सिंथेटिक विस्तार के माध्यम से काम करता है, जिसमें मूल अर्थ को बनाए रखने के प्रयास के साथ वाक्यों में शब्दों को पर्यायवाची शब्दों से बदलना शामिल है।

यह तकनीक अनुवाद, भावना विश्लेषण, सारांशीकरण और अन्य भाषा प्रसंस्करण कार्यों के लिए अनुप्रयोगों का समर्थन करती है। यह शोधकर्ताओं को वर्तनी जांच और स्पीच प्रोसेसिंग सिस्टम जैसे उपकरण बनाने में भी मदद करती है। अंततः, टेक्स्टऑगमेंट को ओपन-सोर्स सॉफ्टवेयर के रूप में जारी किया गया था ताकि मारिवाइटे की टीम के बाहर के शोधकर्ता इसका उपयोग कर सकें। तब से, इसका उपयोग स्वाहिली, उज़्बेक और अरबी जैसी भाषाओं के साथ काम करने वाले शोधकर्ताओं द्वारा किया जा रहा है।

ऐसा AI बनाना जो केवल शब्दों से अधिक समझता हो

हालांकि, AI मॉडल के लिए भाषाई डेटा की मात्रा बढ़ाना समस्या का केवल एक हिस्सा है। अफ्रीकी भाषाओं में सांस्कृतिक अर्थ, मुहावरे और कहावतें होती हैं जिन्हें हमेशा शाब्दिक रूप से अनुवादित नहीं किया जा सकता है। मारिवाइटे स्वीकार करते हैं कि कुछ ऑग्मेंटेशन विधियों की सीमाएं हैं, क्योंकि शब्द को पर्यायवाची से बदलने से जरूरी नहीं कि उस संदर्भ को ध्यान में रखा जाए जिसमें उस शब्द का उपयोग किया जाता है।

उन्होंने कहा: 'अंग्रेजी में लिखना और फिर isiXhosa में अनुवाद करना उस व्यक्ति के समान नहीं है जो isiXhosa में लिखता है, क्योंकि वे इस तरह से लिखते हैं जो संस्कृति, भूगोल और अन्य आंतरिक चीजों को छूता है।'

मारिवाइटे के लिए, अफ्रीकी भाषा प्रौद्योगिकी का मतलब यह नहीं होना चाहिए कि अंग्रेजी भाषा प्रणालियों को लेना और उन्हें अफ्रीकी शब्द निकालने के लिए मजबूर करना। प्रौद्योगिकी को उस सांस्कृतिक संदर्भ के साथ बातचीत करने में सक्षम होना चाहिए जिसमें इन भाषाओं का उपयोग किया जाता है। इसलिए, उनकी शोध टीम इस बात का अध्ययन कर रही है कि AI मॉडल अफ्रीकी भाषाओं, जिसमें isiZulu और Tshivenda शामिल हैं, में मुहावरों और कहावतों को कैसे समझते हैं।

समस्या इस बात से परे है कि AI व्यक्तिगत शब्दों को कैसे संसाधित करता है। गाना विश्वविद्यालय के उप-कैंसलर, प्रोफेसर नाना अबा अपिया अम्फो (Nana Aba Appiah Amfo) ने वर्रिक विश्वविद्यालय के 2026 के सम्मान व्याख्यान के दौरान इस बात पर भी विचार किया कि AI में किन भाषाओं और ज्ञान का प्रतिनिधित्व किया गया है। 'किस भाषा का महत्व है? अफ्रीकी आवाजें, ज्ञान प्रणालियाँ और AI का भविष्य' नामक व्याख्यान में, अम्फो ने नई तकनीकों में भाषाओं को बाहर करने के प्रभावों की जांच की और AI सिस्टम में किसके ज्ञान का प्रतिनिधित्व है, इस बारे में सामान्य धारणाओं को चुनौती दी।

उनके अनुसार, डिजिटल पारिस्थितिक तंत्र में अफ्रीकी भाषाओं की अनुपस्थिति केवल एक तकनीकी सीमा नहीं है, बल्कि प्रतिनिधित्व और समावेशन का एक मुद्दा है। उन्होंने कहा: 'जब कोई भाषा डिजिटल कॉर्पस में अनुपस्थित होती है, तो यह केवल अनुवाद की समस्या नहीं है। यह दृश्यता की समस्या है। यह ज्ञान की समस्या है। और अंततः, यह न्याय का मामला है।'

अफ्रीका में AI के विकास को चैटजीपीटी के उदय से शुरू होने के रूप में आसानी से कल्पना किया जा सकता है। मारिवाइटे इस कथा को खारिज करते हैं। वह एक अफ्रीकी AI पारिस्थितिकी तंत्र की ओर इशारा करते हैं जो पहले से ही एक दशक से अधिक समय से विकसित हो रहा है। डीप लर्निंग इंडबा सम्मेलन की शुरुआत 2016 में अफ्रीकी अनुसंधान, AI में विकास और नवाचार में लगे लोगों के लिए एक बैठक के रूप में हुई थी। 2026 में लागोस में इसकी बैठक में लगभग 1000 लोग भाग लिया। मारिवाइटे के अनुसार, इस व्यापक समुदाय से 2019 में उभरे मसाहाने रिसर्च फाउंडेशन में 3000 से अधिक शोधकर्ता और नवप्रवर्तक शामिल हैं जो अफ्रीकी भाषाओं पर काम कर रहे हैं। मारिवाइटे ने जोर देकर कहा: 'अफ्रीकी AI पारिस्थितिकी तंत्र इंतजार नहीं कर रहा था। वे इंतजार नहीं कर रहे थे; ये संगठन एक दशक पहले शुरू हो गए थे'।

भाषाओं में सीधे निवेश की आवश्यकता है, जिसमें डिजिटल उपकरणों का विकास, अनुसंधान क्षमता और शिक्षा शामिल है। सरकारों और निजी कंपनियों को भी स्थानीय रूप से विकसित प्रौद्योगिकियों का समर्थन करना चाहिए, न कि केवल अन्य स्थानों पर बनाई गई प्रणालियों का आयात या पुनर्विक्रय करना चाहिए। उनका तर्क है कि अफ्रीकी तकनीकी कंपनियों और शोधकर्ताओं का समर्थन करने वाली खरीद और निवेश के बिना, एक स्थायी पारिस्थितिकी तंत्र नहीं बन पाएगा। यह विशेष रूप से महत्वपूर्ण है क्योंकि खराब प्रदर्शन करने वाली AI प्रणालियों के परिणाम असुविधा से कहीं अधिक हो सकते हैं। मारिवाइटे चेतावनी देते हैं कि यदि AI सेवा अंग्रेजी पर अच्छी तरह से काम करती है, लेकिन अफ्रीकी भाषा में अविश्वसनीय परिणाम देती है, तो उपयोगकर्ता गलती से मान सकते हैं कि तकनीक सभी भाषाओं में समान रूप से सक्षम है, जबकि ऐसा नहीं है, जिससे वास्तव में हानिकारक अनुभव हो सकता है।

उनके काम का अगला चरण मौजूदा बड़े भाषा मॉडल के अफ्रीकी भाषाओं पर वास्तव में कितनी अच्छी तरह काम करते हैं, इसका मूल्यांकन करना है। उन्होंने स्वीकार किया कि अफ्रीका अभी भी काफी हद तक विदेशों में विकसित प्रौद्योगिकियों पर निर्भर है। हालांकि, उनका मानना है कि स्थानीय अनुसंधान क्षमता का निर्माण महाद्वीप को तकनीकी परिवर्तनों पर केवल प्रतिक्रिया करने के बजाय उनका अनुमान लगाने में सक्षम करेगा। उन्होंने निष्कर्ष निकाला: 'हमें खुद बनाना होगा ताकि हम बाद में इसे बेहतर बनाना सीख सकें'।

टेक्स्टऑगमेंट मूल रूप से अफ्रीकी भाषाओं के सीमित डिजिटल प्रतिनिधित्व के जवाब में उभरा। इसका अंगीकरण एक व्यापक संभावना को प्रदर्शित करता है: जब अफ्रीकी शोधकर्ता महाद्वीप की वास्तविकताओं के अनुरूप समाधान बनाते हैं, तो वे वैश्विक मूल्य वाली तकनीकें बना सकते हैं।