एंट ग्रुप की बड़ी भाषा मॉडल लिंग टीम ने लिंग-3.1-फ्लैश का एक अद्यतन संस्करण, लिंग-3.1-फ्लैश-1019, जारी किया है, साथ ही आधारभूत पूर्व-प्रशिक्षित मॉडल लिंग-3.1-फ्लैश-बेस को भी प्रकाशित किया है। दोनों संस्करण MIT लाइसेंस के तहत Hugging Face प्लेटफॉर्म पर उपलब्ध हैं।
लिंग-3.1-फ्लैश-1019 की वास्तुकला ने अपने पूर्ववर्ती की विशेषताओं को बनाए रखा है: यह एक हाइब्रिड संरचना है जिसमें लीनियर मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र है, जिसमें लगभग 560 बिलियन पैरामीटर और प्रति टोकन लगभग 25 बिलियन सक्रिय पैरामीटर हैं, साथ ही एक मिलियन टोकन का संदर्भ विंडो भी है। मॉडल के विवरण के अनुसार, स्टैक में 63 KDA लीनियर अटेंशन लेयर और 9 नियंत्रित MLA लेयर शामिल हैं, जिनमें से 512 रूट किए गए विशेषज्ञ हैं, जिनमें से 8 एक साथ सक्रिय होते हैं। इस रिलीज़ में मुख्य परिवर्तन अतिरिक्त फाइन-ट्यूनिंग से संबंधित है, जिसका उद्देश्य तर्क, टूल उपयोग और बहु-चरणीय कार्य निष्पादन में सुधार करना है।
थर्ड-पार्टी आर्टिफिशियल एनालिसिस इंटेलिजेंस इंडेक्स v4.3.2 के अनुसार, नए संस्करण को 44 का मूल्यांकन मिला है, जो पिछले संस्करण से तीन अंक अधिक है। अन्य मेट्रिक्स एंट द्वारा बताए गए परिणाम हैं। टीम ने बताया कि ज्ञान पर एक व्यापक परीक्षण AA-Briefcase पर उनका स्कोर लगभग 1400 से बढ़कर 1524 Elo हो गया है, और GDPval-AA संकेतक लगभग 1618 से बढ़कर 1644 Elo हो गया है। इसके अलावा, प्रक्रिया स्वचालन AutomationBench-AA में 62% से बढ़कर 68% हो गया है, और वैज्ञानिक समस्याओं को हल करने की क्षमता में वृद्धि हुई है: CritPt 18% से बढ़कर 26% हो गया है, और SciCode 54% से बढ़कर 57% हो गया है।
बेस मॉडल डेवलपर्स के लिए एक अधिक महत्वपूर्ण जोड़ है। एंट का दावा है कि लिंग-3.1-फ्लैश-बेस ने आठ क्षेत्रों में 47 बेंचमार्क में से 32 में डीपसीक-वी4-प्रो-बेस और मीमो-वी2.5-प्रो-बेस को पीछे छोड़ दिया है, जो ज्ञान, तर्क, कोड, गणित और लंबी संदर्भ को कवर करने वाले आंतरिक परीक्षणों पर आधारित है। वजन BF16 प्रारूप में जारी किए गए हैं, जिससे टीमों को आगे प्री-ट्रेनिंग, डोमेन अनुकूलन और अपनी खुद की फाइन-ट्यूनिंग करने की अनुमति मिलती है।
एंट इस रिलीज़ को चैटबॉट के बजाय व्यक्तिगत एजेंटों की अवधारणा के आसपास स्थापित करता है। यह अपडेट उस दिन के बाद आया जब एआई सहायक एप्लिकेशन एंट लिंगगुआंग 2.0 को एक व्यक्तिगत सहायक के रूप में पुन: स्थितिबद्ध किया गया था, जो सत्रों के बीच मेमोरी का उपयोग करके, दीर्घकालिक कार्यों की योजना बनाकर और समर्पित क्लाउड होस्टिंग का उपयोग करके उपयोगकर्ता द्वारा संवाद समाप्त करने के बाद भी कार्यों पर काम करना जारी रख सकता है। टीम द्वारा दिए गए उदाहरणों में यात्रा से पहले मौसम और बुकिंग को ट्रैक करना या निर्धारित बजट के मुकाबले वस्तुओं की कीमतों की निगरानी करना शामिल है। टीम ने यह भी बताया कि उन्होंने छवि पहचान और भाषा के साथ एक संस्करण प्रशिक्षित किया है, लिंग-3.1-फ्लैश-वीएल, जिसका वर्तमान में लिंगगुआंग के भीतर उपयोग किया जाता है और जिसे बाद में सार्वजनिक रूप से जारी किया जाएगा।
मॉडल कार्ड में सूचीबद्ध सेवा के लिए अनुशंसित कॉन्फ़िगरेशन में आठ जीपीयू पर SGLang और vLLM शामिल हैं।
