Baidu ने ERNIE-5.5-Flash-Base मॉडल जारी किया: 14B सक्रिय पैरामीटर वाला 280B MoE

मूर थ्रेड्स ने मेगाट्रॉन-म्यूसा-टाइटन प्रोजेक्ट को सार्वजनिक कर दिया है, जिसमें बड़े मॉडल को प्रशिक्षित करने के लिए बुनियादी ढांचा प्रस्तुत किया गया है जिसे उन्होंने अपने स्वयं के ग्राफिक्स प्रोसेसिंग यूनिट्स पर उपयोग के लिए विकसित किया है। यह प्रोजेक्ट मूर थ्रेड्स के 10,000 से अधिक जीपीयू वाले क्लस्टरों पर ट्रिलियन पैरामीटर वाले 'एक्सपर्ट्स का मिश्रण' (mixture-of-experts) प्रकार के मॉडलों के साथ काम करने के लिए डिज़ाइन किया गया है, और इसमें प्री-ट्रेनिंग और रीइन्फोर्समेंट लर्निंग दोनों शामिल हैं।

प्रोजेक्ट का कोड गिटहब पर उपलब्ध है। कंपनी का दावा है कि इस सिस्टम का लगातार उपयोग 10,000 जीपीयू के क्लस्टरों पर ट्रिलियन पैरामीटर वाले MoE की प्री-ट्रेनिंग के लिए किया गया था, जहां लंबे प्रशिक्षण सत्रों ने मॉडल के FLOPs के उच्च उपयोग और प्रक्रिया की स्थिरता सुनिश्चित की।

रिपॉजिटरी में 1 ट्रिलियन पैरामीटर वाले Kimi-K2 शैली के MoE मॉडल के लिए एक कॉन्फ़िगरेशन उदाहरण प्रस्तुत किया गया है। डिजाइन का केंद्रीय सिद्धांत मौजूदा समाधानों के करीब रहना था। मेगाट्रॉन-म्यूसा-टाइटन NVIDIA के मेगाट्रॉन-एलएम फ्रेमवर्क पर बनाया गया है। torch_musa के माध्यम से PyTorch के एकीकरण और MUSA C की CUDA C के साथ संगतता के कारण, MUSA वातावरण वाले डेवलपर्स आधिकारिक मेगाट्रॉन-एलएम, स्लाइम और माइल्स रिपॉजिटरी को क्लोन कर सकते हैं और स्रोत कोड को संशोधित किए बिना मूर थ्रेड्स जीपीयू पर प्रशिक्षण शुरू कर सकते हैं।

प्रोजेक्ट इंगित करता है कि सामान्य एल्गोरिदम और बग फिक्स को उच्च स्तरीय परियोजनाओं में भेजा जाना चाहिए, जबकि मूर थ्रेड्स दो प्रकार के परिवर्तनों पर ध्यान केंद्रित करता है: हार्डवेयर और मूर थ्रेड्स क्लस्टरों के लिए अनुकूलित बड़े पैमाने पर अनुकूलन, और MUSA की विशिष्ट समस्याओं के लिए वर्कअराउंड।

प्री-ट्रेनिंग सुविधाओं में FP8 प्रारूप में ब्लॉक ट्रेनिंग शामिल है, जो मूर थ्रेड्स के MT-TransformerEngine पर निर्भर करता है। MoE टोकन डिस्पैचिंग और फ्यूजन को कंपनी के Async Copy Engine पर चलने वाले DeepEP द्वारा तेज किया जाता है, जो गणनाओं के समानांतर विशेषज्ञ संचार की भी अनुमति देता है। अन्य विकल्पों में वर्चुअल पाइपलाइन समानांतरवाद का उपयोग करके एक्टिवेशन ऑफलोडिंग और एक फॉरवर्ड पास और एक बैकवर्ड पास की शेड्यूलिंग, साथ ही Mooncake RDMA के माध्यम से गणनाओं के साथ पाइपलाइन समानांतर संचार शामिल है।

वितरित ट्रेसिंग विश्लेषण टूल प्रत्येक जीपीयू से PyTorch ट्रेस को पढ़कर पाइपलाइन बबल्स और कम प्रदर्शन वाले नोड्स जैसे बाधाओं का पता लगाता है। प्रोजेक्ट का दावा है कि यह 10,000 जीपीयू पर 1 ट्रिलियन पैरामीटर वाले MoE रन का विश्लेषण केवल कुछ घंटों में कर सकता है।

रीइन्फोर्समेंट लर्निंग के लिए, स्टैक स्लाइम और माइल्स फ्रेमवर्क का समर्थन करता है; मेगाट्रॉन प्रशिक्षण संभालता है, और MUSA-बिल्ड SGLang रन उत्पन्न करता है, जिससे एक ही आधार प्रणाली प्री-ट्रेनिंग और RL दोनों को सेवा दे सकती है। स्वायत्त इन्फेरेंस के लिए अनुकूलन इस प्रोजेक्ट के दायरे में नहीं आता है।

उन डेवलपर्स के लिए जो घरेलू एक्सेलेरेटर पर विचार कर रहे हैं, व्यावहारिक प्रश्न यह है कि मौजूदा प्रशिक्षण कोड का कितना हिस्सा काम करेगा। मूर थ्रेड्स का उत्तर है कि मेगाट्रॉन इकोसिस्टम का कोड किसी संशोधन की मांग नहीं करता है।

एंट ग्रुप की बड़ी भाषा मॉडल लिंग टीम ने लिंग-3.1-फ्लैश का एक अद्यतन संस्करण, लिंग-3.1-फ्लैश-1019, जारी किया है, साथ ही आधारभूत पूर्व-प्रशिक्षित मॉडल लिंग-3.1-फ्लैश-बेस को भी प्रकाशित किया है। दोनों संस्करण MIT लाइसेंस के तहत Hugging Face प्लेटफॉर्म पर उपलब्ध हैं।

लिंग-3.1-फ्लैश-1019 की वास्तुकला ने अपने पूर्ववर्ती की विशेषताओं को बनाए रखा है: यह एक हाइब्रिड संरचना है जिसमें लीनियर मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र है, जिसमें लगभग 560 बिलियन पैरामीटर और प्रति टोकन लगभग 25 बिलियन सक्रिय पैरामीटर हैं, साथ ही एक मिलियन टोकन का संदर्भ विंडो भी है। मॉडल के विवरण के अनुसार, स्टैक में 63 KDA लीनियर अटेंशन लेयर और 9 नियंत्रित MLA लेयर शामिल हैं, जिनमें से 512 रूट किए गए विशेषज्ञ हैं, जिनमें से 8 एक साथ सक्रिय होते हैं। इस रिलीज़ में मुख्य परिवर्तन अतिरिक्त फाइन-ट्यूनिंग से संबंधित है, जिसका उद्देश्य तर्क, टूल उपयोग और बहु-चरणीय कार्य निष्पादन में सुधार करना है।

थर्ड-पार्टी आर्टिफिशियल एनालिसिस इंटेलिजेंस इंडेक्स v4.3.2 के अनुसार, नए संस्करण को 44 का मूल्यांकन मिला है, जो पिछले संस्करण से तीन अंक अधिक है। अन्य मेट्रिक्स एंट द्वारा बताए गए परिणाम हैं। टीम ने बताया कि ज्ञान पर एक व्यापक परीक्षण AA-Briefcase पर उनका स्कोर लगभग 1400 से बढ़कर 1524 Elo हो गया है, और GDPval-AA संकेतक लगभग 1618 से बढ़कर 1644 Elo हो गया है। इसके अलावा, प्रक्रिया स्वचालन AutomationBench-AA में 62% से बढ़कर 68% हो गया है, और वैज्ञानिक समस्याओं को हल करने की क्षमता में वृद्धि हुई है: CritPt 18% से बढ़कर 26% हो गया है, और SciCode 54% से बढ़कर 57% हो गया है।

बेस मॉडल डेवलपर्स के लिए एक अधिक महत्वपूर्ण जोड़ है। एंट का दावा है कि लिंग-3.1-फ्लैश-बेस ने आठ क्षेत्रों में 47 बेंचमार्क में से 32 में डीपसीक-वी4-प्रो-बेस और मीमो-वी2.5-प्रो-बेस को पीछे छोड़ दिया है, जो ज्ञान, तर्क, कोड, गणित और लंबी संदर्भ को कवर करने वाले आंतरिक परीक्षणों पर आधारित है। वजन BF16 प्रारूप में जारी किए गए हैं, जिससे टीमों को आगे प्री-ट्रेनिंग, डोमेन अनुकूलन और अपनी खुद की फाइन-ट्यूनिंग करने की अनुमति मिलती है।

एंट इस रिलीज़ को चैटबॉट के बजाय व्यक्तिगत एजेंटों की अवधारणा के आसपास स्थापित करता है। यह अपडेट उस दिन के बाद आया जब एआई सहायक एप्लिकेशन एंट लिंगगुआंग 2.0 को एक व्यक्तिगत सहायक के रूप में पुन: स्थितिबद्ध किया गया था, जो सत्रों के बीच मेमोरी का उपयोग करके, दीर्घकालिक कार्यों की योजना बनाकर और समर्पित क्लाउड होस्टिंग का उपयोग करके उपयोगकर्ता द्वारा संवाद समाप्त करने के बाद भी कार्यों पर काम करना जारी रख सकता है। टीम द्वारा दिए गए उदाहरणों में यात्रा से पहले मौसम और बुकिंग को ट्रैक करना या निर्धारित बजट के मुकाबले वस्तुओं की कीमतों की निगरानी करना शामिल है। टीम ने यह भी बताया कि उन्होंने छवि पहचान और भाषा के साथ एक संस्करण प्रशिक्षित किया है, लिंग-3.1-फ्लैश-वीएल, जिसका वर्तमान में लिंगगुआंग के भीतर उपयोग किया जाता है और जिसे बाद में सार्वजनिक रूप से जारी किया जाएगा।

मॉडल कार्ड में सूचीबद्ध सेवा के लिए अनुशंसित कॉन्फ़िगरेशन में आठ जीपीयू पर SGLang और vLLM शामिल हैं।

स्टार्टलक्स की टीम, जो स्टार्टलक्स-डिसीजन मॉडल परिवार के पीछे एक युवा चीनी समूह है, ने अपना कोड ओपन सोर्स कर दिया है। उन्होंने प्रिज्म प्रस्तुत किया है - निर्णय लेने वाले मॉडल के लिए विशेष रूप से विकसित एक आउटपुट तंत्र। कोड 22 अक्टूबर को GitHub पर प्रकाशित किया गया था, और कंपनी इस बात पर जोर देती है कि यह इस वर्ग के मॉडल के लिए बनाया गया पहला ओपन इंजन है, न कि चैट-उन्मुख फ्रेमवर्क से अनुकूलित किया गया है।

निर्णय लेने वाले मॉडल जानकारी संसाधित करते हैं और एक निष्कर्ष देते हैं, न कि लंबा पाठ, जैसे 'हाँ' या 'नहीं' का उत्तर, विकल्प का चयन या संभावनाओं के साथ जोखिम मूल्यांकन। पहले, 16 अक्टूबर को जारी किए गए स्टार्टलक्स-डिसीजन v1.1 मॉडल ने vLLM पर आधारित एक सामान्य फ्रेमवर्क का उपयोग किया था। स्टार्टलक्स के अनुसार, vLLM और SGLang जैसे इंजन टोकन दर टोकन उत्पन्न करने के लिए डिज़ाइन किए गए हैं, जिसके कारण प्रत्येक अनुरोध अलग हो जाता है, और बड़ा आउटपुट लेयर हर बार कॉल होने पर पूरी तरह से गणना की जाती है।

प्रिज्म में मुख्य परिवर्तन

प्रिज्म चार प्रमुख बदलाव लाता है। सबसे पहले, यह आउटपुट लेयर को संकुचित करता है। 27 बिलियन पैरामीटर वाले स्टार्टलक्स-डिसीजन मॉडल के लिए, सामान्य इंजन लगभग 248,000 उम्मीदवार टोकन का मूल्यांकन करता है, जबकि निर्णय लेने का कार्य केवल A से Z तक के अक्षरों की मांग करता है; इसके कारण प्रिज्म गणना को मूल मात्रा का लगभग 0.01 प्रतिशत तक कम कर देता है। दूसरा, जंगल शैली में बैच प्रोसेसिंग विधि का उपयोग किया जाता है: सामान्य निर्देश जड़ बनाते हैं, सामान्य संदर्भ सामग्री तना बनाती है, और प्रत्येक प्रश्न एक शाखा बनाता है, जिससे सामान्य कार्य केवल एक बार किया जा सकता है।

तीसरा, मैट्रिक्स ऑपरेशन int8 प्रारूप में int32 संचय के साथ किए जाते हैं, जो पैच आकार और शेड्यूलिंग क्रम से परिणामों की स्वतंत्रता सुनिश्चित करता है, जबकि बिट-पहचान योग्य आउटपुट बनाए रखता है। चौथा बदलाव एक ऑफसेट शेड्यूलर है, जो सीधे उत्तर वाले प्रश्नों के साथ जीपीयू को तर्क वाले 64 से अधिक लंबे अनुरोधों को साझा करने की अनुमति देता है। इस बीच, डिकोडिंग चरणों को CUDA ग्राफ़ के रूप में पहले से ही संकलित किया जाता है, जिससे नए छोटे अनुरोधों को केवल एक या दो चरण इंतजार करना पड़ता है।

स्टार्टलक्स द्वारा एक H200 चिप पर किए गए परीक्षणों से पता चला कि एक छोटा एकल प्रश्न पिछले 53.1 मिलीसेकंड की तुलना में 19 मिलीसेकंड में पूरा होता है, जो 2.8 गुना वृद्धि है, और समान सामग्री पर तीन प्रश्नों को सेट करने पर गति 5.3 गुना बढ़ जाती है। JevBench पर 231 प्रश्नों के परीक्षण में, प्रिज्म ने प्रति प्रश्न औसतन 41 मिलीसेकंड का समय दिखाया, जबकि SGLang ने 75.6 मिलीसेकंड, vLLM ने 112.7 मिलीसेकंड और llama.cpp ने 589 मिलीसेकंड लिया। चार H200 कार्ड का उपयोग करके डेटा समानांतरता मोड में, प्रति सेकंड 121 अनुरोध संसाधित किए गए, जबकि टेंसर समानांतरता ने एक प्रश्न की विलंबता को 29 मिलीसेकंड तक कम कर दिया।

सात मूल्यांकन सेटों और 12,351 निर्णय लेने के नमूनों पर, क्वांटाइजेशन int8 के साथ प्रिज्म संस्करण ने 92.94 प्रतिशत की औसत सटीकता हासिल की, जो गैर-क्वांटाइज़्ड BF16 मॉडल द्वारा दिखाए गए 92.97 प्रतिशत के बहुत करीब है। 16.55 जीबी का संपीड़ित संस्करण 32 जीबी मेमोरी वाले एक RTX 5090 वीडियो कार्ड पर चल सकता है। सभी प्रस्तुत आंकड़े स्टार्टलक्स के स्वयं के माप हैं, और परीक्षण विन्यास रिपॉजिटरी में प्रकाशित किए गए हैं।