मूनशॉट एआई कंपनी ने ओपन-सोर्स किमी के3 मॉडल को आधिकारिक तौर पर जारी किया है। इस मॉडल में 2.8 ट्रिलियन MoE पैरामीटर हैं, इसमें 896 रूट किए गए विशेषज्ञ शामिल हैं और यह प्रति टोकन 16 सक्रिय विशेषज्ञों का समर्थन करता है, साथ ही 1 मिलियन टोकन की संदर्भ विंडो भी प्रदान करता है। इसके अलावा, MoonEP, FlashKDA और AgentEnv जैसे इंफ्रास्ट्रक्चरल टूल्स भी जारी किए गए हैं।
तकनीकी विनिर्देश और मॉडल सुधार
केमी के3 का अनावरण 27 जुलाई को किया गया था। यह ओपन वेट्स वाले मॉडलों में दुनिया का सबसे बड़ा मॉडल बन गया है। पिछले पीढ़ी के के2.5 की तुलना में, के3 के पैरामीटर स्केल में लगभग तीन गुना वृद्धि हुई है, और Kimi Delta Attention, Attention Residuals और MoonEP जैसी तकनीकों के उपयोग से कम्प्यूटेशनल दक्षता में 2.5 गुना वृद्धि हुई है, जिससे सीमित कंप्यूटिंग संसाधनों में काम करना संभव हो गया है।
वास्तुशिल्प नवाचार
तकनीकी रिपोर्ट कई वास्तुशिल्प नवीनताओं का खुलासा करती है। Gated MLA के साथ हाइब्रिड KDA अटेंशन संरचना लंबी संदर्भ को कुशलतापूर्वक संसाधित करने के लिए लीनियर अटेंशन और उच्च गुणवत्ता वाले स्थानीय प्रतिनिधित्व प्राप्त करने के लिए गेटेड मल्टी-हेड लेटेंट अटेंशन को जोड़ती है। Stable LatentMoE रूटिंग तंत्र बड़े MoE मॉडल के प्रशिक्षण के दौरान अक्सर होने वाली विशेषज्ञ पतन की समस्या का समाधान करता है, जिससे रूटिंग ग्रेडिएंट की गतिशीलता स्थिर होती है। इसके अलावा, MoonViT-V2 विजन एन्कोडर प्रशिक्षण योजना बिना किसी अलग विजन और भाषा एडेप्टर का उपयोग किए मूल मल्टीमॉडल व्याख्या सुनिश्चित करती है। मॉडल को सार्वभौमिक तर्क, एजेंटों और कोडिंग कार्यों पर प्रशिक्षित और परीक्षण किया गया था, जो शुद्ध भाषाई कार्यों से परे के के3 की व्यापक क्षमताओं को प्रदर्शित करता है।
बुनियादी ढांचा समाधान
मॉडल के अलावा, तीन इंफ्रास्ट्रक्चर टूल्स जारी किए गए थे। MoonEP एक हाई-परफॉरमेंस कम्युनिकेशन लाइब्रेरी है जिसे बड़े पैमाने पर MoE प्रशिक्षण के लिए डिज़ाइन किया गया है, जो MoE की स्केलेबिलिटी को सीमित करने वाले ऑल-टू-ऑल कम्युनिकेशन बॉटलनेक को दूर करता है। FlashKDA Kimi Delta Attention के लिए एक हाई-परफॉरमेंस कंप्यूटिंग कोर प्रदान करता है; बेंचमार्क के अनुसार, H20 जीपीयू पर यह बेसलाइन फ्लैश-लीनियर-अटेंशन की तुलना में प्रीफिल दर में 1.72 से 2.22 गुना सुधार प्रदान करता है। AgentEnv एक एजेंट सैंडबॉक्स सिस्टम है जिसे KVCache.ai का उपयोग करके विकसित किया गया है, जो बड़े पैमाने पर एजेंट प्रशिक्षण वातावरण के लिए तेज़ स्नैपशॉट, पुनर्प्राप्ति और फोर्क कार्यक्षमताओं का समर्थन करता है। ये इंफ्रास्ट्रक्चर रिलीज़ केमी के3 क्लास मॉडलों के पुनरुत्पादन और आगे के विकास के लिए बाधाओं को कम करते हैं।
रिलीज़ के पारिस्थितिकीय परिणाम
ओपन सोर्स रिलीज का पारिस्थितिकी तंत्र पर महत्वपूर्ण प्रभाव पड़ता है। के3 कई विशिष्ट परीक्षणों में बंद अत्याधुनिक मॉडलों जैसे GPT-5.6 और Claude Fable 5 के बराबर या उनसे बेहतर प्रदर्शन करता है, खासकर फ्रंटएंड के लिए कोड जनरेशन में। हालांकि, एपीआई के माध्यम से के3 का उपयोग करने की लागत क्लॉड की तुलना में 40% कम और फेबल की तुलना में 70% कम है। ओपन वेट्स लाइसेंस स्थानीय परिनियोजन और एपीआई पर निर्भरता के बिना अपने स्वयं के एप्लिकेशन विकसित करने की अनुमति देता है। फिर भी, 2.8 ट्रिलियन पैरामीटर के पैमाने के कारण, स्थानीय कार्यान्वयन के लिए भी महत्वपूर्ण हार्डवेयर की आवश्यकता होती है - केवल मॉडल लोड करने के लिए न्यूनतम 10 GB300 वर्ग का जीपीयू, जो परिनियोजन के दौरान एपीआई शुल्क के बजाय इन्फेरेंस के लिए बुनियादी ढांचे की लागत को मुख्य कारक बनाता है।
बाजार प्रतिक्रिया और सीमाएं
इस रिलीज ने पारिस्थितिकी तंत्र में एक श्रृंखला प्रतिक्रिया को जन्म दिया। अलीबाबा क्लाउड का Qianwen AI प्लेटफॉर्म के3 की उपलब्धता की घोषणा की। हुआवेई ने के3 के लिए Ascend 0-day का अनुकूलन किया, जो घरेलू उपकरणों पर 3 ट्रिलियन स्तर के मॉडल के लॉन्च का पहला मामला था। ओपन सोर्स समुदाय को मॉडल वेट्स तक पहुंच मिली, जिन्हें पहले सैकड़ों मिलियन के निवेश की आवश्यकता थी। मूनशॉट एआई ने कहा कि ओपन सोर्स पहल का उद्देश्य ओपन वेट्स मॉडल इकोसिस्टम को बढ़ावा देना है, जिससे व्यापक एआई समुदाय के लिए विकास और परिनियोजन की बाधाएं कम होती हैं। हालांकि, इसके तुरंत बाद यह घोषणा की गई कि के3 ने कंप्यूटिंग शक्ति की सीमाओं के कारण नए उपयोगकर्ता सब्सक्रिप्शन रोक दिए हैं, जिसने ओपन सोर्स आदर्शों और 2.8 ट्रिलियन पैरामीटर वाले मॉडल के पैमाने पर रखरखाव की वास्तविकता के बीच विरोधाभास को उजागर किया।