Cambricon ने vLLM स्टैक पर DeepSeek-V4.1-Flash मॉडल को अनुकूलित किया

ओपनBMB, मॉडलबेस्ट से जुड़ा एक ओपन प्रोजेक्ट, ने सीधे डिवाइस पर चलने के लिए एक सघन भाषा मॉडल MiniCPM5-2B प्रस्तुत किया है। इस मॉडल में लगभग 2.52 बिलियन पैरामीटर हैं और यह Apache-2.0 लाइसेंस के तहत 131,072 टोकन की नेटिव कॉन्टेक्स्ट लंबाई का समर्थन करता है।

MiniCPM5-2B मिनीCPM5 श्रृंखला का दूसरा रिलीज़ है, जो MiniCPM5-1B के बाद आया है। यह LlamaForCausalLM की मानक संरचना का उपयोग करता है, जिसमें 42 परतें और ग्रुपेड-क्वेरी अटेंशन (grouped-query attention) शामिल है, जो 16 क्वेरी हेड्स और 2 की/वैल्यू हेड्स का उपयोग करता है। इसके कारण, मुख्य इंजन बिना कस्टम कर्नेल या मॉडल कोड फोर्क की आवश्यकता के मॉडल को लोड कर सकते हैं।

एम्बेडिंग के अलावा पैरामीटर लगभग 1.98 बिलियन हैं, जो मॉडल को 4 बिलियन पैरामीटर से कम वर्ग में रखने की अनुमति देता है, जो फोन, लैपटॉप और पेरिफेरल उपकरणों पर होस्टिंग के लिए उपयुक्त है।

34-बेंचमार्क डेटासेट पर तुलना करने पर, MiniCPM5-2B औसतन 53.9 स्कोर प्रदर्शित करता है, जो कई बड़े ओपन बेस मॉडलों से आगे निकल जाता है। इनमें Qwen3.5-4B ने 51.1 और granite-4.2-3B ने 42.7 स्कोर किया। वहीं, समान आकार के मॉडल जैसे LFM2.5-2.6B और Qwen3.5-2B पीछे रह जाते हैं।

मॉडल की ताकत कोडिंग एजेंटों, टूल उपयोग और लंबे संदर्भ से जानकारी निकालने के क्षेत्रों पर केंद्रित है। उदाहरण के लिए, LiveCodeBench v6 पर MiniCPM5-2B ने Qwen3.5-4B के 56.4 की तुलना में 69.1 स्कोर किया, और SWE-bench Verified पर 46.4 बनाम 33.6 स्कोर किया। उच्च परिणाम τ²-Bench Telecom (97.1), BFCL v4 (66.6) और NoLiMa (43.5 की तुलना में 68.1) पर भी प्राप्त किए गए।

गहन ज्ञान की आवश्यकता वाले कार्यों में, प्रदर्शन आकार की ऊपरी सीमा के करीब रहता है; उदाहरण के लिए, MMLU-Pro पर मॉडल ने 70.8 दिखाया, जबकि 4B आकार का बेंचमार्क मॉडल Qwen ने 78.0 हासिल किया। ओपनBMB विशेष रूप से आर्टिफिशियल एनालिसिस स्रोतों से प्राप्त पंक्तियों को चिह्नित करता है ताकि उपयोगकर्ता विक्रेता और तृतीय-पक्ष परिणामों के बीच अंतर कर सकें।

पोस्ट-ट्रेनिंग प्रक्रिया अल्ट्राडेटा स्तर के प्रबंधन का पालन करती थी: पहले लगभग 400 बिलियन टोकन का उपयोग करके गहन सोच के आधार पर सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) की गई। फिर गणित, कोड, एजेंट और लेखन के लिए जस्टRL II एल्गोरिथम पर आधारित विशेष रीइन्फोर्समेंट-लर्निंग टीचर्स (reinforcement-learning teachers) लागू किए गए। अंतिम चरण ऑन-पॉलिसी डिस्टिलेशन (on-policy distillation) था, जिसने 16 RL विशेषज्ञों—जिनमें से पांच एजेंट थे—को एक अंतिम छात्र मॉडल में मिला दिया।

ओपनBMB तर्क और सामान्य सेटों में लगभग 10.96 अंकों की वृद्धि और एजेंट सेटों में 6.96 अंकों की वृद्धि को RL और डिस्टिलेशन चरण से जोड़ता है। प्रत्येक भाग के योगदान को सीधे मापने की क्षमता के लिए, कंपनी मध्यवर्ती नियंत्रण बिंदु जारी करती है: बेस, मिडट्रेन और SFT-केवल।

वजन के साथ, अल्ट्राडेटा कॉर्पोरेशन वेब, कोड, गणित, SFT और एजेंटों के लिए RL नमूनों को कवर करने वाले डेटासेट प्रकाशित करते हैं, जिससे परिणामों को पुन: उत्पन्न करना संभव हो जाता है। रनटाइम समर्थन में vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX, LiteRT और मल्टी-चिप FlagOS बिल्ड शामिल हैं। स्थानीय सहायकों के लिए GGUF, MLX और GPTQ पैकेज प्रदान किए जाते हैं, जिन्हें डेटा सेंटर जीपीयू का उपयोग किए बिना टूल कॉल करने और लंबे संदर्भ के साथ काम करने की आवश्यकता होती है।

डिवाइस पर काम करने पर ध्यान केंद्रित करने वाले डेवलपर्स के लिए, MiniCPM5-2B को सामान्य ज्ञान के विशालकाय के रूप में नहीं, बल्कि Apache लाइसेंस वाला एक कॉम्पैक्ट एजेंट और कोडिंग साथी के रूप में स्थापित किया गया है, जो प्रकाशित औसत स्कोर के आधार पर कुछ 4B क्लास के ओपन बेस मॉडलों से बेहतर प्रदर्शन करता है।

चीनी सूचना और संचार प्रौद्योगिकी अकादमी (CAICT) द्वारा तैयार की गई एक रिपोर्ट के अनुसार, स्थानीय मॉडलों के मानचित्र पर एक नया खिलाड़ी उभरा है। शंघाई स्थित कंपनी स्टार्टलक्स ने स्टार्टलक्स-V1.0-27B-Preview मॉडल विकसित किया है, जिसने केवल 27 अरब मापदंडों का उपयोग करते हुए, सत्यापित एआई बेंचमार्क की श्रृंखला के भीतर विशेष MCP टेस्ट के समग्र स्कोर में दूसरा स्थान हासिल किया, और डीपसीक-V4-फ्लैश को पीछे छोड़ दिया।

MCP टेस्ट छह विशिष्ट कार्यों का मूल्यांकन करता है: स्थान नेविगेशन, इंटरनेट खोज, ब्राउज़र स्वचालन, वित्तीय विश्लेषण, कोड रिपॉजिटरी प्रबंधन और 3डी डिजाइन, और इसमें कई उपकरणों के समन्वय, जटिल कार्यों के निष्पादन और वास्तविक दुनिया की स्थितियों में बातचीत पर केंद्रित एक व्यापक मूल्यांकन भी शामिल है। परीक्षण किए गए मॉडलों में डीपसीक-V4-प्रो (1.6 ट्रिलियन पैरामीटर), डीपसीक-V4-फ्लैश-0731 (284 अरब), स्टेप-3.7-फ्लैश (198 अरब), स्टार्टलक्स-27बी-260715 (27 अरब), क्यूवेन-3.6-27बी (27 अरब) और एजेंटसीपीएम-एक्सप्लोर (4 अरब) शामिल थे।

स्टार्टलक्स-V1.0-27B-Preview ने 39.25 का स्कोर प्राप्त किया, जिससे उसे दूसरा स्थान मिला, जिसने 284 अरब पैरामीटर वाले डीपसीक-V4-फ्लैश और 198 अरब पैरामीटर वाले स्टेप-3.7-फ्लैश दोनों को पीछे छोड़ दिया। समान पैरामीटर आकार पर, इसने क्यूवेन-3.6-27बी को 5.34 अंकों से आगे निकल गया। मॉडल ने स्थान नेविगेशन में पहला स्थान हासिल किया, और ब्राउज़र स्वचालन और वित्तीय विश्लेषण में पहला स्थान प्राप्त किया या उसके बराबर प्रदर्शन किया, कुछ मामलों में डीपसीक-V4-प्रो के ट्रिलियन मॉडल के स्तर तक पहुंच गया।

यह मॉडल क्यूवेन3.6-27बी पर आधारित है जिसमें प्रशिक्षण के बाद अतिरिक्त सुधार किया गया है। स्टार्टलक्स ने 'एआई ट्रेन करता है एआई' (स्वचालित खोज) नामक एक दृष्टिकोण लागू किया है, जो स्वचालित रूप से प्रायोगिक प्रशिक्षण आयोजित करने और फीडबैक के माध्यम से रणनीति को परिष्कृत करने की अनुमति देता है। कंपनी का दावा है कि यह चीन में स्थानीय एजेंट मॉडल के लिए इस पद्धति का पहला अनुप्रयोग है।

यह परिणाम उद्योग में एक व्यापक बदलाव को दर्शाता है। चूंकि अत्याधुनिक मॉडलों का प्रदर्शन व्यावहारिक सीमा मूल्यों तक पहुंच गया है, इसलिए पैरामीटर दौड़ का युग समरूपता के चरण में बदल गया है; उपयोगकर्ताओं की प्राथमिकताएं तेजी से उच्च बेंचमार्क स्कोर प्राप्त करने के बजाय वास्तविक समस्याओं को हल करने, डेटा सुरक्षा और लागत नियंत्रण सुनिश्चित करने की ओर स्थानांतरित हो रही हैं। वैश्विक खिलाड़ी इसी दिशा में आगे बढ़ रहे हैं: गूगल का जेम्मा 4, मेटा का ओपन म्यूज ग्लिमर और एनवीडिया का नेमोट्रॉन 3.5 लाइटनिंग स्थानीय तैनाती पर लक्षित हैं।

स्टार्टलक्स-V1.0-27B-Preview उपभोक्ता पीसी पर चल सकता है, और कंपनी इस वर्ष अपने पहले पीढ़ी के स्थानीय इंटेलिजेंस समाधान जारी करने की योजना बना रही है। CAICT के परिणाम उद्यमों को संकेत देते हैं कि कॉम्पैक्ट, स्थानीय रूप से तैनात मॉडल अब वास्तविक कार्यप्रवाहों में महत्वपूर्ण कार्यों के लिए बहुत बड़े क्लाउड समाधानों के साथ प्रतिस्पर्धा करने में सक्षम हैं, जो खरीद निर्णयों को बदलना शुरू कर रहा है।