allworld.mediaButun dunyo bo‘ylab yangiliklar
Cambricon DeepSeek-V4.1-Flash modelini vLLM stekida moslashtirdi
Batafsil
Pandaily
pandaily.com

Cambricon DeepSeek-V4.1-Flash modelini vLLM stekida moslashtirdi

Cambricon kompaniyasi Day-0 dasturi doirasida ochiq vLLM inferensiya stekiga asoslangan holda DeepSeek-V4.1-Flash modelini muvaffaqiyatli moslashtirishni eʼlon qildi. Bu yangi chiqarilgan model DeepSeek kontroller punktini eʼlon qilgan kunida Cambricon akseleratorlarida barqaror ishlashi mumkinligini anglatadi.

Bu eʼlon chip va dasturiy taʼminot oʻrtasidagi sinergiyani taʼkidlaydi: model va chipning bir vaqtda mavjudligi hamda NeuWare va vLLMni birlashtiruvchi Cambricon yondashuvining yetukligi. Bu modelning umumiy mavjudligi haqidagi maʼlumotlarning takrorlanishi emas.

DeepSeek-V4.1-Flash DeepSeek ning yangi arxitektura liniyasining eng kichik variantidir. Bu 552 milliard parametrli mixture-of-experts turidagi model boʻlib, kirish tomonida taxminan 8 milliard va chiqish tomonida 16 milliard parametrlarni faollashtiradi, shuningdek, koʻp modalli koʻrishni oʻz ichiga olgan. DeepSeek Causal-Encoder-Decoder tuzilmasidan foydalanish va KV-keshni agressiv siqishni taʼkidlaydi, bu oldingi avlodga nisbatan HBM talabini taxminan toʻrtta gacha va SSD talabini sakkizdan gacha kamaytiradi, shu bilan birga kesh hajmi birinchi versiyaga qaraganda yuzlab marta kichikroq boʻladi.

Bu xotira tejash akselerator ishlab chiqaruvchilari uchun juda muhimdir, ular yuqori yuklamaga duch kelayotgan zich serverlarda inferensiya kechikishini, DRAM hajmini va saqlash darajalarini nazorat qilishni maqsad qilganlar.

Oʻz tomondan, Cambricon muhandislari Engram va Compressor kabi tuzilmalarni tezlashtirish uchun Torch-MLU-Ops birlashtirilgan operator kutubxonasidan foydalanishdi, shuningdek, sekin va siqilgan diqqatning qizgʻin nuqtalari uchun BangC da optimallashtirilgan yadrolarni yozdilar. vLLM ichida Cambricon tensor, konveyer, ketma-ket, paket va ekspert parallelizmi kiritilgan besh oʻlchovli aralash parallelizm qoʻllab-quvvatlashini, aloqa va hisoblashlarni qamrab olish, past aniqlikdagi kvantlash va boshidan oxirigacha tranzmittivlikni oshirish uchun prefiks va dekodlashni ajratishni eʼlon qiladi. Ushbu stek kompaniyaning uzoq muddatli dasturiy platformasi boʻlgan NeuWare ustida ishlaydi.

Bir necha kun avval Cambricon PyTorch Foundationga platinaviy aʼzo sifatida qoʻshildi va boshqa yirik uskuna va bulutli xizmat ishlab chiquvchilari bilan birga boshqaruv kengashida oʻrn tutdi, bu ochiq oʻrganish va inferensiya ekotizimiga chuqurroq sarmoya kiritilishini bildiradi.

Endi Cambricon beshta asosiy xitoy model liniyalarining Day-0 inferensiyasini qoʻllab-quvvatlaydi: GLM, DeepSeek, Qwen, Kimi va MiniMax, ular mos ravishda Zhipu AI, DeepSeek, Alibaba, Moonshot AI va MiniMaxni ifodalaydi. Caixin Global nashri Cambriconni shu kunda kiritish imkoniyatini Xitoyda model va chip ishlab chiqish ichki sikllarini qisqartirish belgisi sifatida alohida taʼkidladi — koʻp oylik yopiq portlardan operatorlar tomonidan standartlashtirilgan jamoatchilik freymvorklarida ishga tushish tayyorgarligiga oʻtish.

Klaster operatorlari uchun amaliy xulosa birgalikdagi mavjudlikdir: ilgʻor ochiq model chiqqanda, Cambricon mijozlari yopiq fork kutish oʻrniga vLLM hujjatlashtirilgan retseptidan foydalana oladi. Dasturiy taʼminot ekotizimi uchun keyingi sinov DeepSeek ning kattaroq variantlari va koʻp modalli xizmatlarning aralashmalariga ushbu Day-0 sxemasi qoʻllanilishi mumkinmi degan masalada boʻladi.

Oʻxshash hikoyalar

OpenBMB qurilma ustida ishlash uchun 4 milliard parametrdan kamroq ogʻirlikka ega SOTA ochiq modeli sifatida MiniCPM5-2Bni chiqardi
Batafsil
pandaily.com

OpenBMB qurilma ustida ishlash uchun 4 milliard parametrdan kamroq ogʻirlikka ega SOTA ochiq modeli sifatida MiniCPM5-2Bni chiqardi

OpenBMB, ModelBest bilan bogʻliq ochiq loyiha, qurilma ustida bevosita ishlash uchun zich til modelini – MiniCPM5-2B ni taqdim etdi. Ushbu model taxminan 2,52 milliard parametrga ega va 131 072 tokenli tabiiy kontekst uzunligini qoʻllab-quvvatlaydi hamda Apache-2.0 litsenziyasi ostida tarqatiladi.

MiniCPM5-2B bu MiniCPM5-1B dan keyingi MiniCPM5 seriyasining ikkinchi nashridir. U 16 ta soʻrov va 2 ta kalit/qiymat boshlaridan foydalanadigan guruhlangan soʻrov diqqatini (grouped-query attention) oʻz ichiga olgan 42 ta qatlamli standart LlamaForCausalLM tuzilishidan foydalanadi. Bu tufayli, asosiy dvigatellar maxsus yadrolar yoki model kodining forklari boʻlmasdan modelni yuklashlari mumkin.

Embeddinglar boʻlmagan parametrlarning hajmi taxminan 1,98 milliardni tashkil qiladi, bu esa modelni telefonlar, noutbuklar va periferik qurilmalarda joylashtirish uchun mos keladigan 4 milliard parametrdan kamroq sinfga joylashtirish imkonini beradi.

34-benchmark maʼlumotlar toʻplami boʻyicha solishtirganda, MiniCPM5-2B oʻrtacha 53,9 koʻrsatkichini namoyish etib, bir qator kattaroq ochiq asosiy modellar ustunlikka erishdi. Ulardan Qwen3.5-4B 51,1, granite-4.2-3B esa 42,7 ni koʻrsatdi. Shu bilan birga, LFM2.5-2.6B va Qwen3.5-2B kabi oʻlchami teng modellar orqada qoldi.

Modelning kuchli tomonlari kodlovchi agentlar, vositalardan foydalanish va uzoq kontekstdan maʼlumotlarni ajratib olish sohalarida jamlangan. Masalan, LiveCodeBench v6 da MiniCPM5-2B Qwen3.5-4B ning 56,4 ga qarshi 69,1 ni koʻrsatdi, SWE-bench Verified da esa 46,4 ga qarshi 33,6 ni koʻrsatdi. Shuningdek, τ²-Bench Telecom (97,1), BFCL v4 (66,6) va NoLiMa (43,5 ga qarshi 68,1) kabi joylarda yuqori natijalar erishildi.

Chuqur bilim talab qiladigan vazifalarda koʻrsatkichlar hajm chegarasiga yaqinroq qoladi; masalan, MMLU-Pro da model 70,8 ni koʻrsatdi, shu paytda 4B hajmdagi referans Qwen modeli 78,0 ni yigʻdi. OpenBMB Artificial Analysis manbalaridan olingan qatorlarni alohida belgilaydi, shunda foydalanuvchilar yetkazib beruvchilar va uchinchi tomon natijalarini farqlay olishadi.

Keyingi oʻqitish jarayoni UltraData darajasi boshqaruviga amal qildi: avval taxminan 400 milliard tokenlardan foydalangan chuqur fikrlash asosida nazoratli oʻqitish (supervised fine-tuning) oʻtkazildi. Keyin, matematika, kod, agentlar va yozish uchun JustRL II algoritmi asosidagi ixtisoslashtirilgan ragʻbatlantirish-oʻrganish oʻqituvchilari (reinforcement-learning teachers) qoʻllanildi. Yakuniy bosqich siyosat boʻyicha destillatsiya (on-policy distillation) boʻlib, unda 16 ta RL eksperti – ulardan beshtasi agentlar edi – bitta yakuniy talaba modeliga birlashtirildi.

OpenBMB tahlil qilish va umumiy toʻplamlardagi oʻrtacha 10,96 ball, shuningdek, agentlik toʻplamlarida 6,96 ball oshishini RL va destillatsiya bosqichlariga bogʻlaydi. Har bir qismining hissasini toʻgʻridan-toʻgʻri oʻlchash imkoniyati uchun kompaniya oʻrta nazorat nuqtalarini chiqaradi: Base, Midtrain va SFT-only.

Ogʻirlar bilan birga, UltraData korporatsiyalari veb, kod, matematika, SFT va agentlar uchun RL namunalarini qamrab oluvchi maʼlumotlar bazalarini eʼlon qiladilar, bu esa natijalarni qayta tiklash imkonini beradi. Ishlash vaqtini qoʻllab-quvvatlash vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX, LiteRT va koʻp chiplilik FlagOS yigʻindilarini oʻz ichiga oladi. Mahalliy yordamchilarga moʻljallangan GGUF, MLX va GPTQ paketlari taqdim etiladi, ular markaziy maʼlumotlar bazasi grafik protsessoridan foydalanmasdan vositalar chaqiruvlarini bajarish va uzoq kontekst bilan ishlashi kerak.

Qurilma ustida ishlashga yoʻnaltirilgan ishlab chiquvchilar uchun MiniCPM5-2B nafaqat umumiy bilimlarning giganti sifatida, balki Apache litsenziyali ixcham agent va kodlash uchun hamroh sifatida pozitsionlanadi, u allaqachon eʼlon qilingan oʻrtacha koʻrsatkich boʻyicha baʼzi 4B sinfidagi ochiq asosiy modellar ustunlikka ega.

Mashhur