Huawei Ascend hisoblash tizimlari jamoasi 2,8 trillion parametrga ega boʻlgan Kimi K3.1 Pro modelining inferens uchun moslashtirilishining yakunlanganini maʼlum qildi. Ushbu modelning toʻliq vaznlari Moonshot AI tomonidan 4-noyabr kuni rasmiy Huawei Computing akkauntiga koʻra chiqarilgan, bu haqda IT Home va ifeng Tech xabar berdi.
vLLM Ascend va SGLang dan foydalanib, ishlab chiquvchilar endi ushbu modelni Atlas 800 A3, Atlas 900 A3 SuperPoD klasterida va uni chiqarilgan paytdan boshlab Ascend 950 SuperPoD seriyasidagi serverlarda joylashtira oladi.
Kimi K3.1 Pro Moonshot AI ning K3.1 seriyasidagi birinchi modeldir. Bu tabiiy vizual qayta ishlash va taxminan bir million token atrofidagi kontekst oynasiga ega boʻlgan mixture-of-experts turidagi model boʻlib, har bir inferens bosqichida taxminan 104 milliard parametrni faollashtiradi. Model Kimi Delta Attention (KDA) qatlamlariga asoslangan K3 gibridli chiziqli diqqatni saqlab qoladi va uzoq kontekst modellashtirish xarajatlarini kamaytirish uchun baʼzi toʻliq diqqat qatlamlari oʻrniga DSA (sparse attention) qatlamlarini qoʻshadi.
Moslashtirish boʻyicha ishning katta qismi aynan shu arxitektura bilan bogʻliq edi. Huawei aytganicha, uning inferens jamoasi Kimi K3 ning avvalgi moslashuviga tayanib, yangi modelni oldindan tahlil qilib va modelni integratsiya qilish, operatorlarni ishlab chiqish va xizmatlarni tasdiqlash ustida parallel ish olib bordi. KDA va MoE ning mavjud qoʻllab-quvvatlanishi tufayli, jamoa yangi sparse attention va multimodal inferens yoʻlini qoʻshdi, mavjud inferens freymvorklaridagi xizmat koʻrsatish funksiyalarini saqlab qoldi.
Huawei maʼlumotlariga koʻra, optimallashtirish tarixiy maʼlumotlarni tanlash, sparse attention hisob-kitoblari, old ishlov berish va qoldiq hisob-kitoblari uchun asosiy operatorlarni qamrab oldi, bu esa uzun kontekstli inferens va ishlab chiqarish xizmatini qoʻllab-quvvatlash uchun tarqatilgan keshlash va freymvork darajasidagi funksiyalar bilan birlashtirildi. Kompaniya foydalanuvchilar va ishlab chiquvchilar model chiqarilgan birinchi kuni ilovalarni sinovdan oʻtkazish va joylashtirishni boshlashi maqsadini qoʻydi.
vLLM Ascend hujjatlari Kimi K3.1 Pro ning vLLM Ascend 0.30.0 versiyasida eksperimental rejimda qoʻllab-quvvatlanishini koʻrsatadi. Uning standart tuzilmalari prefiks va dekodlashni sakkiz tugunga ajratadi, bunda toʻrtta prefiks va toʻrtta dekodlash tugunlari mavjud boʻlib, bir million tokenli uzun kontekst konfiguratsiyasini ham oʻz ichiga oladi. Atlas 800I A3 serverlari W4A8 kvantlangan nuqtasi bilan ishlaydi, shu bois 950DT mahsulotlari W4A8 MXFP variantidan foydalanadi; rahbariyat taʼkidlaydiki, Atlas A2 va 950PR mahsulotlari hali qoʻllab-quvvatlanmaydi.
Model hajmi apparat qoʻllab-quvvatlashni amaliy masalaga aylantiradi. IT Home eslatadiki, BF16 formatidagi vaznlar taxminan 5,6 TB egallaydi va INT4 kvantlashda ham taxminan 1,4 TB talab qiladi, bu bitta isteʼmolchi GPU dan foydalanishni istisno qiladi. Huawei oʻzining A3 va 950 SuperPoD tizimlarini bu trilyon parametrlik MoE inferens sinfi uchun joylashtirdi va Kimi K3.1 Pro ning chiqarilishi uni ishga tushirish kuni qoʻllab-quvvatlagan oxirgi ochiq model boʻldi.



