Moore Threads GPU MTT S5000 da Kimi K3.1 Proni qoʻllab-quvvatlashni qoʻshdi

Alibaba Cloud kompaniyasi oʻzining Lingjun Zhenwu M890 SuperPoD tizimi Kimi K3.1 Pro modelini Moonshot AI tomonidan day-zero rejimida moslashtirishni yakunlaganini maʼlum qildi. Shuningdek, vLLM va SGLang inferensiya freymvorklaridagi butun stack tekshirildi. Bu haqda IT Home tomonidan obuna berilgan bulut provayderiga asoslanib, 5-noyabr kuni maʼlum boʻldi.

Kompaniya shuningdek, oʻzining kompaniyasining oʻz yuklagichlari ustida katta ogʻirlikdagi ochiq modellarni joylashtirish mumkin boʻlgan joylar roʻyxatini kengaytirib, Chunwei, Ningsa hududida yangi SuperPoD mintaqasining taklif etiladigan sinovini ochdi.

Model xususiyatlari va birgalikda moslashtirish

Kimi K3.1 Pro modeli 2,8 trillion parametrli mixture-of-experts turidagi tenksiz model hisoblanadi va taxminan million token kontekst oynasiga ega. U Kimi Delta Attention va DSA tenksiz diqqatini hamda koʻp tokenli bashorat qilish qobiliyatidan foydalanadi. Ushbu xususiyatlar miqdoriy xotira va yuqori tezlikdagi oʻzaro bogʻlanishlarga sezilarli talablarni yaratadi.

Alibaba Cloud, T-Head va Kimi jamoasi bu modelni T-Head ning SAIL dasturiy stacki ustida birgalikda moslashtirdi. FlashMLA, DeepGEMM MoE, MegaMoE va MoonEP operatorlari ustidagi ishlar mijozlarga inferensni SuperPoD bare-metal instansiyalari yoki REIN aqlli dvigatri xizmati orqali joylashtirish imkonini berdi. Bundan tashqari, model Alibaba ning Qwen AI platformasi orqali ham mavjud.

Freymvorklardagi qoʻllab-quvvatlash va yangi imkoniyatlar

SGLang va vLLM loyihalarining mustaqil day-zero qoʻllab-quvvatlash hisobotlari M890 va 810E konfiguratsiyalarda Zhenwu PPU ning Kimi K3.1 Pro uchun qoʻllab-quvvatlanishini tasvirlaydi. Ushbu chiqarish Zhenwu ishlab chiqish daraxti ichidagi apparat bazasida yirik ochiq modelning birinchi qoʻllab-quvvatlanishi sifatida qayd etiladi. Alibaba Cloud hujjatlari koʻp yoʻnalishli tugunlar uchun tensor va ekspert parallelizmi sozlamalarini oʻz ichiga olgan Zhenwu M890 SuperPoD instansiyalari uchun prefill-decode retseptlarini eʼlon qiladi.

Chunweidagi SuperPoD taklifi avval mavjud boʻlgan yuqori samarali konfiguratsiyalar ustiga T-Head ning Panmai 920 aqlli tarmoq kartasini kiritadi. Alibaba bu karta PCIe 5.0 va 112G tezlikdagi Ethernet PAM4 dan foydalanishini taʼkidlaydi, maksimal 400 Gbit/s va sekundiga 400 million paketga erishadi. U koʻp yoʻllilik RDMA va dasturlash mumkin boʻlgan yuklama nazoratini qoʻllab-quvvatlaydi, shuningdek, karta ustida PCIe switchini integratsiya qiladi, bu GPU va SSD larning tashqi switchga kamroq bogʻliqligi bilan ulanishiga imkon beradi — kompaniya aytishicha, bu dizayn tizim xarajatlarini taxminan 30% ga kamaytirishi mumkin.

Katta modellar uchun day-zero SuperPoD instansiyalari Ulanbaba va Chunweidagi maʼlumotlar markazlarida mavjud. Alibaba Cloud Lingjun Zhenwu M890 SuperPoD instansiyalari allaqachon katta modellar, avtonom haydash va jismoniy sunʼiy intellekt sohalaridagi 100 dan ortiq yirik mijozlarga xizmat koʻrsatayotganini taʼkidlaydi. Kompaniya shuningdek, keyingi avlod Zhenwu V900 SuperPoD instansiyasi joriy avlodga nisbatan taxminan uch barobar yuqori samaradorlikni taʼminlashi kutilayotganini takrorladi. Bu eʼlon shu hafta Huawei Ascend tomonidan Kimi K3.1 Pro ning day-zero rejimida alohida qoʻllab-quvvatlanishi haqida xabar berilgan bilan toʻgʻri keladi va SuperPoD stacklarida modelni ishga tushirish uchun ikkita mahalliy yoʻlni taqdim etadi.

Huawei Ascend hisoblash tizimlari jamoasi 2,8 trillion parametrga ega boʻlgan Kimi K3.1 Pro modelining inferens uchun moslashtirilishining yakunlanganini maʼlum qildi. Ushbu modelning toʻliq vaznlari Moonshot AI tomonidan 4-noyabr kuni rasmiy Huawei Computing akkauntiga koʻra chiqarilgan, bu haqda IT Home va ifeng Tech xabar berdi.

vLLM Ascend va SGLang dan foydalanib, ishlab chiquvchilar endi ushbu modelni Atlas 800 A3, Atlas 900 A3 SuperPoD klasterida va uni chiqarilgan paytdan boshlab Ascend 950 SuperPoD seriyasidagi serverlarda joylashtira oladi.

Kimi K3.1 Pro Moonshot AI ning K3.1 seriyasidagi birinchi modeldir. Bu tabiiy vizual qayta ishlash va taxminan bir million token atrofidagi kontekst oynasiga ega boʻlgan mixture-of-experts turidagi model boʻlib, har bir inferens bosqichida taxminan 104 milliard parametrni faollashtiradi. Model Kimi Delta Attention (KDA) qatlamlariga asoslangan K3 gibridli chiziqli diqqatni saqlab qoladi va uzoq kontekst modellashtirish xarajatlarini kamaytirish uchun baʼzi toʻliq diqqat qatlamlari oʻrniga DSA (sparse attention) qatlamlarini qoʻshadi.

Moslashtirish boʻyicha ishning katta qismi aynan shu arxitektura bilan bogʻliq edi. Huawei aytganicha, uning inferens jamoasi Kimi K3 ning avvalgi moslashuviga tayanib, yangi modelni oldindan tahlil qilib va modelni integratsiya qilish, operatorlarni ishlab chiqish va xizmatlarni tasdiqlash ustida parallel ish olib bordi. KDA va MoE ning mavjud qoʻllab-quvvatlanishi tufayli, jamoa yangi sparse attention va multimodal inferens yoʻlini qoʻshdi, mavjud inferens freymvorklaridagi xizmat koʻrsatish funksiyalarini saqlab qoldi.

Huawei maʼlumotlariga koʻra, optimallashtirish tarixiy maʼlumotlarni tanlash, sparse attention hisob-kitoblari, old ishlov berish va qoldiq hisob-kitoblari uchun asosiy operatorlarni qamrab oldi, bu esa uzun kontekstli inferens va ishlab chiqarish xizmatini qoʻllab-quvvatlash uchun tarqatilgan keshlash va freymvork darajasidagi funksiyalar bilan birlashtirildi. Kompaniya foydalanuvchilar va ishlab chiquvchilar model chiqarilgan birinchi kuni ilovalarni sinovdan oʻtkazish va joylashtirishni boshlashi maqsadini qoʻydi.

vLLM Ascend hujjatlari Kimi K3.1 Pro ning vLLM Ascend 0.30.0 versiyasida eksperimental rejimda qoʻllab-quvvatlanishini koʻrsatadi. Uning standart tuzilmalari prefiks va dekodlashni sakkiz tugunga ajratadi, bunda toʻrtta prefiks va toʻrtta dekodlash tugunlari mavjud boʻlib, bir million tokenli uzun kontekst konfiguratsiyasini ham oʻz ichiga oladi. Atlas 800I A3 serverlari W4A8 kvantlangan nuqtasi bilan ishlaydi, shu bois 950DT mahsulotlari W4A8 MXFP variantidan foydalanadi; rahbariyat taʼkidlaydiki, Atlas A2 va 950PR mahsulotlari hali qoʻllab-quvvatlanmaydi.

Model hajmi apparat qoʻllab-quvvatlashni amaliy masalaga aylantiradi. IT Home eslatadiki, BF16 formatidagi vaznlar taxminan 5,6 TB egallaydi va INT4 kvantlashda ham taxminan 1,4 TB talab qiladi, bu bitta isteʼmolchi GPU dan foydalanishni istisno qiladi. Huawei oʻzining A3 va 950 SuperPoD tizimlarini bu trilyon parametrlik MoE inferens sinfi uchun joylashtirdi va Kimi K3.1 Pro ning chiqarilishi uni ishga tushirish kuni qoʻllab-quvvatlagan oxirgi ochiq model boʻldi.

Moore Threads kompaniyasi Megatron-MUSA-Titan loyihasini ommaga oshirdi va oʻzining katta modellarini oʻqitish uchun ishlab chiqqan infratuzilmani taqdim etdi. Ushbu loyiha Moore Threads ning 10 000 dan ortiq GPUdan iborat klasterlarida trilyon parametrli 'ekspertlar aralashmasi' (mixture-of-experts) kabi modellar bilan ishlash uchun moʻljallangan boʻlib, u oldindan oʻqitish va kuchaytirish orqali oʻqitishni qamrab oladi.

Loyihaning kodi GitHubda mavjud. Kompaniya bu tizimning 10 000 GPUli klasterlarda trilyon parametrli MoE ni oldindan oʻqitish uchun uzluksiz foydalanilganini taʼkidlaydi, bunda uzoq oʻquv sessiyalari modelning yuqori FLOPs foydalanishi va jarayon barqarorligini taʼminlagan.

Repositoriyda 1 trilyon parametrli Kimi-K2 uslubidagi MoE modeli uchun konfiguratsiya namunasi keltirilgan. Dizaynning asosiy tamoyili mavjud yechimlarga yaqinlikni saqlab qolish edi. Megatron-MUSA-Titan NVIDIA ning Megatron-LM freymvorki asosida qurilgan. torch_musa orqali PyTorch integratsiyasi va MUSA C ning CUDA C bilan mos kelishi tufayli, MUSA muhiti mavjud dasturchilar Megatron-LM, slime va miles ning rasmiy repositoriyalarini klonlab, kodni oʻzgartirish shartmasdan Moore Threads GPUlarida oʻqitishni boshlashlari mumkin.

Loyiha umumiy algoritmlar va xatolarni tuzatishlarni yuqori darajadagi loyihalarga yoʻnaltirish kerakligini koʻrsatadi, shu bois Moore Threads ikkita turdagi oʻzgarishlarga eʼtibor qaratadi: Moore Threads uskunalari va klasterlari uchun moslashtirilgan keng miqyosli optimallashtirishlar hamda MUSA ning maxsus muammolari uchun yechimlar.

Oldindan oʻqitish funksiyalari Moore Threads ning MT-TransformerEngineiga tayanadigan FP8 formatidagi blokli oʻqitishni oʻz ichiga oladi. MoE tokenlarini yoʻnaltirish va birlashtirish kompaniyaning Async Copy Enginei ustida ishlaydigan DeepEP yordamida tezlashtiriladi, bu esa ekspertlar kommunikatsiyasini hisoblashlar bilan parallel ravishda amalga oshirish imkonini beradi. Boshqa variantlar orasida virtual konveyer parallelizmi yordamida aktivatsiyalarni yuklash va bitta oldinga va bitta orqaga oʻtishni rejalashtirish, shuningdek, Mooncake RDMA orqali hisob-kitoblar bilan birgalikda konveyer parallel kommunikatsiyasi mavjud.

Tarqatilgan izlash tahlil asbobi har bir GPU dan PyTorch izlashlarini oʻqib, konveyer pufakchalari va past samaradorlikdagi tugunlar kabi sekin joylarni aniqlaydi. Loyiha 10 000 GPUda 1 trilyon parametrli MoE ishga tushirishni atigi bir necha soat ichida tahlil qilish qobiliyatiga ega ekanligini taʼkidlaydi.

Kuchaytirish orqali oʻqitish uchun stack slime va miles freymvorklarini qoʻllab-quvvatlaydi; Megatron oʻqitish bilan shugʻullanadi, MUSA-SGLang yigʻindisi esa oʻtishlarni yaratadi, bu esa bitta asosiy tizimga oldindan oʻqitish va RL ikkalasini ham xizmat koʻrsatish imkonini beradi. Mustaqil inferens uchun optimallashtirish ushbu loyiha doirasiga kirmaydi.

Milliy akseleratorlarni koʻrib chiqayotgan ishlab chiquvchilar uchun amaliy savol shundaki, mavjud oʻquv kodining qaysi qismi ishlayveradi. Moore Threads ning javobi shuki, Megatron ekotizimi kodi oʻzgarish talab qilmaydi.