Moonshot AI kompaniyasi ochiq kodli Kimi K3 modelini rasman e'lon qildi. Ushbu model 2,8 trillion MoE parametriga ega, 896 ta yo'naltirilgan ekspertni o'z ichiga oladi va token bo'yicha 16 ta faol ekspertni qo'llab-quvvatlaydi, shuningdek, 1 million token kontekst oynasiga ega. Bundan tashqari, MoonEP, FlashKDA va AgentEnv kabi infratuzilma vositalari ham chiqarildi.
Modelning texnik xususiyatlari va yaxshilanishlari
Kimi K3 ning chiqarilishi 27 iyulda amalga oshirildi. Model ochiq vaznli modellar orasida dunyodagi eng katta modelga aylandi. Oldingi avlod K2.5 ga nisbatan K3 ning parametrlar miqyosi taxminan uch barobar oshdi, shu bilan birga Kimi Delta Attention, Attention Residuals va MoonEP texnologiyalaridan foydalanish natijasida hisoblash samaradorligi 2,5 baravar oshdi, bu cheklangan hisoblash resurslari sharoitida ishlash imkonini beradi.
Arxitektura innovatsiyalari
Texnik hisobot bir qator arxitektura yangiliklarini ochib beradi. KDA gibrid diqqat tuzilmasi Gated MLA bilan birlashib, u uzun kontekstni samarali qayta ishlash uchun chiziqli diqqat va yuqori sifatli mahalliy ifodalarni olish uchun ventilyatsiya qilingan ko'p boshli latent diqqatni birlashtiradi. Stable LatentMoE yo'naltirish mexanizmi katta MoE modellarini o'qitishda tez-tez uchraydigan ekspertlar kolapsi muammosini hal qiladi, yo'naltiruvchi gradiyent dinamikasini barqarorlashtiradi. Bundan tashqari, MoonViT-V2 ko'rish kodlovchisi o'quv sxemasi alohida ko'rish va til adapterlaridan foydalanish zarurati bo'lmagan tabiiy multimodal interpretatsiyani ta'minlaydi. Model universal fikrlash, agentlar va kodlash vazifalarida o'qitilib sinovdan o'tkazildi, bu K3 ning toza til vazifalaridan tashqari keng imkoniyatlarini namoyish etdi.
Infratuzilma yechimlari
Modeldan tashqari, uchta infratuzilma vositasi ochildi. MoonEP katta miqyosdagi MoE o'qitilishi uchun mo'ljallangan yuqori samarali aloqa kutubxonasi bo'lib, MoE skalalashini cheklaydigan barcha-barchaga aloqa bosimini bartaraf etadi. FlashKDA Kimi Delta Attention uchun yuqori samarali hisoblash yadrosini taqdim etadi; benchmarklarga ko'ra, H20 GPU da u asosiy flash-linear-attention variantiga qaraganda oldindan to'ldirish tezligini 1,72 dan 2,22 gacha yaxshilaydi. AgentEnv esa KVCache.ai yordamida ishlab chiqilgan agentlar uchun sandbox tizimidir, u katta miqyosdagi agentlarni o'qitish muhitlari uchun tezkor skrinshot olish, tiklash va fork qilish funksiyalarini qo'llab-quvvatlaydi. Bu infratuzilma chiqarilishlari K3 sinfidagi modellarni takrorlash va yanada rivojlantirish uchun to'siqni pasaytiradi.
Chiqarishning ekotizimdagi oqibatlari
Ochiq kodli chiqarish ekotizim uchun sezilarli oqibatlarga ega. K3 GPT-5.6 va Claude Fable 5 kabi yopiq ilg'or modellarga nisbatan bir qator maxsus testlarda, ayniqsa frontend uchun kod yaratishda teng keladi yoki ulardan ustun turadi. Shu bilan birga, K3 ni API orqali ishlatish narxi Claude ga qaraganda 40%, Fable ga qaraganda esa 70% pastroqdir. Ochiq vaznli litsenziya mahalliy joylashtirishni va API ga bog'liq bo'lmasdan o'z ilovalaringizni ishlab chiqish imkonini beradi. Biroq, 2,8 trillion parametrli miqyos tufayli, hatto mahalliy joriy etish ham sezilarli jihozlarni talab qiladi - faqat modelni yuklash uchun kamida 10 GB300 sinfining GPUsi kerak, bu inferensiya infratuzilmasi xarajatlarini API to'lovidan ko'ra joylashtirishdagi asosiy omilga aylantiradi.
Bozor reaksiyasi va cheklovlar
Bu chiqarish ekotizimda zanjir reaksiyasiga sabab bo'ldi. Alibaba Cloud ning Qianwen AI platformasi K3 mavjudligini e'lon qildi. Huawei K3 uchun Ascend 0-day moslashtirishni e'lon qildi, bu milliy uskuna ustida 3 trillion darajali modelni ishga tushirishning birinchi holati bo'ldi. Ochiq kodli hamjamiyat model vaznlariga kirishdi, ular avval nusxa ko'chirish uchun yuzlab million investitsiyalarni talab qilardi. Moonshot AI ochiq kodli tashabbusining ochiq vaznli modellar ekotizimini rivojlantirish, AI uchun ishlab chiqish va joylashtirish to'siqlarini kengroq jamiyat uchun pasaytirishga qaratilganini bildirdi. Biroq, bundan qisqa muddatdan so'ng, K3 2,8 trillion parametrli modelni miqyosda xizmat ko'rsatishdagi hisoblash quvvati cheklovlari tufayli yangi foydalanuvchi obunalarini to'xtatganligi e'lon qilindi, bu ochiq kodli ideal va 2,8 trillion parametrli modelni miqyosda xizmat ko'rsatish realiyati o'rtasidagi ziddiyatni ta'kidladi.