MetaX kompaniyasi oʻzining C seriyasi grafika protsessorlari tomonidan noyabr oyida yuklanadigan vaznlar bilan Tencentning flagman modeli Hy4 uchun nol kun moslashtirish yakunlanganini maʼlum qildi. Bundan tashqari, chip ishlab chiqaruvchisi oʻz uskunalari uchun FlagOS asosidagi W8A8 versiyasini taqdim etdi, bu yangi, maxsus oʻqitilgan model yaratish emas, balki joylashtirish variantidir.
Integratsiya MXMACA dasturiy stekidan amalga oshirildi, u drayverlar, interfeyslar, MXCC kompilyatori, operatorlarni moslashtirish va inferens fraqmentlari bilan bogʻlanishni oʻz ichiga oladi. Eʼlonida yuqori tranzit tezligi, past kechikish va barqaror ishlash kabi yuqori koʻrsatkichlar qayd etilgan, ammo bu daʼvolar yetkazib beruvchining bayonotlari boʻlib, barcha ilovalarda mustaqil tekshirilgan natijalar emas.
FlagRelease jamoatchilik repozitoriyida safetensors vazn fayllari mavjud, ularni shunchaki eʼlon yoki namuna sifatida emas, balki yuklab olish mumkin. W8A8 belgisini sakkiz bitli vaznlar va aktivatsiyalar bildiradi. Tekshirishda sanab oʻtilgan vazn fragmentidan muvaffaqiyatli 64 bayt olingan; Pandaily nashri toʻliq modelni yuklamagan va joylashtirishni ishga tushirmagan.
Modelning qoʻshimcha kartochkasi 64 GB sigʻimli sakkizta MetaX C550 GPU bilan jihozlangan toʻrtta serverni tasvirlaydi, bu jami 32 ta GPU ni tashkil etadi. Taslama ssenariysida tasodifiy kirishdan foydalanib, har bir soʻrov uchun taxminan 4000 ta kirish va 1000 ta chiqish tokenlari bilan 64 bir vaqtinchalik soʻrov ishlatildi. Ushbu ish sharoitlari va apparat xususiyatlari olingan maʼlumotlarni talqin qilishda muhimdir.
Bu sinov doirasida tavsiya etilgan grafik daraxt dekodlash rejimi, uni ishlatmaganda 52,31 token/sekund ga nisbatan 80,98 token/sekund agregat chiqarish tezligini taʼminladi. Biroq, navbat kutishni hisobga olgan holda, birinchi tokengacha boʻlgan oʻrtacha vaqt 220,5 dan 227,2 soniyagacha oshdi. Shu sababli, natijalar barcha kechikish koʻrsatkichlaridagi yaxshilanish haqidagi umumiy daʼvoyi tasdiqlamaydi.
Xuddi shu kartochka hali ham ikkita multimodal sinovni davom etayotgan deb belgilaydi. Uning joylashtirish retsepti kontekstning maksimal sozlamasini 65 536 tokenlarga yetkazadi, bu Hy4 ning 1 million token atrofidagi eʼlon qilingan kontekst quvvati bilan chalkashtirilmasligi kerak. Ishlash koʻrsatkichlari va baholashlar nashriyot tomonidan taqdim etilgan maʼlumotlar boʻlib, konfiguratsiyadan bogʻliq.
Shuningdek, litsenziyalashga eʼtibor qaratish kerak. Garchi ishlab chiqarish repozitoriyasining metadataʼsida Apache-2.0 belgisi boʻlsa-da, Tencent Hy License 1.0 ning asl litsenziyasi u Apache 2.0 emasligini bevosita aytib turadi va kvantlangan vaznlarni hosil boʻlgan ishlar sifatida kiritadi. U Modelni Xizmat sifatida taqdim etuvchi malakali korxonalar uchun alohida litsenziyalash talablarini belgilaydi, baʼzi shartlar bajarilsa, ichki foydalanish uchun istisno mavjud.
MetaX ning maxsus xizmat yoʻli va kvantlangan vaznlarning mavjudligi foydali qoʻshimcha hisoblanadi. Bu MetaX tomonidan Hy4 ning avvalgi moslashuvidan va Tencent modelining boshlangʻich eʼlonidan farq qiladi; uskuna integratsiyasi yoki repozitoriyaning metadataʼsi modelning asl tijorat shartlarini bekor qilmaydi.



