MetaX GPU C seriyasida FlagOS W8A8 vaznlari yordamida Hy4ni qoʻllab-quvvatlashni qoʻshdi
Batafsil
Pandaily
pandaily.com

MetaX GPU C seriyasida FlagOS W8A8 vaznlari yordamida Hy4ni qoʻllab-quvvatlashni qoʻshdi

MetaX kompaniyasi oʻzining C seriyasi grafika protsessorlari tomonidan noyabr oyida yuklanadigan vaznlar bilan Tencentning flagman modeli Hy4 uchun nol kun moslashtirish yakunlanganini maʼlum qildi. Bundan tashqari, chip ishlab chiqaruvchisi oʻz uskunalari uchun FlagOS asosidagi W8A8 versiyasini taqdim etdi, bu yangi, maxsus oʻqitilgan model yaratish emas, balki joylashtirish variantidir.

Integratsiya MXMACA dasturiy stekidan amalga oshirildi, u drayverlar, interfeyslar, MXCC kompilyatori, operatorlarni moslashtirish va inferens fraqmentlari bilan bogʻlanishni oʻz ichiga oladi. Eʼlonida yuqori tranzit tezligi, past kechikish va barqaror ishlash kabi yuqori koʻrsatkichlar qayd etilgan, ammo bu daʼvolar yetkazib beruvchining bayonotlari boʻlib, barcha ilovalarda mustaqil tekshirilgan natijalar emas.

FlagRelease jamoatchilik repozitoriyida safetensors vazn fayllari mavjud, ularni shunchaki eʼlon yoki namuna sifatida emas, balki yuklab olish mumkin. W8A8 belgisini sakkiz bitli vaznlar va aktivatsiyalar bildiradi. Tekshirishda sanab oʻtilgan vazn fragmentidan muvaffaqiyatli 64 bayt olingan; Pandaily nashri toʻliq modelni yuklamagan va joylashtirishni ishga tushirmagan.

Modelning qoʻshimcha kartochkasi 64 GB sigʻimli sakkizta MetaX C550 GPU bilan jihozlangan toʻrtta serverni tasvirlaydi, bu jami 32 ta GPU ni tashkil etadi. Taslama ssenariysida tasodifiy kirishdan foydalanib, har bir soʻrov uchun taxminan 4000 ta kirish va 1000 ta chiqish tokenlari bilan 64 bir vaqtinchalik soʻrov ishlatildi. Ushbu ish sharoitlari va apparat xususiyatlari olingan maʼlumotlarni talqin qilishda muhimdir.

Bu sinov doirasida tavsiya etilgan grafik daraxt dekodlash rejimi, uni ishlatmaganda 52,31 token/sekund ga nisbatan 80,98 token/sekund agregat chiqarish tezligini taʼminladi. Biroq, navbat kutishni hisobga olgan holda, birinchi tokengacha boʻlgan oʻrtacha vaqt 220,5 dan 227,2 soniyagacha oshdi. Shu sababli, natijalar barcha kechikish koʻrsatkichlaridagi yaxshilanish haqidagi umumiy daʼvoyi tasdiqlamaydi.

Xuddi shu kartochka hali ham ikkita multimodal sinovni davom etayotgan deb belgilaydi. Uning joylashtirish retsepti kontekstning maksimal sozlamasini 65 536 tokenlarga yetkazadi, bu Hy4 ning 1 million token atrofidagi eʼlon qilingan kontekst quvvati bilan chalkashtirilmasligi kerak. Ishlash koʻrsatkichlari va baholashlar nashriyot tomonidan taqdim etilgan maʼlumotlar boʻlib, konfiguratsiyadan bogʻliq.

Shuningdek, litsenziyalashga eʼtibor qaratish kerak. Garchi ishlab chiqarish repozitoriyasining metadataʼsida Apache-2.0 belgisi boʻlsa-da, Tencent Hy License 1.0 ning asl litsenziyasi u Apache 2.0 emasligini bevosita aytib turadi va kvantlangan vaznlarni hosil boʻlgan ishlar sifatida kiritadi. U Modelni Xizmat sifatida taqdim etuvchi malakali korxonalar uchun alohida litsenziyalash talablarini belgilaydi, baʼzi shartlar bajarilsa, ichki foydalanish uchun istisno mavjud.

MetaX ning maxsus xizmat yoʻli va kvantlangan vaznlarning mavjudligi foydali qoʻshimcha hisoblanadi. Bu MetaX tomonidan Hy4 ning avvalgi moslashuvidan va Tencent modelining boshlangʻich eʼlonidan farq qiladi; uskuna integratsiyasi yoki repozitoriyaning metadataʼsi modelning asl tijorat shartlarini bekor qilmaydi.

Oʻxshash hikoyalar

Tencent flagman modelining Hy4 ogʻirligini shartli litsenziya ostida chiqardi
Batafsil
pandaily.com

Tencent flagman modelining Hy4 ogʻirligini shartli litsenziya ostida chiqardi

Tencent kompaniyasi oʻzining flagman modeli Hy4 ning yuklab olish mumkin boʻlgan ogʻirlarini 20-noyabr kuni eʼlon qildi va bu chiqarish bilan birga yangi Tizim xaritasi ham taqdim etildi. Bu nashr 4-noyabrdagi xizmatni ishga tushirishdan soʻng amalga oshirildi va ushbu hafta mavjud boʻlgan Hy4 ning avvalgi nazorat nuqtalaridan farq qiladi.

Modelning rasmiy kartochkasida 770 milliard parametrga ega til yadrosiga ega 'ekspertlar aralashmasi' turidagi multimodal tizim tavsif qilingan. Faollashtirilganda, har bir matn tokeni uchun 49 milliard parametr ishlatiladi va kontekst oynasi 1 048 576 tokenni tashkil etadi. Shu bilan birga, yadroni hisoblashga koʻrish kodlovchisi, adapter va DFly2 loyiha nusxalarini yaratish komponenti kirmaydi.

Tencent ishlab chiquvchilarga yanada oʻqitish yoki joriy etish uchun turli boshlangʻich nuqtalarni taqdim etdi, jumladan Hy4, Hy4-FP8 va Hy4 ning asosiy nazorat nuqtalari roʻyxatiga kiritildi.

Pandaily uchta omborxonadagi ogʻirlar shardlaridan kichik bayt diapazonini olganligini tasdiqladi. Biroq, kompaniya toʻliq nazorat nuqtalarini yuklab olmadi va inferens oʻtkazmadi.

Joylashtirish hujjatlari sakkiz tomonlama tensor parallelizmi yordamida vLLM va SGLang uchun retseptlarni oʻz ichiga oladi; bu oddiy noutbukda flagman modelining ishlashini isbotlamaydigan, sezilarli infratuzilma joylashtirishlardir.

Ogʻirlar Apache 2.0 emas, balki Tencent Hy License 1.0 litsenziyasidan foydalanadi. Qoʻshimcha tijorat shartlari uchinchi tomonlarga umumiy maqsadli masofaviy chiqarish yoki nozik sozlashni taqdim etadigan operatorlarga qoʻllaniladi. Xizmat sifatida model operatorlari, agar ularning umumiy jahon yillik daromadi istalgan ketma-ket 12 oylik davrda 50 million dollardan oshsa, Hy4 tomonidan bu daromad hosil qilingan boʻlmasligi yoki model 100 milliondan ortiq faol foydalanuvchiga ega mahsulot yoki xizmatda ishlatilmagan boʻlmasligi holatida ham alohida yozma ruxsat olishlari kerak.

Litsenziya cheklangan funksionallikka ega yakuniy foydalanuvchi jarayonlarini va mustaqil boshqariladigan model xizmatlariga sodda qayta yoʻnaltirishlarni oʻzining model xizmati taʼrifidan chiqarib tashlaydi. Ichki foydalanish uchun tor istisno model, uning hosilalari yoki natijalari uchinchi tomonlarga taqdim etilmasligi talab qilinadi. Shunday qilib, bu chegaralar har bir tijorat foydalanuvchisi uchun keng qamrovli cheklov sifatida koʻrilmasligi kerak.

Tencent shuningdek, kiberxavfsizlik boʻyicha zararli oʻquv materialini filtrlash va mutaxassislar tomonidan ichki xavfsizlik auditlarini oʻtkazishni koʻrsatadi. Ushbu baholar nashriyot tomonidan berilgan boʻlib, model notoʻgʻri ishlatilmasligiga oid mustaqil kafolatlar emas. Joylashtirishni baholaydigan ishlab chiquvchilar hali ham oʻzlarining vazifa samaradorligi, resurs talablari va xavfsizlik choralarini baholashlari kerak.

Amaliy oʻzgarish flagman modelining artefaktlariga va uning foydalanishini tartibga soluvchi shartlarga kirishda boʻlib, Hy4 ning koʻrish va kompyuterlashtirilgan foydalanish sohasidagi avval eʼlon qilingan imkoniyatlarining yangi debiutida emas.

Tencent Hy4 flash modelining vaznini uchta variantda yuklab olish uchun chiqardi
Batafsil
pandaily.com

Tencent Hy4 flash modelining vaznini uchta variantda yuklab olish uchun chiqardi

Tencent kompaniyasi Hy4 flash modelining vaznlarini yuklab olish uchun eʼlon qildi, bu modelning APIsi 16-noyabrda eʼlon qilinganidan soʻng sodir boʻldi. Bu haqida IT Home nashri 18-noyabrda xabar berdi. Ushbu yangilanish avval Pandaily tomonidan yoritilgan API spetsifikatsiyalari va narxlarni qayta taqdim etish oʻrniga, joylashtiriladigan nazorat nuqtalarini olish imkoniyatini taqdim etadi.

Tencentning rasmiy model kartochkasi uchta versiyani roʻyxatlaydi: koʻrsatma sozlamalari bilan model boʻlgan Hy4 flash; uning koʻrsatma sozlamalari bilan kvantlangan versiyasi boʻlgan Hy4 flash-FP8; va oldindan oʻqitilgan asosiy model boʻlgan Hy4 flash-base. Asosiy nazorat nuqtasi chat bilan ishlaydigan tayyor variantlarni almashtirish uchun emas, balki yanada oʻqitish uchun moʻljallangan.

Pandaily Hugging Faceʼdagi uchta rasmiy repozitoriyani tekshirdi. Vaznlar indeks fayllari mavjud shardlar roʻyxatiga ishora qilgan, va anonim bayt diapazoni soʻrovlari har bir versiya uchun vazn fayllarining maʼlumotlarini qaytardi. Bu tekshiruvlar yuklab olish imkoniyati borligini tasdiqlaydi, ammo nazorat nuqtalarining toʻliq yuklanishi yoki muvaffaqiyatli natija sinovlari emas.

Standart nazorat nuqtasi taxminan 440,5 GB tensor maʼlumotlarini oʻz ichiga oladi, FP8 uchun esa bu taxminan 287,1 GB ni tashkil etadi. Bu oʻlchamlar vazn maʼlumotlariga tegishli, GPU xotirasining minimal talablariga emas. Kvantlash saqlash hajmini kamaytiradi, lekin chiqarishni kichik isteʼmolchi qurilmalari uchun modelga aylantirmaydi.

Joylashtirish boʻyicha hujjatlar ushbu chiqarishning muhim qismidir. Tencent vLLM va SGLang uchun maxsus konteyner tasvirlarini, shu jumladan sakkiz tomonlama tensor parallelizmi foydalanish misollarini taqdim etadi. Transformers uchun koʻrsatmalar modelni qoʻllab-quvvatlashni soʻrashni koʻrsatadi, standart chiqarilgan paket ushbu arxitekturani allaqachon qoʻllab-quvvatlayotganini taxmin qilmaydi.

vLLM retsepti ham host operativ xotirasini talab qiladi, chunki Engram jadvallari standart holatda CPU xotirasiga yuklanadi. Boshlangʻich konfiguratsiya 8192 token hajmidagi kontekstdan foydalanadi; model tomonidan eʼlon qilingan 1 million token sigʻimi har bir apparat konfiguratsiyasining bunday uzunlikni xizmat qilishini kafolatlamaydi. Eʼlon qilingan xotira yoʻriqnomalari oʻlchangan minimal talablar emas, balki baholangan qiymatlardir.

Nazorat nuqtalari Tencent Hy 1.0 litsenziyasidan foydalanadi, bu litsenziya uni Apache 2.0 boʻlmaganligi haqida bevosita koʻrsatadi, garchi u undan hosil boʻlgan boʻlsa ham. 10-boʻlim modelni xizmat sifatida ishlatuvchi operatorlar uchun alohida yozma litsenziyani talab qiladi, agar ularning umumiy jahon daromadi ketma-ket 12 oylik davr ichida 50 million AQSh dollaridan oshsa, yoki modelni oyiga 100 milliondan ortiq faol foydalanuvchiga ega mahsulot yoki xizmatda ishlatilsa. Ichki foydalanish uchun tor aniqlangan istisno qoʻllaniladi, bunda model va uning natijalari uchinchi tomonlarga taqdim etilmaydi.

Shunday qilib, ushbu chiqarishni Tencent tomonidan eʼlon qilingan shartlarga muvofiq vaznlar boʻyicha ochiq deb taʼriflash eng yaxshi, cheksiz ruxsat etilgan ochiq kod sifatida emas. Tencent Hy4 kabi kattaroq modelning vaznlarini chiqarish hali tayyorlanayotganini maʼlum qilmoqda.

TokenRhythm agentlarga yoʻnaltirilgan NeoHorse-1.5-Flash Preview modelining cheklangan beta-versiyasini chiqardi
Batafsil
pandaily.com

TokenRhythm agentlarga yoʻnaltirilgan NeoHorse-1.5-Flash Preview modelining cheklangan beta-versiyasini chiqardi

Xitoy sunʼiy intellekt infratuzilmasi ishlab chiquvchisi va bir nechta modellarni yoʻnaltirish platformasini boshqaruvchi TokenRhythm kompaniyasi 5-noyabr kuni NeoHorse-1.5-Flash Previewni taqdim etdi. Kompaniya bu modelni vazifalarni bajarish va dasturiy taʼminot ishlab chiqish uchun moʻljallangan agentga yoʻnaltirilgan deb taʼriflaydi. Uga faqat cheklangan beta-versiya orqali kirish mumkin boʻlib, ishtirok etish uchun foydalanuvchilar kompaniyaning WeChatdagi rasmiy akkaunti orqali ariza berishi kerak.

TokenRhythm maʼlumotlariga koʻra, model Qwen3.8-Flash asosida oʻqitilgan va unda jami 180 milliard parametr mavjud boʻlib, ulardan 6 milliard faol qoʻllaniladi. Asosiy model bilan solishtirganda, kompaniya Agents' Last Exam testida umumiy koʻrsatkichlarda 9,23 ball, Natural Language to Repository testida esa 5,92 ball oʻsish qayd etdi. Bundan tashqari, fizika fanlari vazifalarida 20 balldan ortiq yaxshilanish, shuningdek, ishlab chiquvchi vositalari, sinovlash, veb-dasturlash va kriptografiya hamda xavfsizlik sohalarida taraqqiyotga erishildi. Shuni taʼkidlash kerakki, bu baholar kompaniya tomonidan oʻtkazilgan va mustaqil natijalar hali eʼlon qilinmagan.

Bu chiqarish TokenRhythmning rekursiv oʻz-oʻzini takomillashtirish ustidagi ikkinchi bosqich sifatida qaralmoqda. Sentabrda NeoHorse-1 chiqarilgandan soʻng, kompaniya ushbu modelni oʻz modellari puliga qaytardi, haqiqiy vazifalar bajarilishi boʻyicha fikr-mulohazalarni yigʻdi va ulardan keyingi versiyani oʻqitish uchun foydalandi. Kompaniyaning yoʻnaltirish tizimi vazifalar uchun talab qilinadigan imkoniyatlar haqida signallar beradi, va bir xil vazifa boʻyicha bir nechta ilgʻor modellar ishga tushirilishi taqqoslanadigan natijalarni beradi. NeoHorse natijalari va bu maʼlumotlar oʻrtasidagi farqlar oʻquv signallari sifatida ishlatiladi. Jamoa bu jarayon asosini tashkil etuvchi uchta usulni nomladi: koʻpmodelli differensial diagnostika, dushman muhitining evolyutsiyasi va onlayn uylash oʻqitilishi.

Bu sikl TokenRhythm kompaniyasining ochiq kodli mahsuloti boʻlgan OpenSquilla asosida ham qurilgan. Vazifa niyatiga qarab model darajasi tanlangan kunidan keyin chiqqan yangilanishda, vazifa davom etayotganda tanlangan daraja saqlanib qoladi va qayta urinishlar paytida daraja oshiriladi.

TokenRhythmning GitHub va Hugging Facedagi jamoat sahifalari yangi preview versiyasi emas, balki avvalgi avlod mavjudligini tasdiqlaydi. NeoHorse-1 7-sentabrda 4B va 9B versiyalari sifatida chiqarilgan boʻlib, ular Qwen3.5 ustida Apache 2.0 litsenziyasi bilan oʻqitilgan, texnik hisobot va kvantlashtirilgan versiyalar bilan birga berilgan. Sentabr oxirida NeoHorse-Jev nomli 4B qaror qabul qilish modeli keldi. Eʼlon qilingan paytda, bu sahifalarda NeoHorse-1.5-Flash Preview uchun yuklab olish massivlari, model kartochkasi yoki litsenziya mavjud emas edi, shuning uchun uni ochiq massivlar bilan chiqarilgan versiya sifatida koʻrish mumkin emas.

Mashhur