Tencent kompaniyasi Hy4 flash modelining vaznlarini yuklab olish uchun eʼlon qildi, bu modelning APIsi 16-noyabrda eʼlon qilinganidan soʻng sodir boʻldi. Bu haqida IT Home nashri 18-noyabrda xabar berdi. Ushbu yangilanish avval Pandaily tomonidan yoritilgan API spetsifikatsiyalari va narxlarni qayta taqdim etish oʻrniga, joylashtiriladigan nazorat nuqtalarini olish imkoniyatini taqdim etadi.
Tencentning rasmiy model kartochkasi uchta versiyani roʻyxatlaydi: koʻrsatma sozlamalari bilan model boʻlgan Hy4 flash; uning koʻrsatma sozlamalari bilan kvantlangan versiyasi boʻlgan Hy4 flash-FP8; va oldindan oʻqitilgan asosiy model boʻlgan Hy4 flash-base. Asosiy nazorat nuqtasi chat bilan ishlaydigan tayyor variantlarni almashtirish uchun emas, balki yanada oʻqitish uchun moʻljallangan.
Pandaily Hugging Faceʼdagi uchta rasmiy repozitoriyani tekshirdi. Vaznlar indeks fayllari mavjud shardlar roʻyxatiga ishora qilgan, va anonim bayt diapazoni soʻrovlari har bir versiya uchun vazn fayllarining maʼlumotlarini qaytardi. Bu tekshiruvlar yuklab olish imkoniyati borligini tasdiqlaydi, ammo nazorat nuqtalarining toʻliq yuklanishi yoki muvaffaqiyatli natija sinovlari emas.
Standart nazorat nuqtasi taxminan 440,5 GB tensor maʼlumotlarini oʻz ichiga oladi, FP8 uchun esa bu taxminan 287,1 GB ni tashkil etadi. Bu oʻlchamlar vazn maʼlumotlariga tegishli, GPU xotirasining minimal talablariga emas. Kvantlash saqlash hajmini kamaytiradi, lekin chiqarishni kichik isteʼmolchi qurilmalari uchun modelga aylantirmaydi.
Joylashtirish boʻyicha hujjatlar ushbu chiqarishning muhim qismidir. Tencent vLLM va SGLang uchun maxsus konteyner tasvirlarini, shu jumladan sakkiz tomonlama tensor parallelizmi foydalanish misollarini taqdim etadi. Transformers uchun koʻrsatmalar modelni qoʻllab-quvvatlashni soʻrashni koʻrsatadi, standart chiqarilgan paket ushbu arxitekturani allaqachon qoʻllab-quvvatlayotganini taxmin qilmaydi.
vLLM retsepti ham host operativ xotirasini talab qiladi, chunki Engram jadvallari standart holatda CPU xotirasiga yuklanadi. Boshlangʻich konfiguratsiya 8192 token hajmidagi kontekstdan foydalanadi; model tomonidan eʼlon qilingan 1 million token sigʻimi har bir apparat konfiguratsiyasining bunday uzunlikni xizmat qilishini kafolatlamaydi. Eʼlon qilingan xotira yoʻriqnomalari oʻlchangan minimal talablar emas, balki baholangan qiymatlardir.
Nazorat nuqtalari Tencent Hy 1.0 litsenziyasidan foydalanadi, bu litsenziya uni Apache 2.0 boʻlmaganligi haqida bevosita koʻrsatadi, garchi u undan hosil boʻlgan boʻlsa ham. 10-boʻlim modelni xizmat sifatida ishlatuvchi operatorlar uchun alohida yozma litsenziyani talab qiladi, agar ularning umumiy jahon daromadi ketma-ket 12 oylik davr ichida 50 million AQSh dollaridan oshsa, yoki modelni oyiga 100 milliondan ortiq faol foydalanuvchiga ega mahsulot yoki xizmatda ishlatilsa. Ichki foydalanish uchun tor aniqlangan istisno qoʻllaniladi, bunda model va uning natijalari uchinchi tomonlarga taqdim etilmaydi.
Shunday qilib, ushbu chiqarishni Tencent tomonidan eʼlon qilingan shartlarga muvofiq vaznlar boʻyicha ochiq deb taʼriflash eng yaxshi, cheksiz ruxsat etilgan ochiq kod sifatida emas. Tencent Hy4 kabi kattaroq modelning vaznlarini chiqarish hali tayyorlanayotganini maʼlum qilmoqda.