Tencent flagman modelining Hy4 ogʻirligini shartli litsenziya ostida chiqardi
Batafsil
Pandaily
pandaily.com

Tencent flagman modelining Hy4 ogʻirligini shartli litsenziya ostida chiqardi

Tencent kompaniyasi oʻzining flagman modeli Hy4 ning yuklab olish mumkin boʻlgan ogʻirlarini 20-noyabr kuni eʼlon qildi va bu chiqarish bilan birga yangi Tizim xaritasi ham taqdim etildi. Bu nashr 4-noyabrdagi xizmatni ishga tushirishdan soʻng amalga oshirildi va ushbu hafta mavjud boʻlgan Hy4 ning avvalgi nazorat nuqtalaridan farq qiladi.

Modelning rasmiy kartochkasida 770 milliard parametrga ega til yadrosiga ega 'ekspertlar aralashmasi' turidagi multimodal tizim tavsif qilingan. Faollashtirilganda, har bir matn tokeni uchun 49 milliard parametr ishlatiladi va kontekst oynasi 1 048 576 tokenni tashkil etadi. Shu bilan birga, yadroni hisoblashga koʻrish kodlovchisi, adapter va DFly2 loyiha nusxalarini yaratish komponenti kirmaydi.

Tencent ishlab chiquvchilarga yanada oʻqitish yoki joriy etish uchun turli boshlangʻich nuqtalarni taqdim etdi, jumladan Hy4, Hy4-FP8 va Hy4 ning asosiy nazorat nuqtalari roʻyxatiga kiritildi.

Pandaily uchta omborxonadagi ogʻirlar shardlaridan kichik bayt diapazonini olganligini tasdiqladi. Biroq, kompaniya toʻliq nazorat nuqtalarini yuklab olmadi va inferens oʻtkazmadi.

Joylashtirish hujjatlari sakkiz tomonlama tensor parallelizmi yordamida vLLM va SGLang uchun retseptlarni oʻz ichiga oladi; bu oddiy noutbukda flagman modelining ishlashini isbotlamaydigan, sezilarli infratuzilma joylashtirishlardir.

Ogʻirlar Apache 2.0 emas, balki Tencent Hy License 1.0 litsenziyasidan foydalanadi. Qoʻshimcha tijorat shartlari uchinchi tomonlarga umumiy maqsadli masofaviy chiqarish yoki nozik sozlashni taqdim etadigan operatorlarga qoʻllaniladi. Xizmat sifatida model operatorlari, agar ularning umumiy jahon yillik daromadi istalgan ketma-ket 12 oylik davrda 50 million dollardan oshsa, Hy4 tomonidan bu daromad hosil qilingan boʻlmasligi yoki model 100 milliondan ortiq faol foydalanuvchiga ega mahsulot yoki xizmatda ishlatilmagan boʻlmasligi holatida ham alohida yozma ruxsat olishlari kerak.

Litsenziya cheklangan funksionallikka ega yakuniy foydalanuvchi jarayonlarini va mustaqil boshqariladigan model xizmatlariga sodda qayta yoʻnaltirishlarni oʻzining model xizmati taʼrifidan chiqarib tashlaydi. Ichki foydalanish uchun tor istisno model, uning hosilalari yoki natijalari uchinchi tomonlarga taqdim etilmasligi talab qilinadi. Shunday qilib, bu chegaralar har bir tijorat foydalanuvchisi uchun keng qamrovli cheklov sifatida koʻrilmasligi kerak.

Tencent shuningdek, kiberxavfsizlik boʻyicha zararli oʻquv materialini filtrlash va mutaxassislar tomonidan ichki xavfsizlik auditlarini oʻtkazishni koʻrsatadi. Ushbu baholar nashriyot tomonidan berilgan boʻlib, model notoʻgʻri ishlatilmasligiga oid mustaqil kafolatlar emas. Joylashtirishni baholaydigan ishlab chiquvchilar hali ham oʻzlarining vazifa samaradorligi, resurs talablari va xavfsizlik choralarini baholashlari kerak.

Amaliy oʻzgarish flagman modelining artefaktlariga va uning foydalanishini tartibga soluvchi shartlarga kirishda boʻlib, Hy4 ning koʻrish va kompyuterlashtirilgan foydalanish sohasidagi avval eʼlon qilingan imkoniyatlarining yangi debiutida emas.

Oʻxshash hikoyalar

Tencent Hy4 modelining million tokenli kontekst oynasi bilan Hy4 vaznlarini chiqardi
Batafsil
technode.com

Tencent Hy4 modelining million tokenli kontekst oynasi bilan Hy4 vaznlarini chiqardi

Tencent kompaniyasi juma kuni oʻzining bosh modellari boʻlgan sunʼiy intellekt modeli Hy4 ning vaznlarini eʼlon qildi va ishlab chiquvchilarga ushbu modelni mustaqil yuklab olish va joriy etish imkonini berdi. Ushbu chiqarilish Hy4 ning dastlabki ishga tushirilishidan soʻng sodir boʻldi va bosh model Apache 2.0 litsenziyasi ostida mavjud boʻlib, u tijoratdan foydalanishni va oʻzgartirishni ruxsat beradi.

Hy4 modeli matn, tasvir va videoni tushunish qobiliyatiga ega boʻlib, taxminan bir million token hajmidagi kontekst oynasiga ega. Uning 'ekspertlar aralashmasi' turidagi til ramkasi 770 milliard parametrni oʻz ichiga oladi, bunda har bir tokenni qayta ishlash uchun 49 milliard parametr faollashtiriladi.

Tencent bayonotiga koʻra, bu model versiyasi Hy4 ning oldindan koʻrinishidan koʻrsatma bajarish, uzun kontekstni tushunish, kengaytirilgan vazifalarni bajarish va ilmiy tadqiqotlar kabi sohalarda ustunlikka ega.

Model grafik interfeyslar va buyruq satri vositalarini qamrab oluvchi jarayonlarni, shuningdek, frontendni ishlab chiqish, oʻyin dizayni va ofis vazifalarini qoʻllab-quvvatlaydi. Tencent vLLM va SGLang uchun joylashtirish koʻrsatmalarini, shuningdek, nozik sozlash va xavfsizlik baholash xaritasini taqdim etadi. Bosh modelning chiqarilishi kichikroq Hy4 flash modelining alohida eʼlon qilinishidan keyin amalga oshdi.

Tencent mahalliy joylashtirish uchun Hy4 flash modelining vaznlarini chiqardi
Batafsil
technode.com

Tencent mahalliy joylashtirish uchun Hy4 flash modelining vaznlarini chiqardi

Tencent kompaniyasi chorshanba kuni sunʼiy intellekt modeli Hy4 flash ning vaznlarini eʼlon qildi. Ushbu chiqarish model kompaniya ilovalari va bulutli API orqali foydalanuvchilarga taqdim etilganidan ikki kun oʻtgach amalga oshdi. Endi ishlab chiquvchilar standart model versiyasini, uning FP8 formatidagi versiyasini, shuningdek, yanada oʻrganish uchun asosiy modelni yuklab olish imkoniyatiga ega.

Ushbu chiqarish Tencentning ushbu modelning vaznlarini ommaviy foydalanish uchun ochiq qilish rejalari haqidagi avvalgi bayonotiga mos keladi. Hy4 flash modeli matn va grafik kiritishlarni qayta ishlashga qodir va uning kontekst oynasi bir million tokenni tashkil etadi.

Model taxminan 224 milliard parametrga ega, bunda har bir token uchun taxminan 12 milliard parametr faollashtiriladi. Hy4 flash ning asosiy maqsadi hujjatlarni tayyorlash, tadqiqotlar oʻtkazish va elektron jadvallar bilan ishlash kabi kundalik vazifalardagi samaradorlikni oshirishdir. Tencent vaznlar bilan birga tegishli joylashtirish materiallarini taqdim etib, ularni Tencent Hy litsenziyasi ostida tarqatdi.

Tencent Hy4 flash modelining vaznini uchta variantda yuklab olish uchun chiqardi
Batafsil
pandaily.com

Tencent Hy4 flash modelining vaznini uchta variantda yuklab olish uchun chiqardi

Tencent kompaniyasi Hy4 flash modelining vaznlarini yuklab olish uchun eʼlon qildi, bu modelning APIsi 16-noyabrda eʼlon qilinganidan soʻng sodir boʻldi. Bu haqida IT Home nashri 18-noyabrda xabar berdi. Ushbu yangilanish avval Pandaily tomonidan yoritilgan API spetsifikatsiyalari va narxlarni qayta taqdim etish oʻrniga, joylashtiriladigan nazorat nuqtalarini olish imkoniyatini taqdim etadi.

Tencentning rasmiy model kartochkasi uchta versiyani roʻyxatlaydi: koʻrsatma sozlamalari bilan model boʻlgan Hy4 flash; uning koʻrsatma sozlamalari bilan kvantlangan versiyasi boʻlgan Hy4 flash-FP8; va oldindan oʻqitilgan asosiy model boʻlgan Hy4 flash-base. Asosiy nazorat nuqtasi chat bilan ishlaydigan tayyor variantlarni almashtirish uchun emas, balki yanada oʻqitish uchun moʻljallangan.

Pandaily Hugging Faceʼdagi uchta rasmiy repozitoriyani tekshirdi. Vaznlar indeks fayllari mavjud shardlar roʻyxatiga ishora qilgan, va anonim bayt diapazoni soʻrovlari har bir versiya uchun vazn fayllarining maʼlumotlarini qaytardi. Bu tekshiruvlar yuklab olish imkoniyati borligini tasdiqlaydi, ammo nazorat nuqtalarining toʻliq yuklanishi yoki muvaffaqiyatli natija sinovlari emas.

Standart nazorat nuqtasi taxminan 440,5 GB tensor maʼlumotlarini oʻz ichiga oladi, FP8 uchun esa bu taxminan 287,1 GB ni tashkil etadi. Bu oʻlchamlar vazn maʼlumotlariga tegishli, GPU xotirasining minimal talablariga emas. Kvantlash saqlash hajmini kamaytiradi, lekin chiqarishni kichik isteʼmolchi qurilmalari uchun modelga aylantirmaydi.

Joylashtirish boʻyicha hujjatlar ushbu chiqarishning muhim qismidir. Tencent vLLM va SGLang uchun maxsus konteyner tasvirlarini, shu jumladan sakkiz tomonlama tensor parallelizmi foydalanish misollarini taqdim etadi. Transformers uchun koʻrsatmalar modelni qoʻllab-quvvatlashni soʻrashni koʻrsatadi, standart chiqarilgan paket ushbu arxitekturani allaqachon qoʻllab-quvvatlayotganini taxmin qilmaydi.

vLLM retsepti ham host operativ xotirasini talab qiladi, chunki Engram jadvallari standart holatda CPU xotirasiga yuklanadi. Boshlangʻich konfiguratsiya 8192 token hajmidagi kontekstdan foydalanadi; model tomonidan eʼlon qilingan 1 million token sigʻimi har bir apparat konfiguratsiyasining bunday uzunlikni xizmat qilishini kafolatlamaydi. Eʼlon qilingan xotira yoʻriqnomalari oʻlchangan minimal talablar emas, balki baholangan qiymatlardir.

Nazorat nuqtalari Tencent Hy 1.0 litsenziyasidan foydalanadi, bu litsenziya uni Apache 2.0 boʻlmaganligi haqida bevosita koʻrsatadi, garchi u undan hosil boʻlgan boʻlsa ham. 10-boʻlim modelni xizmat sifatida ishlatuvchi operatorlar uchun alohida yozma litsenziyani talab qiladi, agar ularning umumiy jahon daromadi ketma-ket 12 oylik davr ichida 50 million AQSh dollaridan oshsa, yoki modelni oyiga 100 milliondan ortiq faol foydalanuvchiga ega mahsulot yoki xizmatda ishlatilsa. Ichki foydalanish uchun tor aniqlangan istisno qoʻllaniladi, bunda model va uning natijalari uchinchi tomonlarga taqdim etilmaydi.

Shunday qilib, ushbu chiqarishni Tencent tomonidan eʼlon qilingan shartlarga muvofiq vaznlar boʻyicha ochiq deb taʼriflash eng yaxshi, cheksiz ruxsat etilgan ochiq kod sifatida emas. Tencent Hy4 kabi kattaroq modelning vaznlarini chiqarish hali tayyorlanayotganini maʼlum qilmoqda.

Mashhur