Tencentning Hy jamoasi 24 GB da joylashtirish uchun kattaroq modellar yaratish rejalari va yoʻl xaritasi bilan taqdim etdi
Batafsil
Pandaily
pandaily.com

Tencentning Hy jamoasi 24 GB da joylashtirish uchun kattaroq modellar yaratish rejalari va yoʻl xaritasi bilan taqdim etdi

Tencent kompaniyasining Hy jamoasi ochiq forumdagi savol-javob sessiyasi davomida yanada kengroq modellar ishlab chiqish va kichikroq hajmdagi mahalliy joylashtirish variantlari haqidagi niyatlarini taqdim etdi. Ushbu munozara 21-noyabr kuni ertalab Xitoyning Shanghay shahrida boʻlib oʻtdi, bu kun oldingi kuni Hy4 flagman yuklamalari chiqarilganidan soʻng sodir boʻldi.

Zhidx tomonidan tayyorlangan Xitoycha qisqacha javoblar toʻplamiga koʻra, jamoa keyingi Hy modelining sezilarli darajada katta boʻlishini va ular katta miqyosda kuchaytirilgan oʻquvga sarmoya kiritishda davom etishini maʼlum qildi. Muhim jihat shundaki, bu faqat rivojlanishga oid niyatlardir, yangi checkpoint, tasdiqlangan parametr soni yoki belgilangan chiqarish sanasini eʼlon qilmaydi.

Kichikroq modellar qismida jamoa Flash-Lite ni rejalashtirilgan ish sifatida tasvirladi va 24 GB GPU xotirasiga moʻljallangan modellar haqida muhokama qildi. Yoʻl xaritada Hy4-mini ham mavjud edi, shuningdek, 24 dan 31 milliard gacha boʻlgan parametrlarga ega zich model koʻrib chiqildi. Javoblar barcha mahsulotlar bir butunlikni tashkil etishini yoki taklif etilgan konfiguratsiyalarning hozirda mavjudligini kafolatlamaydi.

Apparat taʼminoti talablari ham shu kabi diqqatni talab qiladi. 24 GB video xotira haqidagi tilga olish oʻzi tizim operativ xotirasining umumiy hajmini, kvantizatsiyani, kontekst uzunligini yoki erishiladigan tezlikni aniqlamaydi. Ushbu tafsilotlar ishlab chiquvchilar yoʻl xaritasidagi javobni isteʼmolchi uskunalari uchun spetsifikatsiya sifatida koʻrib chiqishdan oldin zarurdir.

Arxitektura muhokamasi talablar guruhlash mexanizmi (GQA) va koʻp boshli latent diqqat (MLA) oʻrtasidagi kompromislarga tegishli edi. Zhidx umumlashtirganidek, jamoa MLA kalit-qiymat keshining taqqoslanadigan hajmi bilan yaxshiroq model sifatini taʼminlashini, ammo uning hisoblash intensivligi dekodlashni murakkablashtirishini taʼkidladi. DSA tarqalgan diqqat mexanizmining joriy etilishi bu yukni kamaytirdi va jamoaning afzal koʻrgan muvozanatini oʻzgartirdi.

Jamoa shuningdek, Mixture-of-Experts arxitekturasidagi katta tarqalish har doim joylashtirishni yaxshilaydi deb taxmin qilishdan ogohlantirdi. Juda tarqalgan model mavjud hisoblash quvvatlaridan toʻliq foydalanmasdan, GPU xotirasining sezilarli hajmini egallashi mumkin; umumiy hajmni saqlagan holda faol parametrlarni kamaytirish ham sifatga salbiy taʼsir koʻrsatishi mumkin. Bu bayonotlar dizayn tushuntirishlari boʻlib, har bir amalga oshirish uchun universal benchmark natijalari emas.

Ochiq formatdagi dastlabki AMA posti sessiyaning oʻtkazilganligi va ishtirokchilarni tasdiqlaydi, ammo javoblarning batafsil maʼlumotlari mustaqil ravishda olingan transkriptlardan emas, balki Xitoy kompilatsiyasiga asoslangan. Amaliy qiymati Hy4 yuklamalarining yuklab olish uchun mavjudligi haqidagi yana bir eʼlon emas, balki tadqiqot va muhandislik yechimlari ustuvorliklarini yanada aniqroq taqdim etishda namoyon boʻladi.

Oʻxshash hikoyalar

Tencent Hy4 modelining million tokenli kontekst oynasi bilan Hy4 vaznlarini chiqardi
Batafsil
technode.com

Tencent Hy4 modelining million tokenli kontekst oynasi bilan Hy4 vaznlarini chiqardi

Tencent kompaniyasi juma kuni oʻzining bosh modellari boʻlgan sunʼiy intellekt modeli Hy4 ning vaznlarini eʼlon qildi va ishlab chiquvchilarga ushbu modelni mustaqil yuklab olish va joriy etish imkonini berdi. Ushbu chiqarilish Hy4 ning dastlabki ishga tushirilishidan soʻng sodir boʻldi va bosh model Apache 2.0 litsenziyasi ostida mavjud boʻlib, u tijoratdan foydalanishni va oʻzgartirishni ruxsat beradi.

Hy4 modeli matn, tasvir va videoni tushunish qobiliyatiga ega boʻlib, taxminan bir million token hajmidagi kontekst oynasiga ega. Uning 'ekspertlar aralashmasi' turidagi til ramkasi 770 milliard parametrni oʻz ichiga oladi, bunda har bir tokenni qayta ishlash uchun 49 milliard parametr faollashtiriladi.

Tencent bayonotiga koʻra, bu model versiyasi Hy4 ning oldindan koʻrinishidan koʻrsatma bajarish, uzun kontekstni tushunish, kengaytirilgan vazifalarni bajarish va ilmiy tadqiqotlar kabi sohalarda ustunlikka ega.

Model grafik interfeyslar va buyruq satri vositalarini qamrab oluvchi jarayonlarni, shuningdek, frontendni ishlab chiqish, oʻyin dizayni va ofis vazifalarini qoʻllab-quvvatlaydi. Tencent vLLM va SGLang uchun joylashtirish koʻrsatmalarini, shuningdek, nozik sozlash va xavfsizlik baholash xaritasini taqdim etadi. Bosh modelning chiqarilishi kichikroq Hy4 flash modelining alohida eʼlon qilinishidan keyin amalga oshdi.

Tencentning Hunyuan Hy4 flash modeli birinchi kun foydalanishda 50 trillion tokenlardan oshdi
Batafsil
technode.com

Tencentning Hunyuan Hy4 flash modeli birinchi kun foydalanishda 50 trillion tokenlardan oshdi

Tencent kompaniyasi oʻzining Hunyuan Hy4 flash modelining 16-noyabrda ishga tushirilganidan keyin faqat birinchi kunda 50 trillion tokenlardan ortiq qayta ishlaganini maʼlum qildi. Bu koʻrsatkich Hunyuan seriyasidagi barcha modellar orasida birinchi kun uchun eng yuqori boʻldi.

Hy4 flashning kuchli boshlanishi turli platformalardagi samaradorligiga ham aks etdi. 17-noyabrda model OpenRouterdagi kunlik LLM reytingida birinchi oʻrinni egalladi.

Bundan tashqari, Tencent oʻzining WorkBuddy platformasida Hy4 flash ning avvalgisining, yaʼni Hy4 preview ga nisbatan oʻn barobar koʻproq foydalanish hajmini namoyish etganini va haqiqiy foydalanuvchilarning 50 milliondan ortiq vazifasini bajarishga yordam berganini taʼkidladi.

Tencent maʼlumotlariga koʻra, Hy4 flash gibrid aktivatsiya arxitekturasidan foydalanadi va umumiy parametrlar soni 224 milliardni tashkil etadi, shu jumladan 64 milliard Engram parametri mavjud, bunda inferens paytida 12 milliard parametr faollashadi. Model koʻp modal (multimodal) qayta ishlashni va 1 million tokengacha kontekst oynasini qoʻllab-quvvatlaydi, generatsiya tezligi esa taxminan 200 token/sekund ga yetadi.

Hy4 flash taklif qilayotgan samaradorlik va xarajatlar oʻrtasidagi muvozanat alohida eʼtibor tortadi. Tencent narxlashiga koʻra, model million kirish tokenlari uchun atigi 0,5 yuan (0,07 dollar) va million chiqish tokenlari uchun 2 yuan (0,3 dollar) turadi, shu bilan birga keshlangan kirish tokenlari millioniga atigi 0,02 yuan (0,003 dollar) turadi.

Tencentning standart ofis vazifalarini baholaydigan ichki WorkIndex benchmarkiga asoslanib, Hy4 flash bitta vazifani bajarish uchun Hy4 preview ga nisbatan atigi oʻn uchinchi qismi, Hy4 ga nisbatan esa yigirma qismi qiymatga ega. Uning narxi shuningdek, shu toifadagi asosiy yengil modellarning narxining taxminan sakkizinchi qismiga teng.

Bu afzalliklar modelni taqdimotlar yaratish va tahrirlash, hujjatlarni qayta ishlash, elektron jadvallarni tiklash, audio va video qayta ishlash, shuningdek, vizual tushunish kabi tez-tez bajariladigan ofis operatsiyalari uchun ayniqsa mos qiladi.

Bu ishga tushirish Hy4 boʻyicha oldingi talab portlashidan soʻng sodir boʻldi. Model ilk bor 4-noyabrda WorkBuddy da paydo boʻlganida, agent imkoniyatlari tufayli kelib chiqqan talab kutubxonadan oshib ketdi va koʻplab foydalanuvchilar birinchi kun ichida foydalanish chegaralariga yetib borishdi. Javob sifatida Tencent Hy4 inferens klasterlarini oʻn barobar oshirdi va bepul foydalanish kvotalarini kengaytirdi.

Biroq, bu safar jamoa Hy4 flash ishga tushirishdan oldin yuqori raqobatbardoshlikka yanada puxtaroq tayyorlangan koʻrinadi va hozircha foydalanish chegaralari bilan bogʻliq keng miqyosli muammolar haqida maʼlumot berilmagan.

Bu ishlab chiqish sunʼiy intellekt sanoatining kengroq raqobat muhitidagi siljishni ham aks ettiradi. Xitoyda kunlik tokenlardan foydalanish doimiy oʻsib borayotgani sababli, tokenlar AIni joriy etishni oʻlchashning tobora muhimroq koʻrsatkichi boʻlib bormoqda. Shu bilan birga, mamlakat boʻylab mahalliy hokimiyat organlari AI xizmatlarini yanada qulay qilish maqsadida hisoblash quvvati va modellar uchun voucherlardan tortib, tokenlar asosidagi moliyalashtirishgacha yangi choralar joriy etmoqda.

Raqobat endi faqat parametrlar soni yoki model samaradorligi bilan belgilanmaydi. Past operatsion xarajatlarni saqlab qolgan holda kuchli natijalarga erishish ham bir oʻlayiq muhim ahamiyat kasb etmoqda. Hy4 flashning 50 trillion tokenlar bilan debiuti aniq signal beradi: bozorga nafaqat kuchliroq AI modellariga, balki tez-tez kundalik foydalanish uchun yetarli darajada qulay modellar ham kerak.

Biroq, yuqori dastlabki foydalanish va uzoq muddatli tijorat qiymati oʻrtasida hali ham farq mavjud. Yengil AI modellaridagi raqobat faqat narxlar va tokenlardan iborat boʻlishi mumkin emas. Haqiqiy vazifa biznesning haqiqiy ehtiyojlariga barqaror va ishonchli yechimlar taqdim etish, shu bilan birga umumiy xarajatlarni past darajada ushlab turishdir. Tencent uchun Hunyuanning Hy4 flash modeli kuchli debiuti umidlantiruvchi boshlanish boʻlsa-da, uning boshlangʻich foydalanish impulsini foydalanuvchilar uchun barqaror qiymatga aylantirish qobiliyati kelajakdagi asosiy sinov boʻladi.

Tencent mahalliy joylashtirish uchun Hy4 flash modelining vaznlarini chiqardi
Batafsil
technode.com

Tencent mahalliy joylashtirish uchun Hy4 flash modelining vaznlarini chiqardi

Tencent kompaniyasi chorshanba kuni sunʼiy intellekt modeli Hy4 flash ning vaznlarini eʼlon qildi. Ushbu chiqarish model kompaniya ilovalari va bulutli API orqali foydalanuvchilarga taqdim etilganidan ikki kun oʻtgach amalga oshdi. Endi ishlab chiquvchilar standart model versiyasini, uning FP8 formatidagi versiyasini, shuningdek, yanada oʻrganish uchun asosiy modelni yuklab olish imkoniyatiga ega.

Ushbu chiqarish Tencentning ushbu modelning vaznlarini ommaviy foydalanish uchun ochiq qilish rejalari haqidagi avvalgi bayonotiga mos keladi. Hy4 flash modeli matn va grafik kiritishlarni qayta ishlashga qodir va uning kontekst oynasi bir million tokenni tashkil etadi.

Model taxminan 224 milliard parametrga ega, bunda har bir token uchun taxminan 12 milliard parametr faollashtiriladi. Hy4 flash ning asosiy maqsadi hujjatlarni tayyorlash, tadqiqotlar oʻtkazish va elektron jadvallar bilan ishlash kabi kundalik vazifalardagi samaradorlikni oshirishdir. Tencent vaznlar bilan birga tegishli joylashtirish materiallarini taqdim etib, ularni Tencent Hy litsenziyasi ostida tarqatdi.

Mashhur