Tencent tasvir koʻrish va boshqaruv imkoniyatlariga ega Hy4 modelini chiqardi

Tencent Hunyuan oʻzining interaktiv dunyolarni yaratish uchun ochiq modeli boʻlgan Hy-Nomas haqida texnik hisobotni taqdim etdi hamda interaktiv video dunyo modellarini baholash uchun Hy-Nomas-Bench testlar toʻplamini chiqardi. Hisobot 27-oktabrda, kod va vaznlar dastlabki chiqarilishidan soʻng, yaʼnib joylashtirildi.

Hy-Nomas 8 milliard parametrli difuziya yadrosiga asoslangan video dunyo modelidir. Foydalanuvchilar uni bir nechta iteratsiyalar davomida erkin matnli koʻrsatmalar, uzluksiz kamera boshqaruvi yoki bu ikki usulning kombinatsiyasidan foydalanib boshqarishi mumkin. Model dunyoni segmentma-segment hosil qiladi, har bir yangi segmentni joriy kiritma va saqlangan tarixga bogʻlash orqali sahna vaqtinchalik izchilligini taʼminlaydi.

Hisobotga koʻra, asosiy tushuncha tuzilgan video legendalarini harakatlarni hisobga oladigan sabab-oqibat diqqat bilan uygʻunlashtirishdir. Tavsifiy kontekst segmentlar oraligʻida mavjud boʻlib, harakatlarga oid koʻrsatmalar faqat tegishli vaqt oraligʻiga qoʻllaniladi. Koʻrish va tilga asoslangan soʻrov yaxshilagichi foydalanuvchi soʻrovi va oʻzaro aloqa tarixini keyingi segment uchun tuzilgan shartlarga aylantiradi.

Oʻquv jarayoni koʻp bosqichli oʻquv dasturi boʻyicha amalga oshiriladi. U sababli generatsiyadan boshlanadi, soʻng matnli oʻzaro aloqa va kamera boshqaruviga oʻtadi, keyin model oʻzi yaratgan hikoyalar ustida oʻqitiladi va difuziya destillatsiyasi bosqichi bilan yakunlanadi. Destillelangan model atigi toʻrtdan sakkizgacha shovqinni yoʻqotish bosqichlarini talab qiladi. Inson baholashida jamoa Hy-Nomas mavjud dunyo modellaridan ustun kelganini qayd etdi.

Hy-Nomas-Bench 280 ta sinov ssenariysini oʻz ichiga oladi, ular toʻrtta vazifani qamrab oladi: koʻp bosqichli erkin matnli oʻzaro aloqa, kamera navigatsiyasi, matn va kamera boshqaruvining navbatlashuvi, shuningdek, fazoviy xotira. Ushbu toʻplam modelning ketma-ket koʻrsatmalarga amal qilish, jismonan mantiqiy javoblar yaratish, kamera harakatlarini aniq bajarish va kamera avval tashrif buyurilgan joyga qaytganida sahna izchilligini saqlab qolish qobiliyatini tekshiradi. Toʻplamga maslahatlar, tuzilgan legendalar, oʻzaro aloqa ketma-ketliklari va referans kamera traektoriyalari kiradi va Apache 2.0 litsenziyasi ostida chiqarilgan.

Modelning oʻzi ham Apache 2.0 litsenziyasi ostida tarqatiladi. Tencent oynakli oynaning tarixini va CPU ga yuklashni ishlatadigan bitta RTX 4090 da ishlaydigan INT8 konfiguratsiyasini, shuningdek, Diffusers payplayni, LoRA ni sozlash uchun kod va interaktiv veb-demonstratsiyani taqdim etadi. Chiqarilgan adapterlar orasida kinematografik LoRA va ikkiga qoʻl robotining haqiqiy maʼlumotlari asosida oʻqitilgan robototexnika uchun LoRA mavjud.

Ekosistema tashqarisidagi ishlab chiquvchilar allaqachon SGLang, ComfyUI va WanGP da qoʻllab-quvvatlashni integratsiya qilishdi, va jamoa tomonidan yaratilgan bitta namuna loyihasi Google TPUʼlarda real vaqt rejimida 720p hosil qilishni bildirdi.

Tencentning yuqori ijrochi vitse-prezidenti Dou Song Tong 29-oktabrda boʻlib oʻtgan Tencent global raqamli ekotizimi konferensiyasida kompaniya Hy4 va Hy4 flash modellarini yaqin orada chiqarishni rejalashtirayotganini, shuningdek, sunʼiy intellekt modellarining qatoriga vizual tushunish funksiyasini qoʻshishini maʼlum qildi.

Avgust oyida taqdim etilgan Hy4 ning dastlabki versiyasiga nisbatan, toʻliq Hy4 modeli uzoq muddatli fikrlash va bajarishni talab qiladigan vazifalarda, shu jumladan real samaradorlik jarayonlarida ishlashni yaxshilaydi. Bundan tashqari, Tencent fikrlash samaradorligini oshirishga intilmoqda.

Hy4 flash modeli iqtisodiy samaradorlikka yoʻnaltirilgan boʻladi, biroq vizual tushunish va AI agenti funksiyalari imkoniyatlarini saqlab qoladi. Hy4 ning dastlabki versiyasi 770 milliard parametr umumiy miqdorda ega, bunda inferens paytida 49 milliard parametr faollashtiriladi va u bir million tokenli kontekst oynasini qoʻllab-quvvatlaydi. Tong taʼkidlaganidek, Tencent amaliy qoʻllanilishda ularning samaradorligini oshirish uchun oʻz modellarini va mahsulotlarini birgalikda ishlab chiqmoqda.

Tencent kompaniyasi xitoychadan ingliz tiliga bir vaqtda tarjima qilish uchun moʻljallangan ochiq kodli model boʻlgan Hy-SimulMT ni taqdim etdi. Ushbu tizim kiruvchi nutqni uzluksiz qayta ishlash va tarjima qilingan matn hamda nutq chiqarish imkoniyatiga ega.

Model real vaqt rejimida ovozni klonlash funksiyasini oʻz ichiga oladi, u asl gapiruvchining vokal xususiyatlarini saqlab qolish uchun ishlab chiqilgan. Foydalanuvchilar ushbu texnologiyani Tencentning Hy Translate ilovasi orqali sinab koʻrishlari mumkin.

Chiqarishga model vaznlari, inferens dasturi va oʻquv vositalari kiritilgan. RealSI benchmarkida uzun audio yozuvlar ustida sinovdan oʻtkazilganda, Tencent strayming tarjima kechikishi taxminan uch soniya ekanligini maʼlum qildi. Shu bilan birga, tarjima sifati koʻrsatkichlari boshqa ochiq kodli modellar va taqqoslashda ishtirok etgan beshta tijorat API ning toʻrtta tasiidan yuqori boʻldi.

Nutqni yaratish va ovozni klonlash uchun sozlamalangan matndan nutqqa aylantirish xizmati talab qilinadi. Ushbu chiqarish doirasida [Tencent Hunyuan] ham tilga olingan.