Tencent Hunyuan oʻzining interaktiv dunyolarni yaratish uchun ochiq modeli boʻlgan Hy-Nomas haqida texnik hisobotni taqdim etdi hamda interaktiv video dunyo modellarini baholash uchun Hy-Nomas-Bench testlar toʻplamini chiqardi. Hisobot 27-oktabrda, kod va vaznlar dastlabki chiqarilishidan soʻng, yaʼnib joylashtirildi.
Hy-Nomas 8 milliard parametrli difuziya yadrosiga asoslangan video dunyo modelidir. Foydalanuvchilar uni bir nechta iteratsiyalar davomida erkin matnli koʻrsatmalar, uzluksiz kamera boshqaruvi yoki bu ikki usulning kombinatsiyasidan foydalanib boshqarishi mumkin. Model dunyoni segmentma-segment hosil qiladi, har bir yangi segmentni joriy kiritma va saqlangan tarixga bogʻlash orqali sahna vaqtinchalik izchilligini taʼminlaydi.
Hisobotga koʻra, asosiy tushuncha tuzilgan video legendalarini harakatlarni hisobga oladigan sabab-oqibat diqqat bilan uygʻunlashtirishdir. Tavsifiy kontekst segmentlar oraligʻida mavjud boʻlib, harakatlarga oid koʻrsatmalar faqat tegishli vaqt oraligʻiga qoʻllaniladi. Koʻrish va tilga asoslangan soʻrov yaxshilagichi foydalanuvchi soʻrovi va oʻzaro aloqa tarixini keyingi segment uchun tuzilgan shartlarga aylantiradi.
Oʻquv jarayoni koʻp bosqichli oʻquv dasturi boʻyicha amalga oshiriladi. U sababli generatsiyadan boshlanadi, soʻng matnli oʻzaro aloqa va kamera boshqaruviga oʻtadi, keyin model oʻzi yaratgan hikoyalar ustida oʻqitiladi va difuziya destillatsiyasi bosqichi bilan yakunlanadi. Destillelangan model atigi toʻrtdan sakkizgacha shovqinni yoʻqotish bosqichlarini talab qiladi. Inson baholashida jamoa Hy-Nomas mavjud dunyo modellaridan ustun kelganini qayd etdi.
Hy-Nomas-Bench 280 ta sinov ssenariysini oʻz ichiga oladi, ular toʻrtta vazifani qamrab oladi: koʻp bosqichli erkin matnli oʻzaro aloqa, kamera navigatsiyasi, matn va kamera boshqaruvining navbatlashuvi, shuningdek, fazoviy xotira. Ushbu toʻplam modelning ketma-ket koʻrsatmalarga amal qilish, jismonan mantiqiy javoblar yaratish, kamera harakatlarini aniq bajarish va kamera avval tashrif buyurilgan joyga qaytganida sahna izchilligini saqlab qolish qobiliyatini tekshiradi. Toʻplamga maslahatlar, tuzilgan legendalar, oʻzaro aloqa ketma-ketliklari va referans kamera traektoriyalari kiradi va Apache 2.0 litsenziyasi ostida chiqarilgan.
Modelning oʻzi ham Apache 2.0 litsenziyasi ostida tarqatiladi. Tencent oynakli oynaning tarixini va CPU ga yuklashni ishlatadigan bitta RTX 4090 da ishlaydigan INT8 konfiguratsiyasini, shuningdek, Diffusers payplayni, LoRA ni sozlash uchun kod va interaktiv veb-demonstratsiyani taqdim etadi. Chiqarilgan adapterlar orasida kinematografik LoRA va ikkiga qoʻl robotining haqiqiy maʼlumotlari asosida oʻqitilgan robototexnika uchun LoRA mavjud.
Ekosistema tashqarisidagi ishlab chiquvchilar allaqachon SGLang, ComfyUI va WanGP da qoʻllab-quvvatlashni integratsiya qilishdi, va jamoa tomonidan yaratilgan bitta namuna loyihasi Google TPUʼlarda real vaqt rejimida 720p hosil qilishni bildirdi.
>

