SenseTime kompaniyasi sakkiz milliard parametrli SenseNova U1.5 modelini taqdim etdi, u piksel fazasida tushunish, fikrlash va yaratishni yagona tabiiy multimodal tizimda birlashtiradi.
Mavjud konveyerlardan farqli oʻlaroq, ular idrok qilish uchun koʻrish kodlovchisini va sintez qilish uchun alohida variatsion avtokodlovchini ishlatadi, U1.5 bu tashqi modullar boʻlmagan holda piksel va matnni umumiy ramkaga joylashtiradi. Bu kompaniyaning NEO-unify liniyasiga mos keladi, shu bilan birga ishlab chiqarish aniqliklarida yuqori aniqlikka erishish uchun fazoviy rekonstruksiya yaxshilandi.
Arxitektura oʻzgarishi mustaqil MLP patch dekodlashini yengil fazoviy dekoderni almashtirishdan iborat. Vizual tokenlar ikki oʻlchovli xususiyat maydoniga aylantiriladi, soʻngra Pixel Shuffle va mahalliy konvolutsiyalar bosqichlari yordamida tiklanadi, bu qoʻshni hududlarning piksel yakunlanishidan oldin maʼlumot almashishiga imkon beradi.
SenseTime shuni maʼlum qildiki, interfeys hali ham har bir 32x32 hududni bitta vizual token sifatida koʻrsatadi, ammo u oldingi U1 versiyasiga qaraganda kamroq tik toʻqnashuvlar va tekstura notekisliklari bilan 4K gacha tabiiy generatsiyani qoʻllab-quvvatlaydi. Bu kengroq nisbatlarda aniqlikni hisobga oladigan shovqinli konditsionlash tufayli amalga oshmadi.
Oʻqitishdan keyingi jarayon ixtisoslashish, soʻngra birlashtirish retseptiga amal qiladi. Kuchaytirilgan oʻqitish mutaxassislari vizual estetika, bilingual matn renderlash, infografika maketlash va tasvirni tahrirlashga eʼtibor qaratadi. Keyin siyosat boʻyicha koʻpmutaxassis destillatsiyasi bu koʻnikmalarni oʻzining generatsiya yoʻllari boʻylab bitta talabaga birlashtiradi.
SenseTime U1.5 natijalari U1 dan tasvir yaratish va tahrirlash maʼlumotlar toʻplamlari, shu jumladan raqobatbardosh bilingual matn renderlash va koʻpmanbalikli tahrirlashda ustunlikka ega ekanligini, shuningdek, standart STEM, VQA va OCR benchmarklarida multimodal tushunishning yuqori darajasini saqlab qolganini taʼkidlaydi.
arXiv va Hugging Face Papers da eʼlon qilingan texnik hisobot bilan birga, SenseTime nazoratli sozlash, kuchaytirilgan oʻqitish va siyosat boʻyicha destillatsiyani qamrab oluvchi oʻquv kodini ochiq eʼlon qilmoqda. Model aktivlari OpenSenseNova tashkiloti ostidagi SenseNova va Hugging Face kolleksiyalarida mavjud. Ushbu reliz U1.5-Lite-Preview ning dastlabki versiyasi emas, balki toʻliq U1.5 mahsulotidir va butunlay tadqiq etish, sozlash va qayta oʻqitishni istagan ishlab chiquvchilar uchun moʻljallangan kompakt tabiiy birlashtirilgan koʻrish modelidir.