17-oktabr, 05:19Pandaily

UBTECH Thinker-WM ni taqdim etdi — video, chuqurlik va robot harakatlarini birlashtiruvchi dunyo modeli

UBTECH kompaniyasi Thinker jamoasi tomonidan ishlab chiqilgan Thinker-WM dunyo modeli haqida batafsil maʼlumot berdi. Ushbu model RGB-videoni, metrik chuqurlikni va robot harakatlarini yagona umumiy ifoda ichiga kodlashga qodir. Ushbu ish boʻyicha texnik hujjatlar arXiv da mavjud.

Kompaniya bayonotlariga koʻra, Thinker-WM tasvirlangan dunyo modellarining uchta benchmarkida birinchi oʻrinni egalladi. Bu reytinglar eʼlon qilingan paytdagi natijalarga asoslangan.

Model sinovlari natijalari

UBTECH maʼlumotlariga koʻra, Thinker-WM modeli WorldOlympiadda 0.740 umumiy natija koʻrsatdi. Ushbu benchmark robotlar bilan real oʻzaro taʼsirlar maʼlumotlariga asoslangan va oʻnlab robotlar hamda bir nechta kamera konfiguratsiyalarini qamrab oladi. Bundan tashqari, model 3D moslik (0.531) va oʻzaro taʼsir aniqligi (0.765) boʻyicha eng yuqori individual koʻrsatkichlarga erishdi.

EWMBench platformasida model 4.66 umumiy natijani namoyish etdi, bu Qwen-RobotWorld va Sora 2 kabi modellar ustunlikka erishdi, bunda yetakchi natijalar dinamika va yoʻnalishlarni moslashtirish metrikalari boʻyicha erishildi. Simulyatsion WorldArena 1.0 Track-1 benchmarkida kompaniya 12 xil baholash mezonlari boʻyicha yetakchilik qilganini taʼkidlaydi.

Arxitektura va ishlash prinsipi

Thinker-WMni ishlab chiqishning asosiy dalili shundaki, koʻpgina mavjud dunyo modellari alohida qismlardan iborat: video generatsiyasi piksel uchun, siyosat tarmogʻi harakatlar uchun va alohida modul geometriyani bashorat qiladi. UBTECH bunday yondashuvning jismonan bogʻliq signallarni ajratib turishini hisoblaydi. Buning oʻrniga, Thinker-WM har bir modalni oʻzining umumiy latent fazasidagi kodlovchisidan oʻtkazadi va ularni Unified Dynamics Transformer doirasida birgalikda modellashtiradi, keyin esa video, chuqurlik xaritalari va bajariladigan harakatlarni dekodlaydi. Chuqurlik yordamchi emas, balki ajralmas chiqish signali sifatida qaraladi.

RoboTwinʼdagi bitta vazifa eksperimentlarida chuqurlik qoʻshilishi, chuqurlik mavjud boʻlmagan bazaviy modelga nisbatan manipulyatsiya muvaffaqiyatini 15 foizga oshirgani koʻrsatildi.

Barcha modalitetlar bitta ogʻirliklar toʻplamini ishlatgani sababli, model kirish maʼlumotlari va hosil boʻladigan chiqishlarni oʻzgartirish orqali videoning va harakatlarning birgalikda generatsiyasi, kelajakni bashorat qilish, siyosatni chiqarish, videoni harakatlarga aylantirish va teskari dinamikani oʻz ichiga olgan oltita turli rejimda ishlashi mumkin.

Oʻquv maʼlumotlari

Umumiy oʻquv maʼlumotlari hajmi taxminan 30 000 soatni tashkil etadi. Ulardan taxminan 20 000 soati uy sharoitida, chakana savdo doʻkonlarida va fabrikalarda suratga olingan birinchi shaxsli video; taxminan 10 000 soati turli xil turlardagi haqiqiy robotlar maʼlumotlari; va taxminan 1 000 soati simulyatsion maʼlumotlardir. Barcha robot harakatlari korpusga xos teg bilan yakuniy effektor posturalari shaklida taqdim etiladi, bu turli mashinalarning bir xil generatsiya fazasidan foydalanishiga imkon beradi. Data Factory deb nomlangan maʼlumotlar konveyeri tanlash, koʻp darajali sifat tekshiruvi va chuqurlik hamda video sinxronizatsiyasini amalga oshiradi.

Umumiy faza modalitetlarni haqiqatdan ham bogʻlayotganligini tekshirish uchun jamoa muzlagan vizual xususiyatlar asosida kichik sinov harakat mexanizmini oʻrgatdi, bu UBTECH uni modalitetlararo bogʻlanishning dalili sifatida taqdim etadi.

Oʻxshash hikoyalar

BeingBeyond kompaniyasining Being-M0.7 modeli insonning 10 000 soatlik videoyozuvlari asosida insonoidlar uchun yurish va obʼektlarni ushlashni oʻrgatildi

Batafsil

pandaily.com12-oktabr, 05:06

BeingBeyond kompaniyasining Being-M0.7 modeli insonning 10 000 soatlik videoyozuvlari asosida insonoidlar uchun yurish va obʼektlarni ushlashni oʻrgatildi

Inkorona sunʼiy intellekt sohasidagi startap BeingBeyond, Pekin universiteti professori Lu Zongtsin tomonidan asos solingan, Being-M0.7 modelini taqdim etdi. Bu dunyo va harakatlarning latent modeli insonoid robotga bir vaqtda harakatlanish va narsalarni manipulyatsiya qilish imkonini beradi.

Model avval 10 000 soatdan ortiq xom videoyozuvlar va inson harakati maʼlumotlari asosida oldindan oʻqitilgan boʻlib, u robotlar traektoriyalarini koʻrmasdan oldin shu ishni bajargan. Jamoa real robotlar orqali murakkab lokomotor va manipulyatsion faoliyat namunalari toʻplashning kam va qimmat ekanligini, videoyozuvlar va inson harakatini qayd etish esa katta miqdorda mavjudligini taxmin qiladi.

Biroq, inson maʼlumotlari mukammal boʻlmasligi mumkin: baʼzi klipda faqat video, boshqalarida faqat harakat mavjud, va inson harakatlarini robot bevosita takrorlay olmaydi. Being-M0.7 modeli bu muammoni uch bosqichda hal qiladi. Oldindan oʻqitish bosqichida video va harakat umumiy fazoga aylantiriladi, bu yerda kelajakdagi vizual holatlar va tana harakatlari birgalikda bashorat qilinadi.

Oraliq oʻqitish bosqichida bu dastlabki maʼlumotlar kamera turi va robot tanasiga moslashtiriladi. Nihoyat, keyingi oʻqitish bosqichida harakatlar boʻyicha alohida ekspert qoʻshiladi, u muzlatilgan dastlabki maʼlumotlarning bashoratlarini oʻqiydi va butun tana uchun buyruqlar beradi. Model pikselni bashorat qilish oʻrniga, DINO tasvirining muzlatilgan xususiyatlari bilan ishlaydi va insonlar ham, robotlar ham boshga bogʻlangan ixcham 22 oʻlchamdagi harakat taqdimotidan foydalanadilar. Yoʻqolgan modalitetlar tashlab yuborilmasdan, oʻrganiladigan placeholder embeddinglar yordamida qayta ishlanadi. Maʼlumot manbalariga Ego4D, Nymeria, HumanML3D va boshqa ommaviy toʻplamlar, shuningdek, BeingBeyond ning dastlabki ishlari va sotib olingan maʼlumotlarning kichik qismlari kiradi.

Sinov natijalari

Uchta qiyinchilik darajasidagi insonoidlar uchun oltita vazifani qamrab oluvchi SIMPLE simulyatsion benchmarkida Being-M0.7 180 sinovdan 128 tasi, yaʼni 71,1% da muvaffaqiyat qozondi, bu sinovdan oʻtgan asosiy modellar orasida eng yaxshi natija hisoblanadi. Tadqiqotda $\Psi_0$ 64,4%, $\pi_{0.5}$ — 52,8%, va GR00T-N1.6 — 33,9% ni koʻrsatgani qayd etilgan, garchi $\Psi_0$ bitta vazifada raqobatchilardan ustun kelsa-da, $\pi_{0.5}$ ikkita boshqa vazifada ustun kelgan.

Inson maʼlumotlari asosidagi oldindan oʻqitishni olib tashlash natijasi 48,9% ga tushdi. Unitree G1 robotida mahoratli qoʻllar bilan sinov oʻtkazilganda, harakat va ushlash boʻyicha uchta vazifa doirasida model 15 ta sinovdan 13 tasi muvaffaqiyatga erishdi, bu eng kuchli asosiy model GR00T-N1.6 ning 86,7% darajasiga teng keladi va $\pi_{0.5}$ (15 dan 7 tasi) va $\Psi_0$ (15 dan 3 tasi) dan ustun turadi. Shu tariqa, haqiqiy robotdagi natija ustun emas, balki teng keldi.

Jamoa aniq cheklovlarni taʼkidlaydi. Sinovlar faqat qisqa gorizontli vazifalar uchun oʻtkazildi, va namunalarni yigʻish uchun ishlatilgan butun tana kontrollerining kuzatish aniqligi haqiqiy robot maʼlumotlarining maksimal aniqligini cheklaydi.