Inkorona sunʼiy intellekt sohasidagi startap BeingBeyond, Pekin universiteti professori Lu Zongtsin tomonidan asos solingan, Being-M0.7 modelini taqdim etdi. Bu dunyo va harakatlarning latent modeli insonoid robotga bir vaqtda harakatlanish va narsalarni manipulyatsiya qilish imkonini beradi.
Model avval 10 000 soatdan ortiq xom videoyozuvlar va inson harakati maʼlumotlari asosida oldindan oʻqitilgan boʻlib, u robotlar traektoriyalarini koʻrmasdan oldin shu ishni bajargan. Jamoa real robotlar orqali murakkab lokomotor va manipulyatsion faoliyat namunalari toʻplashning kam va qimmat ekanligini, videoyozuvlar va inson harakatini qayd etish esa katta miqdorda mavjudligini taxmin qiladi.
Biroq, inson maʼlumotlari mukammal boʻlmasligi mumkin: baʼzi klipda faqat video, boshqalarida faqat harakat mavjud, va inson harakatlarini robot bevosita takrorlay olmaydi. Being-M0.7 modeli bu muammoni uch bosqichda hal qiladi. Oldindan oʻqitish bosqichida video va harakat umumiy fazoga aylantiriladi, bu yerda kelajakdagi vizual holatlar va tana harakatlari birgalikda bashorat qilinadi.
Oraliq oʻqitish bosqichida bu dastlabki maʼlumotlar kamera turi va robot tanasiga moslashtiriladi. Nihoyat, keyingi oʻqitish bosqichida harakatlar boʻyicha alohida ekspert qoʻshiladi, u muzlatilgan dastlabki maʼlumotlarning bashoratlarini oʻqiydi va butun tana uchun buyruqlar beradi. Model pikselni bashorat qilish oʻrniga, DINO tasvirining muzlatilgan xususiyatlari bilan ishlaydi va insonlar ham, robotlar ham boshga bogʻlangan ixcham 22 oʻlchamdagi harakat taqdimotidan foydalanadilar. Yoʻqolgan modalitetlar tashlab yuborilmasdan, oʻrganiladigan placeholder embeddinglar yordamida qayta ishlanadi. Maʼlumot manbalariga Ego4D, Nymeria, HumanML3D va boshqa ommaviy toʻplamlar, shuningdek, BeingBeyond ning dastlabki ishlari va sotib olingan maʼlumotlarning kichik qismlari kiradi.
Sinov natijalari
Uchta qiyinchilik darajasidagi insonoidlar uchun oltita vazifani qamrab oluvchi SIMPLE simulyatsion benchmarkida Being-M0.7 180 sinovdan 128 tasi, yaʼni 71,1% da muvaffaqiyat qozondi, bu sinovdan oʻtgan asosiy modellar orasida eng yaxshi natija hisoblanadi. Tadqiqotda $\Psi_0$ 64,4%, $\pi_{0.5}$ — 52,8%, va GR00T-N1.6 — 33,9% ni koʻrsatgani qayd etilgan, garchi $\Psi_0$ bitta vazifada raqobatchilardan ustun kelsa-da, $\pi_{0.5}$ ikkita boshqa vazifada ustun kelgan.
Inson maʼlumotlari asosidagi oldindan oʻqitishni olib tashlash natijasi 48,9% ga tushdi. Unitree G1 robotida mahoratli qoʻllar bilan sinov oʻtkazilganda, harakat va ushlash boʻyicha uchta vazifa doirasida model 15 ta sinovdan 13 tasi muvaffaqiyatga erishdi, bu eng kuchli asosiy model GR00T-N1.6 ning 86,7% darajasiga teng keladi va $\pi_{0.5}$ (15 dan 7 tasi) va $\Psi_0$ (15 dan 3 tasi) dan ustun turadi. Shu tariqa, haqiqiy robotdagi natija ustun emas, balki teng keldi.
Jamoa aniq cheklovlarni taʼkidlaydi. Sinovlar faqat qisqa gorizontli vazifalar uchun oʻtkazildi, va namunalarni yigʻish uchun ishlatilgan butun tana kontrollerining kuzatish aniqligi haqiqiy robot maʼlumotlarining maksimal aniqligini cheklaydi.