ACE Robotics Nanyang Technological Universitydagi S-Lab bilan hamkorlikda, Beijing Jiaotong University va University of Michigan ishtirokida Puffin-Worldni jamoatchilik uchun mavjud qildi. Bu birlashtirilgan koʻp modalik dunyo modeli fizika, geometriya va tashqi koʻrinishni dunyoning ajralmas uch oʻlchovli holatlari sifatida koʻrib chiqadi.
Chiqarilgan paketga Puffin-16M kodi, modellari va maʼlumotlar toʻplami kiradi. Ishlab chiqarish maqsadi shunchaki RGB tasvirlar asosida keyingi kadrni bashorat qilish emas, balki robotlar uchun tayyor boʻlgan idrok va simulyatsiyani taʼminlashdir.
Koʻpgina generativ dunyo modellarining aksariyati kelajakdagi pikselarni bashorat qilishga qaratilgan. Biroq, Puffin-World gravitatsion bilimli fizik holatni modellashtirishni birlashtiradi, bu kenglik koʻrsatkichlari, chuqurlik yordamida tiklangan geometriya holati va RGB formatida ifodalangan tashqi koʻrinish holatini oʻz ichiga oladi. Barcha bu elementlar absolut va nisbiy kamera kadrlarini birlashtiruvchi Omni-Camera taqdimoti orqali bogʻlanadi.
Absolyut orientirlar kuzatuvlarni haqiqiy tortish kuchi va yoʻnalishga nisbatan mustahkamlaydi, nisbiy nurlar geometriyasi esa nuqta-nuqtai nazarning uzluksiz oʻzgarishi va murakkab harakatlarni qoʻllab-quvvatlaydi. Model bitta tasvir asosida absolut egilish, qiyalik va vertikal koʻrish maydonini baholashi, shuningdek, istalgan nuqta-nuqtai nazardan traektoriyalarni sintez qilishi, zich geometriyani tiklashi va matnli yoki vizual maʼlumotlardan foydalanib, yaratilgan sahna boʻylab kamera harakati paytida tortish kuchi va joylashuv boʻyicha siljishni tuzatib, yopiq tadqiqot oʻtkazishi mumkin.
Oʻquv miqyosi Puffin-16M maʼlumotlar toʻplami bilan taʼminlanadi, u Puffin-Cam-15M da taxminan 15 million 'koʻrish-til-kamera' tripletlari va Puffin-Traj-1M da 1 million murakkab traektoriyalarni oʻz ichiga oladi. Ushbu traektoriyalar turli muhitlarda: ichki, tashqi, sintetik va yoʻl sahnalarida qiyalik, burilish, egilish va murakkab harakatlarni qamrab oladi.
Jamoa shuningdek, Puffin-Worlddan 28 ta jamoatchilik maʼlumotlar toʻplamiga absolut kamera joylashuvi belgisini qoʻshish uchun foydalandi, ular taxminan 44,5 million tasvirni qamrab oladi va keyingi tadqiqotlar uchun mavjud. Maʼlumotlardagi bu hissa faqat nisbiy maʼlumotlarga asoslangan kamera korpuslarida mavjud boʻlmagan absolut joylashuv boʻshligʻini toʻldirishga qaratilgan, chunki ular tortish kuchiga moslashtirishni oʻrgata olmaydi.
Kamera-dunyo taqqoslashining toʻrtta jamoatchilik benchmarklarida — Stanford2D3D, MegaDepth, TartanAir va LaMAR — Puffin-World oʻz sinfidagi eng yaxshi median xatoliklarni namoyish etadi. Stanford2D3D da egilish, qiyalik va vertikal koʻrish maydoni boʻyicha median xatolar mos ravishda 0,29°, 0,53° va 1,62° gacha kamayadi. Bundan tashqari, model MegaDepth (0,28°), TartanAir (0,31°) va LaMAR (0,26°) da bir daraja ichidagi eng kichik egilishni koʻrsatadi.
Loyihalash materiallari shuningdek, RealEstate10K ning koʻp burchakli modellashtirishida yuqori PSNR va LPIPS koʻrsatkichlari hamda istalgan nuqta-nuqtai nazardan kamera boshqaruvidagi sinov stendlari uchun past burchak xatolarini koʻrsatadi. Arxitektura koʻrish enkoderi, geometriyaga moslashtirilgan til modeli, diffuziya generatori va yengil bogʻlanuvchidan iborat. Bu tushunish, yaratish va rekonstruksiya qilishning tashqi, vazifaga xos geometriya modullari boʻlmagan yagona tuzilma yordamida amalga oshirilishiga imkon beradi.
Jismoniy intellekt tizimlari (embodied stacks) uchun ochiq nashr absolut kamera fizikasi, boshqariladigan nuqta-nuqtalarni simulyatsiya qilish va bogʻliq uch oʻlchovli dunyolarni qayta tiklash mumkin boʻlgan yagona nazorat nuqtasini taqdim etadi. Bu oddiy kadr bashorat qilishdan sahna qanday mavjudligi va uni qanday tadqiq qilish mumkinligini modellashtirishga oʻtishni anglatadi.