A ACE Robotics, em colaboração com o S-Lab da Nanyang Technological University, com a participação da Beijing Jiaotong University e da University of Michigan, tornou o Puffin-World público. Este modelo mundial multimodal unificado considera física, geometria e aparência como estados tridimensionais inseparáveis do mundo.
O pacote lançado inclui o código, os modelos e o conjunto de dados Puffin-16M. O objetivo do desenvolvimento é fornecer percepção e simulação prontas para robôs, e não apenas prever o próximo quadro com base em imagens RGB.
A maioria dos modelos mundiais generativos foca na previsão de pixels futuros. No entanto, o Puffin-World combina o modelamento de um estado físico consciente da gravidade, que inclui indicadores de latitude, estado de geometria recuperado por profundidade e estado de aparência representado em formato RGB. Todos esses elementos são ligados através da representação Omni-Camera, que une quadros absolutos e relativos da câmera.
Os marcos absolutos fixam as observações em relação à gravidade real e orientação, enquanto a geometria relativa dos raios suporta a mudança contínua do ponto de vista e movimentos compostos. O modelo é capaz de estimar inclinação absoluta, arfagem e campo de visão vertical a partir de uma única imagem, além de sintetizar trajetórias a partir de qualquer ponto de vista, reconstruir geometria densa e realizar exploração fechada, corrigindo o desvio pela gravidade e posição durante o movimento da câmera na cena gerada, usando dados textuais ou visuais.
A escala de treinamento é fornecida pelo conjunto de dados Puffin-16M, que contém cerca de 15 milhões de triplas 'visão-linguagem-câmera' no Puffin-Cam-15M e 1 milhão de trajetórias complexas no Puffin-Traj-1M. Essas trajetórias cobrem arfagem, guinada, rolagem e movimentos compostos em vários ambientes: cenas internas, externas, sintéticas e rodoviárias.
A equipe também utilizou o Puffin-World para adicionar rótulos de posição absoluta da câmera a 28 conjuntos de dados públicos, cobrindo aproximadamente 44,5 milhões de imagens disponíveis para pesquisas futuras. Esta contribuição de dados visa preencher a lacuna de posição absoluta existente em coleções de câmeras baseadas apenas em dados relativos, pois elas não podem treinar o alinhamento gravitacional.
Em quatro benchmarks públicos que comparam câmera com o mundo — Stanford2D3D, MegaDepth, TartanAir e LaMAR — o Puffin-World demonstra erros medianos de ponta em sua classe. No Stanford2D3D, os erros medianos de inclinação, arfagem e campo de visão vertical diminuem para 0,29°, 0,53° e 1,62°, respectivamente. Além disso, o modelo exibe a menor inclinação dentro de um grau no MegaDepth (0,28°), TartanAir (0,31°) e LaMAR (0,26°).
Os materiais do projeto também apontam para métricas de PSNR e LPIPS líderes no modelamento multiview de RealEstate10K e baixos erros angulares em bancadas de teste para controle de câmera a partir de um ponto de vista arbitrário. A arquitetura combina um codificador de visão alinhado geometricamente, um modelo de linguagem, um gerador de difusão e um conector leve. Isso permite que a compreensão, geração e reconstrução utilizem uma estrutura unificada sem módulos geométricos externos específicos da tarefa.
Para sistemas de inteligência incorporada (embodied stacks), o lançamento aberto fornece um ponto de controle único que pode perceber a física absoluta da câmera, simular pontos de vista controlados e recriar mundos tridimensionais coerentes. Isso representa uma transição da simples previsão de quadros para o modelamento de como a cena física existe e como ela pode ser explorada.
