UBTECH apresenta o Thinker-WM — um modelo de mundo que une vídeo, profundidade e ações de robôs

A UBTECH divulgou os detalhes do Thinker-WM, um modelo de mundo desenvolvido por sua equipe Thinker. Este modelo é capaz de codificar vídeo RGB, profundidade métrica e ações de robôs em uma única representação comum. A documentação técnica sobre este desenvolvimento está disponível no arXiv.

De acordo com declarações da empresa, o Thinker-WM alcançou o primeiro lugar em três benchmarks para modelos de mundo incorporados. Esses rankings são baseados nos resultados disponíveis no momento do anúncio.

Resultados dos testes do modelo

Segundo a UBTECH, o modelo Thinker-WM obteve um resultado geral de 0,740 na WorldOlympiad. Este benchmark foi criado com base em dados de interação real com robôs e abrange mais de dez robôs e várias configurações de câmeras. Além disso, o modelo atingiu os maiores indicadores individuais de coerência 3D (0,531) e precisão de interação (0,765).

Na plataforma EWMBench, o modelo demonstrou um resultado agregado de 4,66, superando modelos como Qwen-RobotWorld e Sora 2, com os melhores resultados alcançados nas métricas de dinâmica e correspondência de trajetórias. No benchmark de simulação WorldArena 1.0 Track-1, a empresa afirma ter liderado em 12 critérios de avaliação diferentes.

Arquitetura e princípio de funcionamento

O principal argumento a favor do desenvolvimento do Thinker-WM é que muitos modelos de mundo existentes são compostos de partes separadas: a geração de vídeo cuida dos pixels, a rede de políticas cuida das ações e um módulo separado prevê a geometria. A UBTECH acredita que essa abordagem separa sinais fisicamente relacionados. Em vez disso, o Thinker-WM passa cada modalidade por seu próprio codificador em um espaço latente comum e as modela conjuntamente dentro de um Transformer Dinâmico Unificado, antes de decodificar vídeo, mapas de profundidade e ações executáveis. A profundidade é considerada uma saída inerente, e não um auxílio.

Em experimentos de tarefa única no RoboTwin, demonstrou-se que a adição de profundidade aumentou a taxa de sucesso de manipulação em 15 pontos percentuais em comparação com o modelo base, onde a profundidade estava ausente.

Graças ao fato de todas as modalidades usarem o mesmo conjunto de pesos, o modelo pode operar em seis modos diferentes, incluindo geração conjunta de vídeo e ações, previsão do futuro, inferência de política, conversão de vídeo em ações e dinâmica inversa, bastando alterar os dados de entrada e as saídas geradas.

Dados de treinamento

O volume total de dados de treinamento é de cerca de 30.000 horas. Dessas, aproximadamente 20.000 horas são de vídeo em primeira pessoa, gravado em ambientes domésticos, lojas de varejo e fábricas; cerca de 10.000 horas são dados de robôs reais de diferentes tipos; e cerca de 1.000 horas são dados de simulação. Todas as ações dos robôs são apresentadas na forma de poses do efetor final com uma tag específica do corpo, permitindo que diferentes máquinas utilizem o mesmo espaço de geração. Um pipeline de dados chamado Data Factory cuida da amostragem, verificação de qualidade multinível e alinhamento de profundidade e vídeo.

Para verificar se o espaço comum realmente conecta as modalidades, a equipe treinou um pequeno mecanismo de movimento de teste em características visuais congeladas para restaurar o deslocamento do efetor final, o que a UBTECH apresenta como prova de ligação cross-modal.

Histórias semelhantes

Plataforma de teste VA-Bench da Universidade de Tecnologia de Dalian mostra que os melhores modelos multimodais completam apenas metade das tarefas de robótica

Um grupo de pesquisa da Universidade de Tecnologia de Dalian apresentou o VA-Bench, um novo benchmark projetado para testar a capacidade de grandes modelos de linguagem multimodais universais de converter informações visuais em ações bem-sucedidas de um braço robótico.

Entre as doze configurações testadas, o melhor modelo, Qwen3.8-max da Alibaba, conseguiu completar em média 53,93% das tarefas. Isso indica que os modelos capazes de 'entender' a cena ainda enfrentam dificuldades na execução confiável das ações correspondentes.

A descrição do benchmark foi publicada em um artigo no arXiv (2609.19554) e na publicação chinesa Sina Tech. O VA-Bench avalia o ciclo completo do processo: observação, raciocínio, ação e correção. Antes de cada teste, o modelo visualiza um vídeo de demonstração bem-sucedida, mas não recebe coordenadas de objetos, trajetórias de especialistas ou parâmetros de ação precisos.

Durante o teste, o modelo pode mudar os ângulos da câmera autonomamente, o que aumenta o número de passos de interação, e deve fornecer comandos específicos: deslocamentos em milímetros em cada eixo, ângulos de rotação e instruções para abrir ou fechar a garra. Um controlador fixo executa estritamente as instruções fornecidas pelo modelo.

Escopo e Estrutura do Teste

O benchmark abrange 14 tipos de tarefas de manipulação, incluindo 11 tarefas com um braço e três tarefas com dois braços. Cada tarefa inclui 20 cenas fisicamente verificadas em simulação de física, totalizando 280 cenas base. Além disso, foram adicionadas variações de geometria e layout, bem como um percurso com cinco objetos que exige uma execução prolongada. Cada configuração de modelo foi executada três vezes.

Os principais modelos alcançaram 100% de precisão na localização de alvos e 99,6%–100% na compreensão da manipulação necessária, mas o sucesso geral da tarefa permaneceu em cerca de metade. Os modelos Opus-5 e GPT-5.6-sol, apresentados no exterior, seguiram o Qwen3.8-max, mostrando resultados de 52,86% e 51,55%, respectivamente. Os autores observam que os três líderes estão dentro de 2,38 pontos percentuais e não fazem declarações sobre classificação confiável. A porcentagem de conclusão das subtarefas variou de 65,9% a 68,6%, indicando que muitos falhos ocorrem após progresso parcial. Todas as outras condições apresentaram um resultado de 23,10% ou inferior.

Principais Problemas Identificados

Foram identificadas duas lacunas principais. O Qwen3.8-max conseguiu detectar erros em 73,6% dos casos, mas corrigiu-os online apenas em 46,7% dos casos. Sua eficácia foi de 65,61% em tarefas de um braço, mas apenas 11,11% em tarefas de dois braços, que exigem a distribuição de objetos entre cada braço e a coordenação de sua disposição mútua.

A observação ativa mostrou ser um fator mais significativo do que a presença de câmeras adicionais. Em uma análise comparativa, o Qwen3.8-max obteve sucesso em 57,50% das 280 cenas quando escolhia os pontos de vista, em comparação com 27,86% quando lhe eram fornecidos cinco pontos de vista fixos. Além disso, todos os quatro modelos testados recusaram-se a participar do teste sem observação ativa.

A alteração na forma de objetos, contêineres ou no layout, mantendo a mesma tarefa, reduziu o sucesso de um dos modelos de referência em mais de 30 pontos — de 80,00% para 47,86%. Ao mesmo tempo, o Qwen3.8-max reduziu seu índice de 77,86% para 67,86%. No percurso de execução prolongada, o Qwen3.8-max posicionou 61 de 100 objetos, mas nenhum modelo concluiu um episódio rigoroso.

Este benchmark difere da classificação 'embodied brain' SuperCLUE, publicada esta semana, porque o VA-Bench mede se os julgamentos de percepção, raciocínio e planejamento levam a uma ação física bem-sucedida, ao contrário do SuperCLUE, que avalia esses aspectos em si.