A startup de inteligência artificial incorporada X Square Robot lançou o X2Real — um padrão de simulação projetado para medir o desempenho de modelos de nível fundamental de robôs no mundo real, bem como para expandir continuamente o conjunto de dados de teste à medida que os modelos melhoram.
A empresa define claramente o problema: avaliar robôs reais é caro e lento, enquanto a simulação é rápida, mas muitas vezes irrealista e permite que os modelos superaprendam facilmente. O X2Real baseia-se em três princípios: fidelidade, eficiência e justiça.
Para garantir a fidelidade, a equipe gravou trajetórias de manipuladores robóticos físicos, reproduziu os mesmos comandos de controle na simulação e ajustou as respostas das juntas até que correspondessem, o que, segundo a empresa, garante a consistência da trajetória em nível milimétrico. A aparência visual e as características físicas, como o contato, também foram calibradas. As implementações suportadas incluem o Franka de um braço, o ArtiXon Arm-6A de dois braços, o ARX R5 e o manipulador móvel Quanta X1. Ao executar tarefas gerais de manipulação, a X Square Robot relata uma correlação de 0,96 entre o sucesso das tarefas na simulação e no mundo real, e 0,99 para os indicadores de progresso. Esses dados foram obtidos através de testes próprios da empresa neste subconjunto de tarefas.
Em termos de eficiência, o X2Real inclui 44 tarefas distribuídas em 10 categorias. Quatro categorias são dedicadas ao raciocínio: generalização, compreensão visual, compreensão de linguagem e memória. Cinco categorias tratam de manipulação: manipulação fina, coordenação de dois braços, uso de ferramentas, objetos dinâmicos e manipulação móvel. Um conjunto de tarefas separado, que inclui empilhamento de blocos, pressionar botões em uma sequência de cores predefinida e resolver a Torre de Hanói, visa testar precisão, memória de longo prazo e planejamento. A empresa observa que a maioria dos modelos existentes ainda tem dificuldades com essas tarefas.
O princípio da justiça é alcançado por meio da randomização independente da aparência, configuração da tarefa e condições de implementação. Os modelos que passam pelo treinamento após esta etapa usam um conjunto de dados coletado durante quase 300 horas em um estúdio com tela verde uniforme, separado das cenas de avaliação. O padrão opera no ecossistema de simulação Mana, construído sobre o NVIDIA Isaac Lab-Arena, que empacota cenas, robôs e etapas de tarefas em módulos reutilizáveis.
Os agentes de IA controlam dois ciclos. Um gera novas tarefas e cenas a partir de um menu limitado de opções com verificação automática para excluir configurações incorretas. O segundo divide cada tarefa em um grafo de subtarefas, avalia cada nó com base nas poses dos objetos, contatos e estados de agarre, e cria testes intencionalmente novos nos quais o modelo falha.
Um protocolo unificado chamado Policy Space unifica as diferenças nos formatos de entrada, representações de ação e tempo de saída. Os desenvolvedores executam a inferência localmente e se conectam à plataforma, que cuida da avaliação e repetição da trajetória online sem a necessidade de uma instalação de simulação local.