A MagicLab anunciou que seu sistema de agente baseado em grandes modelos visuais-linguísticos (VLM) para controle geral de robôs, denominado EchoPolicy-0, conquistou o primeiro lugar no ranking geral MolmoSpaces, supervisionado pelo Allen Institute for AI (AI2). A média de taxa de sucesso foi de 75,4% em todas as quatro tarefas de manipulação da versão v1.
O MolmoSpaces é um benchmark para IA encarnada, criado com base em mais de 230.000 ambientes internos e cerca de 130.000 objetos. O Pandaily verificou os dados declarados, comparando-os com as informações publicadas pelo AI2 para seu ranking.
O EchoPolicy-0 está registrado sob a MagicLab e utiliza o modelo Gemini-3.8-Flash como modelo visual-linguístico. Ele foi testado no manipulador Franka em todas as quatro tarefas: Pick, Pick and Place, Open and Close. Ao calcular a média das taxas de sucesso nessas quatro tarefas, obtém-se aproximadamente 75,5%, o que corresponde aos 75,4% declarados pela empresa após arredondamento, e é o mais alto entre todos os trabalhos apresentados que cobrem as quatro tarefas.
Uma característica chave do EchoPolicy-0 é a integração de um modelo visual-linguístico, ferramentas de manipulação geométrica e uma política de ação geral em um único ciclo fechado, que inclui observação, compreensão do objetivo, seleção de habilidade, execução da ação e verificação do resultado. Se a ação for ineficaz, o framework é capaz de continuar trabalhando, repetir a tentativa, replanificar ou retroceder. O conceito principal do sistema é a seleção de trajetória alvo: o modelo de ação propõe vários movimentos possíveis, que são então projetados na imagem, e o modelo visual-linguístico seleciona o mais adequado ao objetivo antes que a verificação de execução seja realizada.
Além disso, a MagicLab apresentou o MagicBrain — um sistema proprietário com 3,4 bilhões de parâmetros, que, segundo a empresa, ocupa o quarto lugar no ranking geral. Os dados do AI2 mostram que o MagicBrain atinge 94,4% de sucesso na tarefa Pick. A abordagem, que a MagicLab chama de orientação visual contextual, permite que o agente VLM encontre o alvo na imagem, enquanto o modelo de ação se concentra exclusivamente no movimento. A empresa observa que a maioria dos fracassos de captura que estudaram ocorreu devido à seleção incorreta do objeto, e não à instabilidade do movimento.
O líder do laboratório de pesquisa da MagicLab Studio afirmou que a equipe prefere uma arquitetura multinível e considera o seguimento de instruções um dos principais desafios para os modelos existentes. O EchoPolicy-0 resolve esse problema por meio da orquestração de agentes e avaliação de trajetória, e o MagicBrain — por meio de orientação visual ponta a ponta. Vale ressaltar que os resultados obtidos são de testes de simulação, e a MagicLab não forneceu informações sobre os prazos de implementação desses frameworks em seus robôs comerciais.