Pesquisadores da Huawei Noah's Ark Lab, University College London e outras equipes apresentaram o Memento 3 — um sistema de agentes que teve sucesso em todos os 25 jogos e 183 níveis no conjunto público ARC-AGI-3, um benchmark interativo do concurso ARC, de acordo com dados da QbitAI.
O ARC-AGI-3 é um ambiente onde o agente é colocado em jogos desconhecidos em estilo pixel sem fornecer regras, objetivos ou descrição de suas ações. O Memento 3 concluiu o trabalho no conjunto público usando 7.518 ações, o que é significativamente menor do que o desempenho humano de 17.135 ações, representando cerca de 44% do total de ações humanas, e obteve a pontuação máxima de 100 na métrica RHAE (Eficiência Relativa de Ação Humana).
O melhor resultado anterior no conjunto público foi alcançado pelo desenvolvedor independente Sergey Rodionov, usando seu modelo base, que também resolveu todos os jogos, mas obteve 99 pontos, gastando 8.347 ações.
No entanto, este resultado tem duas limitações importantes. Primeiro, o modelo base subjacente ao Memento 3 não é um modelo da Huawei; o sistema opera no Claude Opus 5 no modo de raciocínio mais alto, sem atualizações de pesos e sem ajuste fino para jogos específicos. Segundo, refere-se apenas aos jogos públicos, e o resultado ideal no conjunto público não reflete como o sistema funcionará em jogos de teste ocultos, onde a capacidade de generalização é testada.
Ainda assim, o mesmo modelo base no aparato oficial do Prêmio ARC mostra uma média de RHAE de cerca de 40,7, portanto, o aumento de eficiência é alcançado graças à própria arquitetura do agente.
A arquitetura do agente é chamada de 'Código como Modelo'. Durante o jogo, o agente mantém um conjunto de regras em linguagem natural e depois o converte em código Python que simula o jogo, planejando então os movimentos dentro de seu próprio simulador. Se a realidade contradiz a simulação, o agente reescreve ambos os elementos. Em um dos jogos, ele inicialmente supôs que o chão especial refletia o padrão transportado, mas depois descobriu que o padrão estava realmente girado em 90 graus no sentido horário. O sistema reproduz os movimentos anteriores e compara cada quadro de 64x64 para garantir que o código recrie o que aconteceu. Cada alteração é registrada no Git, permitindo reverter edições malsucedidas.
Em experimentos de exclusão de elementos em três jogos, a manutenção do conjunto de regras permitiu reduzir o número de ações em cerca de 9%. Ao usar dois modelos mundiais concorrentes em um jogo, o número de ações diminuiu de 899 para 597, embora este teste tenha sido realizado apenas neste jogo específico.
A equipe também testou o sistema no Atari Pong. Após estudar a física do ricochete com base em aproximadamente 9.500 quadros, a política baseada em código jogou sem invocar o modelo de linguagem e venceu três partidas por 21:0. Os autores observam que a pesquisa requer um grande número de tokens, e cenários mais complexos do mundo real ainda não foram testados.