Исследователи из Huawei Noah's Ark Lab, University College London и других команд представили Memento 3 — систему агентов, которая успешно справилась со всеми 25 играми и 183 уровнями в публичном наборе ARC-AGI-3, интерактивном бенчмарке конкурса ARC, согласно данным QbitAI.
ARC-AGI-3 представляет собой среду, куда агент помещается в незнакомые игры в пиксельном стиле без предоставления правил, целей или описания своих действий. Memento 3 завершила работу над публичным набором, используя 7 518 действий, что значительно меньше человеческого показателя в 17 135 действий, составив около 44% от общего числа действий человека, и получила максимальный балл в 100 по метрике RHAE (Relative Human Action Efficiency).
Предыдущий лучший результат в публичном наборе был достигнут независимым разработчиком Сергеем Родионовым с использованием его базовой модели, который также решил все игры, но набрал 99 баллов, потратив 8 347 действий.
Однако этот результат имеет два важных ограничения. Во-первых, базовая модель, лежащая в основе Memento 3, не является моделью Huawei; система работает на Claude Opus 5 в режиме наивысшего уровня рассуждений, без обновлений весов и без тонкой настройки под конкретные игры. Во-вторых, речь идет только о публичных играх, и идеальный результат на публичном наборе не отражает, как система будет работать в скрытых тестовых играх, где проверяется способность к обобщению.
При этом та же базовая модель в официальном аппарате ARC Prize показывает средний показатель RHAE около 40,7, поэтому прирост эффективности достигается за счет самой архитектуры агента.
Архитектура агента называется «Код как Модель». Во время игры агент поддерживает свод правил на естественном языке, а затем преобразует его в код на Python, который симулирует игру, после чего планирует ходы внутри собственного симулятора. Если реальность противоречит симуляции, агент переписывает оба элемента. В одной из игр он сначала предположил, что специальный пол отражает переносимый узор, но затем обнаружил, что на самом деле узор повернут на 90 градусов по часовой стрелке. Система воспроизводит предыдущие ходы и сравнивает каждый кадр размером 64 на 64, чтобы убедиться, что код воссоздает произошедшее. Каждое изменение фиксируется в Git, что позволяет откатить неудачные правки.
В экспериментах с исключением элементов на трех играх сохранение свода правил позволило сократить количество действий примерно на 9%. При использовании двух конкурирующих мировых моделей в одной игре количество действий снизилось с 899 до 597, хотя этот тест проводился только на этой конкретной игре.
Команда также протестировала систему на Atari Pong. После изучения физики отскока на основе примерно 9 500 кадров, политика, основанная на коде, играла без вызова языковой модели и выиграла три матча со счетом 21:0. Авторы отмечают, что исследование требует большого количества токенов, и более сложные сценарии реального мира пока остаются непроверенными.