Компания AgiBot представила LIFE (Learning to Live: A Step Toward Lifelong Embodied Intelligence) — фреймворк, разработанный для того, чтобы робот мог сохранять восприятие и память между различными задачами, вместо того чтобы сбрасывать состояние после каждой операции. Статья об этом была размещена на arXiv 30 октября. Код доступен на GitHub под лицензией Apache-2.0, а коды инференса и веса для моделей RoboBeats с параметрами 0.8B, 2B и 4B были опубликованы 3 ноября. Данные для оценки SSS-Bench распространяются под некоммерческой лицензией CC BY-NC 4.0. Модели построены на контрольных точках Qwen3.5 аналогичного размера и размещены на Hugging Face через индивидуальный аккаунт, связанный с репозиторием AgiBot.
Фреймворк LIFE состоит из трех компонентов, которые работают совместно с агентом, управляемым мультимодальной большой моделью. RoboBeats представляет собой легковесную модель принятия решений, которая отслеживает условия, описанные на естественном языке, касающиеся того, что видит робот. Вместо генерации текста для каждого кадра, она считывает оценки истинности/ложности, причем многие условия используют один и тот же визуальный ввод и кешированные вычисления. AgiBot называет это непрерывным восприятием «сердцебиением». Пластическая Память хранит необработанные кадры вместе со структурированными записями в формате JSON, что позволяет позднее повторно анализировать оригиналы при возникновении новых вопросов, вместо того чтобы полагаться исключительно на сводки, созданные в момент события. Метод EDM (Explore-Distill-Mount) преобразует рабочие методы решения проблем в проверенные, многократно используемые инструменты без необходимости обновления весов модели.
Команда представила следующие результаты в своей научной работе:
- RoboBeats-2B обрабатывает примерно 75 миллисекунд на новый кадр на одной видеокарте RTX 5090, а около 77 миллисекунд при отслеживании 16 условий.
- В задаче проактивного вывода на StreamingBench, RoboBeats-4B повысил точность с 21.2% до 64.0%.
- На SSS-Bench (171 видео, 618 вопросов) точность ответов на вопросы с использованием текстовой памяти увеличилась с 40.9% до 60.5%.
- При использовании инструментов EDM на 597 тестовых запросах FindingDory успех возрос с 37.5% до 65.8%.
В рамках 24-часового исследования робот AgiBot A3 Ultra использовался для формирования дневной памяти. При шести вопросах, заданных трижды каждый, с использованием одной и той же модели ответа, LIFE показал результат 29.5 из 30 со средним временем ответа 80.6 секунд. Это было в сравнении с результатом 28.5 и средним временем 554.7 секунды для базовой модели на основе Codex при использовании той же памяти.
Команда отмечает, что следующим шагом является многодневное онлайн-развертывание, и подчеркивает, что полученные результаты еще не были воспроизведены независимо. Также указывается, что прирост на SSS-Bench отражает точность ответов на вопросы, а не точность памяти.
