MagicLab объявила, что ее агентская система на базе больших визуально-языковых моделей (VLM) для общего управления роботами, получившая название EchoPolicy-0, завоевала первое место в общем рейтинге MolmoSpaces, который курирует Allen Institute for AI (AI2). Средний показатель успеха составил 75,4% по всем четырем задачам манипуляции версии v1.
MolmoSpaces представляет собой бенчмарк для воплощенного ИИ, созданный на основе более чем 230 000 внутренних сред и около 130 000 объектов. Pandaily проверила заявленные данные, сверив их с информацией, опубликованной AI2 для своего рейтинга.
EchoPolicy-0 зарегистрирована под MagicLab и использует модель Gemini-3.8-Flash в качестве визуально-языковой модели. Она была протестирована на манипуляторе Franka во всех четырех задачах: Pick, Pick and Place, Open and Close. При усреднении показателей успеха по этим четырем задачам получается приблизительно 75,5%, что соответствует заявленным компанией 75,4% после округления, и является самым высоким среди всех представленных работ, охватывающих все четыре задачи.
Ключевая особенность EchoPolicy-0 заключается в объединении визуально-языковой модели, инструментов геометрической манипуляции и общей политики действий в единый замкнутый цикл, который включает наблюдение, понимание цели, выбор навыка, выполнение действия и проверка результата. Если действие оказывается неэффективным, фреймворк способен продолжать работу, повторять попытку, перепланировать или откатиться назад. Основная концепция системы — это целевой выбор траектории: модель действия предлагает несколько возможных движений, которые затем проецируются на изображение, а визуально-языковая модель выбирает наиболее подходящее для цели перед тем, как будет проведена проверка выполнения.
Кроме того, MagicLab представила MagicBrain — собственную систему с 3,4 миллиардами параметров, которая, по утверждению компании, занимает четвертое место в общем рейтинге. Данные AI2 показывают, что MagicBrain достигает 94,4% успеха в задаче Pick. Подход, который MagicLab называет контекстным визуальным руководством, позволяет агенту VLM находить цель на изображении, в то время как модель действия фокусируется исключительно на перемещении. Компания отмечает, что большинство неудач при захвате, которые они изучали, происходили из-за выбора неправильного объекта, а не из-за нестабильности движения.
Руководитель исследовательской лаборатории MagicLab Studio заявил, что команда предпочитает многоуровневую архитектуру и считает следование инструкциям одной из главных сложностей для существующих моделей. EchoPolicy-0 решает эту проблему посредством оркестрации агентов и оценки траектории, а MagicBrain — через сквозное визуальное руководство. Следует отметить, что полученные результаты являются результатами симуляционных тестов, и MagicLab не предоставила информации о сроках внедрения этих фреймворков в свои коммерческие роботы.