Компания SenseTime сделала свои инструментарий оценки воплощенного ИИ SenseNova-RoboRSI и модель с 27 миллиардами параметров общедоступными. Этот релиз последовал за исследованием, в ходе которого SenseTime тестировала большую модель GPT-6-Astra на двенадцати симулированных бенчмарках и восьми реальных роботах. Все представленные результаты основаны на собственных тестах SenseTime.
SenseTime представила SenseNova-RoboRSI как фреймворк для оценки систем воплощенного ИИ, а также модель с воплощенным ИИ под названием SenseNova-RoboRSI-27B-Preview. В рамках исследования была проверена большая модель GPT-6-Astra на 12 симулированных робототехнических бенчмарках и 8 физических роботах.
Результаты тестирования GPT-6-Astra
Согласно данным SenseTime, когда GPT-6-Astra получила доступ к демонстрациям обучения и лимиты шагов были увеличены до десятикратного официального значения, модель достигла насыщения на бенчмарках LIBERO и SIMPLE, а также показала 81,9% успешности на RoboDojo. В одном случае девять задач RoboDojo, которые ранее не удавались ни разу из пяти попыток, были успешно выполнены во всех пяти попытках после того, как модели разрешили продолжать взаимодействие.
Однако это имело высокую стоимость. В расширенных тестах с большим бюджетом, складывание мисок заняло около 131 минуты и оценивалось в примерно 19 долларов затрат на вывод, тогда как помещение ручки в держатель заняло 263 минуты и обошлось примерно в 55 долларов. SenseTime также обнаружила, что GPT-6-Astra демонстрирует наибольшие трудности при выполнении задач с длинным горизонтом, испытывает проблемы с переносом навыков между задачами, а также имеет сложности с деформируемыми объектами и тонким управлением на реальных роботах.
Далее компания протестировала комбинацию медленной модели рассуждения с быстрой моделью действий. Наилучшая из таких комбинаций достигла 54% успеха в 42 задачах RoboDojo с замкнутым циклом, проверяющим каждый результат, хотя SenseTime отмечает, что проблема стоимости остается актуальной.
Инструментарий с открытым исходным кодом упаковывает каждый бенчмарк и его зависимости в отдельный образ Docker и предоставляет унифицированный HTTP API для взаимодействия с окружением и нативной оценки. SenseTime утверждает, что исследователи могут проводить сквозную оценку, используя конфигурационный файл, без необходимости вручную настраивать каждый симулятор.
Характеристики модели 27B
Модель с 27 миллиардами параметров предназначена для внедрения проверенного опыта непосредственно в веса модели, что снижает потребность в пробных и ошибочных действиях. SenseTime сообщает, что эта модель набрала 26,13 балла на RoboDojo с уровнем успешности задач в 20,83%, превзошла показатель 90 на LIBERO-Pro и увеличила свой процент успеха в RoboCasa365 с 26,0% до 46,5%, одновременно сократив использование токенов на 73%. Компания заявляет, что она выполняет задачи воплощенного ИИ при одной пятидесятой стоимости по сравнению с GPT-6-Astra.
Кроме того, SenseTime настаивает на том, что будущие бенчмарки воплощенного ИИ должны основываться на реальных потребностях человека, требовать от роботов обучения через взаимодействие и учитывать время мышления как мировое время, поскольку чайник продолжает нагреваться, пока модель обдумывает решение. Ни один из представленных результатов не был независимо верифицирован.
