Стартап в области воплощенного искусственного интеллекта X Square Robot выпустил X2Real — эталон симуляции, предназначенный для измерения производительности моделей фундаментального уровня роботов в реальном мире, а также для постоянного расширения тестового набора данных по мере совершенствования моделей.
Компания четко формулирует проблему: оценка реальных роботов является затратной и медленной, тогда как симуляция быстрая, но часто нереалистична и позволяет моделям легко переобучаться. X2Real основан на трех принципах: достоверность, эффективность и справедливость.
Для обеспечения достоверности команда записала траектории с физических роботизированных манипуляторов, воспроизвела те же команды управления в симуляции и настроила отклики суставов до совпадения, что, по утверждению компании, обеспечивает согласованность траектории на уровне миллиметра. Также были откалиброваны визуальный вид и физические характеристики, такие как контакт. Поддерживаемые воплощения включают однорукий Franka, двухрукий ArtiXon Arm-6A, ARX R5 и мобильный манипулятор Quanta X1. При выполнении общих задач манипуляции X Square Robot сообщает о корреляции в 0.96 между успехом задач в симуляции и в реальном мире, а также о 0.99 для показателей прогресса. Эти данные получены в результате собственных испытаний компании на данном подмножестве задач.
Что касается эффективности, X2Real включает 44 задачи, распределенные по 10 категориям. Четыре категории посвящены рассуждению: обобщению, визуальному пониманию, пониманию языка и памяти. Пять категорий касаются манипуляции: тонкой манипуляции, двуручной координации, использования инструментов, динамических объектов и мобильной манипуляции. Отдельный набор задач, включающий укладку блоков, нажатие кнопок в заданной цветовой последовательности и решение Башни Ханоя, направлен на проверку точности, долгосрочной памяти и планирования. Компания отмечает, что большинство существующих моделей все еще испытывают трудности с этими задачами.
Принцип справедливости достигается путем независимой рандомизации внешнего вида, настройки задачи и условий воплощения. Модели, которые проходят обучение после этого этапа, используют набор данных, собранный в течение почти 300 часов в студии с равномерным зеленым экраном, который отделен от сцен оценки. Эталон работает в экосистеме симуляции Mana, построенной на NVIDIA Isaac Lab-Arena, которая упаковывает сцены, роботов и шаги задач в многократно используемые модули.
ИИ-агенты управляют двумя циклами. Один генерирует новые задачи и сцены из ограниченного меню опций с автоматической проверкой для исключения некорректных настроек. Второй разбивает каждую задачу на граф подзадач, оценивает каждый узел по позам объектов, контактам и состояниям захвата, и создает целенаправленно новые тесты, в которых модель терпит неудачу.
Единый протокол под названием Policy Space унифицирует различия во входных форматах, представлениях действий и времени вывода. Разработчики выполняют вывод локально и подключаются к платформе, которая занимается оценкой и повтором траектории онлайн без необходимости локальной симуляционной установки.