Исследователи из Nanyang Technological University, Peking University, HKUST (Guangzhou) и Beijing Academy of Artificial Intelligence (BAAI) выпустили Omega-0 — модель действия мирового уровня, основанную на латентном прогнозировании. Эта модель позволяет гуманоидным роботам одновременно двигаться, смотреть и выполнять работу. При выполнении 11 реальных домашних задач модель достигла показателя успеха в 81,8 процента, что значительно превосходит результаты pi-0.5, EgoVLA, GR00T-N1.7 и psi-0.
Основной вклад модели заключается не столько в конечном числе, сколько в ее архитектуре: вместо прогнозирования будущих пикселей, Omega-0 предсказывает будущие визуальные признаки, используя диффузионный трансформер для генерации действий всего тела.
Модель Omega-0 имеет трехэтапную архитектуру обучения. Первый этап — это предварительное обучение модели зрения и языка для действий всего тела. Команда обучила токенизатор Whole-Body FAST для преобразования непрерывных, высокоразмерных траекторий всего тела в дискретные токены действий. Затем они дообучили Qwen3-VL-2B-Instruct, превратив его в специализированную VLM для действий всего тела с обучаемыми токенами точки зрения для первого и третьего лица.
Второй этап — это предварительное обучение латентных действий человека и робота. Используя идею V-JEPA, команда объединила зрение, язык и проприоцепцию робота, предсказывая будущие визуальные признаки через видеозапрос, а затем внедряя прогнозируемые признаки окружающей среды в представление действия. Диффузионный трансформер генерирует латентное представление действия всего тела.
Третий этап включает тонкую настройку на реальных домашних условиях с использованием стратегии чанкинга в реальном времени для обеспечения непрерывности действий.
Для тренировки этой архитектуры была создан набор данных Omega-HOME. Он включает 40,3 часа данных из реальной среды, 4827 траекторий и 24 типа задач. Каждая траектория содержит синхронизированные языковые инструкции, видео от первого и третьего лица, данные проприоцепции и движения всего тела. Данный набор охватывает восемь категорий бытовых задач, таких как сбор предметов, уборка поверхностей, использование бытовой техники и наведение порядка. Траектории управляются телеоперационно и преобразуются в сигналы надзора для сквозного обучения.
Методология бенчмарка является более строгой частью исследования. Чтобы избежать загрязнения данных предварительного обучения, команда исключила 11 задач тонкой настройки из Omega-HOME и объединила оставшиеся с общедоступными данными демонстрации человека для предварительного обучения второго этапа. Таким образом, полученный прирост является реальным, а не артефактом утечки тестового набора. Название модели минималистично: omega-zero является первым в, казалось бы, серии.
Более широкое значение имеет применение в области воплощенного ИИ. Дом представляет собой самую сложную цель для развертывания гуманоидных роботов, поскольку это требует постоянного восприятия окружающей среды и координации всего тела. Omega-0 связывает прогнозирование будущей среды с генерацией действий всего тела, что является одним из наиболее обоснованных подходов на данный момент для решения этой совместной проблемы в рамках одной модели. Путь к роботу, который надежно складывает белье, все еще долог, однако архитектурное направление стало менее неоднозначным, чем шесть месяцев назад. Остаются открытыми вопросы долгосрочной автономности, безопасного взаимодействия, обобщения задач и адаптации к сложной среде. Показатель в 81,8 процента является полезным ориентиром, а не конечной целью.
Модель AgiBot WITA-Omni Full-Modal получила высокий балл 85.21 в рамках бенчмарка DailyOmni. При этом модель продемонстрировала первенство по шести из восьми показателей, опередив такие системы, как Alibaba Qwen, Google Gemini, ByteDance Doubao и NVIDIA.
Бенчмарк оценивает способность модели одновременно обрабатывать аудио- и визуальные сигналы в условиях реального мира. Среди протестированных параметров были согласованность аудиовизуальных данных (86.13), временное рассуждение о событиях (84.64), комплексное кросс-модальное рассуждение (85.06), а также высокие результаты в задачах понимания видео продолжительностью 30 и 60 секунд.
В отличие от универсальных мультимодальных моделей, оптимизированных для взаимодействия с цифровым контентом, WITA-Omni изначально разрабатывалась для воплощенного взаимодействия. Это означает, что роботы, использующие эту модель, должны понимать, реагировать и действовать в физической среде в режиме реального времени.
Инновация заключается в парадигме Thinker-Talker-Actor, которая заменяет традиционный последовательный конвейер. Стандартные процессы взаимодействия роботов выполняют распознавание речи, семантическое понимание, генерацию ответа, синтез речи и вывод действия как отдельные, последовательные этапы, что приводит к накоплению задержек. WITA-Omni же запускает ядро многомодального рассуждения Thinker, потоковую генерацию речи Talker и модули действия и выражения Actor параллельно на единой временной шкале.
Модуль Actor принимает на вход не только семантическое состояние Thinker, но и латентные переменные аудио от Talker. Это позволяет жестам и мимике синхронизироваться с ритмом речи, паузами, акцентами и эмоциональным тоном, устраняя рассогласование между тем, что говорит робот, и тем, как он двигается. Архитектура расширяет парадигму Thinker-Talker, ранее созданную для разговорного ИИ, добавляя модуль Actor как полноценный выходной канал наряду с речью.
Thinker объединяет текстовые, изобразительные, аудио- и видеовходы через специализированные кодировщики и легкие проекционные слои в единое пространство представления для принятия решений о взаимодействии и кросс-модального рассуждения. Talker генерирует естественную речь, обусловленную скрытыми состояниями Thinker. Actor управляет головой действий и головой выражения, используя как семантическое состояние Thinker, так и аудиопризнаки Talker. Механизм синхронизации между потоками гарантирует, что движения робота реагируют на изменения скорости речи, сдвиги в выражении, а физические действия сохраняют временную согласованность с вербальным общением.
Этот результат следует за достижением AgiBot world model Genie Envisioner-Sim 2.0, который ранее занял первое место на WorldArena. Эти два достижения формируют трехстолпную структуру возможностей ИИ: WITA-Omni для взаимодействия, world model для понимания физического мира и аппаратное обеспечение робота для действий в нем. Победа в рейтинге подтверждает, что компании, занимающиеся воплощенным ИИ, могут достигать превосходных общих возможностей, оптимизируясь под ограничения реального мира, а не адаптируя универсальные модели.
По мере перехода роботов из контролируемых заводских сред в неструктурированные социальные пространства, способность синхронно обрабатывать множественные сенсорные потоки и реагировать скоординированными вербальными и физическими действиями становится ключевым отличием. AgiBot определяет синхронное полномодальное взаимодействие как новое конкурентное измерение в индустрии воплощенного ИИ, отдельное от конкуренции чисто по качеству моделей, доминирующей в сфере общего ИИ.
