Компания Songyan Dynamics выпустила HERON-CRA (Context Reinforcement Action Model), которая является второй моделью в своей серии HERON, после того как на прошлой неделе была представлена HERON-World Model. Компания позиционирует HERON-CRA как фундаментальную модель, объединяющую контекст, обучение с подкреплением и действия, предназначенную для помощи роботам в запоминании истории задач, исправлении ошибок и переносе навыков между различными роботами.
Выпуск определяется тремя основными компонентами. Эксперт по контексту (Context Expert) кодирует мультимодальную историю в структурированные пространственно-временные токены 4D, позволяя политике учитывать не только текущий кадр, а также демонстрируя окна памяти, превышающие одну минуту. Механизм обучения с подкреплением (RL Engine) функционирует как легковесный остаточный актер-критик, который повторно использует замороженные ключи и значения Эксперта по контексту, изучая корректирующие действия, когда имитация сама по себе начинает отклоняться.
Предварительное обучение между разными телами (Cross-embodiment pretraining) сочетает телеоперацию, симуляцию, данные в стиле UMI и видео от первого лица, собранные с различных манипуляторов, колесных платформ, захватов и ловких рук. Это позволяет после обучения применять модель к новым морфологиям с меньшей необходимостью донастройки.
Демонстрации подчеркивают заявленный прирост производительности. В задаче складывания носков с мягким объектом Scalabot сообщает о росте успеха с 38,5% при использовании только имитации до 97,8% после активации RL Engine. Отдельные видео показывают последовательность приготовления кофе с длительным горизонтом — от помола до наливания молока — завершенную менее чем за 30 секунд. Кроме того, продемонстрирован перенос этого семейства навыков между манипулятором ARX и колесным гуманоидом Noetix M1. Модель также способна восстанавливаться после того, как чашка перемещается во время захвата, и продолжает некоторые движения при кратковременном перекрытии обзора.
С технической точки зрения, Эксперт по контексту и Эксперт по действию обучаются как смесь трансформеров. Путь обучения с подкреплением добавляет модель ценности с ограничениями временной разницы и может проигрывать воображаемые траектории через HERON-World Model без дополнительных аппаратных рисков. Хотя независимые команды захотят воспроизвести метрики складывания носков и кофе на собственном оборудовании, этот релиз предоставляет четкий алгоритм — память, остаточное RL и предварительное обучение между телами — для выполнения бытовых манипуляций с длинным горизонтом, выходящих за рамки демонстраций одного шага.