Робот впервые самостоятельно собрал конструкцию на орбите Земли без прямого управления человеком

Компания Robbyant, являющаяся подразделением Ant Group, выпустила в открытый доступ модель LingBot-Touch. Эта тактильная фундаментальная модель предназначена для обеспечения роботизированным рукам единого ощущения прикосновения.

Анонсированная 10 ноября, модель была предварительно обучена на данных, собранных за почти 5000 часов реального тактильного опыта. Она охватывает три принципа сенсорики: магнитный, визуально-тактильный и пьезорезистивный. Код модели доступен под лицензией Apache-2.0, а контрольные точки Tiny и Small размещены на платформах Hugging Face и ModelScope.

Основная проблема, которую решает LingBot-Touch, заключается в несовместимости сырых сигналов, генерируемых различными тактильными датчиками; опыт касания, полученный на одном типе датчика, редко применим к другому. LingBot-Touch решает эту проблему, предоставляя каждому типу датчика свой собственный токенизатор ввода, который подает данные в общий Трансформер. Модель отображает точки контакта в единое координатное пространство кончика пальца и выдает унифицированные тактильные токены, которые могут использоваться разными моделями действий.

В репозитории описан целевой подход в стиле JEPA, который прогнозирует латентные представления из пространственно-временного контекста касания. Данные для обучения были получены как с тактильных перчаток, носимых человеком, так и с телеуправляемых ловких рук.

Тестирование модели на робототехнических задачах

Robbyant провела тестирование модели на двух ловких руках — Sharpa Wave и XHand — в рамках 26 задач, выполняемых реальными роботами. Эти задачи включали переворачивание страниц, скручивание крышек бутылок и идентификацию маджонговых плиток. При добавлении представления LingBot-Touch к четырем моделям действий — LingBot-VLA, $\pi$0.5, Diffusion Policy и T-Rex — средняя успешность выполнения задач возросла примерно на 14–26 процентных пунктов по сравнению с версиями, не использующими тактильную обратную связь.

В одном из случаев, когда T-Rex пытался скручивать крышки на Sharpa Wave, успех составлял 56,25% без использования тактильности, 62,5% при использовании сырых сигналов датчиков и 90% после интеграции LingBot-Touch.

Все 26 испытаний проводились с использованием версии Tiny, которая имеет около 5 миллионов параметров и увеличивает размер подключаемых политик всего на 0,13%–0,16%. Команда отмечает, что более крупная версия Small продолжает улучшаться по мере увеличения объема обучающих данных до 5000 часов.

Для проверки переноса знаний между различными аппаратными платформами, команда заморозила кодировщик на XHand, чей магнитно-сенсорный модуль отсутствовал в данных предварительного обучения, и обучила только модель действия на демонстрациях XHand. Знания о магнитном касании в этом случае были получены исключительно из данных человеческих перчаток.

Robbyant позиционирует данную модель как нейтральный слой между тактильными датчиками и моделями действий, а не как компонент, привязанный к собственной LingBot-VLA. Это позволяет производителям оборудования выбирать датчики исходя из стоимости, в то время как команды систем могут сохранять свои собственные политики.

Все представленные результаты принадлежат самой Robbyant, и компания не сообщала о независимом воспроизведении этих данных. Выпуск на GitHub представляет собой инференсный релиз, содержащий замороженный кодировщик и утилиты для извлечения тактильных признаков.

Китайское информационное агентство Xinhua совместно с UBTECH представило два человекоподобных робота-ведущих новостей 5 ноября. Презентация состоялась на Форуме по искусственному интеллекту и модернизации Китая в Пекине. Xinhua назвала этих роботов первыми в мире бионическими роботами своего типа.

Роботы, получившие имена Синьюй и Синьян, имеют натуральный размер и предназначены для использования в новостных программах. Во время форума один из них продемонстрировал свои возможности, представив вступительный новостной выпуск на сцене.

Главным дизайнером внешнего вида роботов выступил известный китайский кинорежиссер Чжан Имоу. Дизайн учитывал внешний вид и поведение, ожидаемые от телевизионных ведущих, а также стремление достичь естественного сходства с человеком.

Согласно заявлению Xinhua, роботы интегрированы с информационным агентом ИИ Xinhua Yudian агентства. Этот агент использует проверенную базу данных материалов агентства по новостям и общественным делам. Компания утверждает, что такая система позволяет роботам получать актуальную информацию из авторитетных источников и сохранять контроль над содержанием своих репортажей.

Компания UBTECH отвечала за разработку бионической кожи, аппаратной платформы, операционной системы и модели искусственного интеллекта, а также за производство самих роботов. Председатель UBTECH Чжоу Цзянь отметил, что технологическая система объединяет обработку информации, мимику и управление движением. Он добавил, что использование проверенных материалов должно снизить риск ошибок, связанных с генеративным искусственным интеллектом.

Xinhua подчеркнула, что роботы не заменят журналистов или редакторов. Цянь Тун, директор Центра новых медиа агентства, охарактеризовал их как новый элемент редакционной работы. Роботы будут заниматься представлением информации, трансляцией контента на разных языках и взаимодействием с аудиторией. Подготовка новостей и редакционный надзор останутся обязанностью сотрудников агентства.

Потенциальные области применения роботов включают исследовательские центры, городские визит-центры, зарубежные культурные мероприятия и освещение исследований в области глубокого космоса.

На форуме также прошла церемония подписания соглашения об учреждении базы Xinhua в сфере искусственного интеллекта в Пекине. Кроме того, был запущен исследовательский проект, направленный на изучение технологий мобильной новостной съемки и стандартов обеспечения надежности визуальных материалов.

Форум проводится в рамках седьмого Всемирного медиасаммита, который организован Xinhua в сотрудничестве с муниципальным правительством Пекина. Мероприятие продлится до 9 ноября и соберет около 500 представителей из почти 330 медиаорганизаций, аналитических центров, государственных учреждений и международных организаций из 112 стран и регионов.

Компания RoboParty выпустила RP1, гуманоидного робота, который позиционируется как полностью открытая, полнофункциональная платформа. Вместо предоставления лишь комплекта разработки (SDK) или нескольких интерфейсов программирования приложений (API), компания публикует материалы по всей цепочке разработки: от механического и электрического проектирования и собственных модулей суставов до прошивки, моделей робота, инструментов для развертывания и обучения. Описание этого проекта было представлено в виде технической документации 25 октября.

Робот RP1 имеет высоту 135 см. Открытая версия оснащена 24 активными степенями свободы, тогда как Профессиональная версия предлагает 30 степеней свободы, включая две в голове и семь в каждой руке, что подходит для более сложных исследований манипуляции. Модули головы и кистей рук могут быть заменены для использования в различных целях, таких как образование, научные исследования, сбор данных, экскурсии или развлечения. RoboParty продемонстрировала способность робота непрерывно ходить, отслеживать движения человека, восстанавливаться после толчков и подниматься после падений.

Аппаратная часть основана на ROMOMO, интегрированном модуле вращающегося сустава от RoboParty. Согласно опубликованным характеристикам, номинальный пиковый крутящий момент варьируется от 25 до 160 ньютон-метров при питании от 48В и использовании связи CAN-FD. Эти модули объединяют моторы внутреннего ротора с планетарными редукторами, что позволяет пожертвовать низкой инерцией ротора ради быстрого отклика, жесткости, устойчивости к перегрузкам и снижения стоимости. RP1 использует тазобедренный сустав, не расположенный по оси, и параллельный голеностоп, где два мотора совместно управляют тангажем и креном, а крепление с полой кабельной разводкой упрощает демонтаж суставов.

На платформе GitHub репозиторий обзора RP1 содержит ссылки на подпроекты, посвященные механическим исходным файлам, электронике, процедурам тестирования и сборки, прошивке сустава ROMOMO и хост-инструментам, а также ловкой рукой RP Hand с SDK на C++, Python и ROS 2, полному машинному тестированию и приложению контроллера. В репозитории перечислены механические CAD-модели, схемы, макеты печатных плат, файлы Gerber, спецификация материалов и документация по сборке для аппаратного обеспечения, в то время как модели URDF, MJCF и сетчатые модели доступны для симуляции. В исходной статье отмечается, что точный объем каждого выпуска следует проверять в отдельных репозиториях.

Что касается программного обеспечения, встроенный стек соединяет моторы, инерционные датчики и систему управления батареей через унифицированный интерфейс устройства, обеспечивая управление на частоте 500 Гц и обновление политик на частоте 50 Гц. Инструмент открытого типа для переназначения движений под названием hhtools отображает движения человека на робота, соблюдая ограничения суставов и контакт с землей. В рамках базовой платформы разработки PartyOS от RoboParty открыты части базового слоя движения, включая hhtools, MimicLite и UFO — проект по восстановлению после возмущений и падений. Более высокие уровни для представления намерений и оркестрации навыков агента пока остаются в стадии исследований.

RoboParty открыла набор заявок для бета-программы RP1, предназначенной для разработчиков и команд с реальными проектами, готовыми сообщать о проблемах и предоставлять обратную связь по данной платформе.