Компания PHANES AI, основанная профессором Яном Шуо из Харбинского института технологий Шэньчжэнь, выпустила TouchWorld — предиктивную и реактивную тактильную базовую модель. Эта модель предоставляет роботам способность ощущать прикосновения, что позволяет им выполнять сложные физические задачи с высокой точностью.
Работа PHANES AI устраняет критический пробел в существующих моделях типа VLA (vision-language-action). Эти модели способны распознавать визуально, контактирует ли палец робота с кнопкой, однако они не могут определить, была ли эта кнопка фактически нажата.
TouchWorld наделяет тактильное зондирование двойной функцией в управлении роботами. Во-первых, это предиктивная функция: перед выполнением какого-либо действия модель прогнозирует не только внешний вид сцены после завершения подзадачи, но и соответствующую тактильную карту. Эта карта указывает, какой пальцем должно ощущаться давление, где должен произойти контакт и с какой интенсивностью. Таким образом, робот получает физическую целевую точку, которую невозможно проверить только с помощью зрения.
Во-вторых, это реактивная функция: после установления контакта модель непрерывно анализирует тактильные сигналы и состояние суставов. Это позволяет применять микрокоррекции для настройки положения пальца, силы захвата и угла запястья в режиме реального времени, не требуя при этом от высокоуровневой политики повторного планирования.
При тестировании на реальных роботах в рамках шести различных задач — полив растений, уборка стола, вставка вилки, вставка чашки, чистка сковороды и извлечение салфеток — TouchWorld продемонстрировала средний показатель успеха в 65,0% в невозмущенных условиях. При наличии возмущений, включая движение цели и помехи захвату, процент успеха составил 57,2%, что превышает показатели сильнейшего базового уровня на 15,7 и 16,0 процентных пунктов соответственно. Каждая задача проходила обучение на 200 траекториях телеоперации и оценивалась в ходе 100 испытаний на реальных роботах.
Компания утверждает, что тактильная обратная связь нельзя просто добавить как еще одну модальность данных в существующие VLA-модели. Тактильные данные принципиально отличаются от визуальных по плотности информации, таймингу и скорости обработки. Если подавать их в ту же модель, тактильные сигналы могут быть подавлены визуальной информацией. Вместо этого TouchWorld использует отдельную архитектуру, где тактическое прогнозирование и реакция работают параллельно с конвейером VLA, а не внутри него. Это дает модели возможность как предвидеть результаты физического контакта, так и реагировать на неожиданные взаимодействия с необходимой скоростью для манипуляций в реальном мире.
Роботы в настоящее время способны с высокой точностью анализировать окружающую среду с помощью камер и других визуальных датчиков, однако им все еще трудно воспроизвести ощущение человеческого осязания. Исследование, опубликованное в журнале Science Advances, предлагает решение этой проблемы путем разработки мягкого материала, который меняет цвет при нажатии, позволяя машинам обнаруживать прикосновения в режиме реального времени без необходимости сложной обработки данных.
Исследователи, возглавляемые Джакомо Сассо, постдокторантом из Queen Mary University of London (QMUL), утверждают, что данная технология напрямую преобразует приложенное давление в цветовой паттерн, обеспечивая быстрые и детальные считывания. Эта разработка открывает перспективы для использования в хирургии, протезировании и высокоточной обработке, где малейшие изменения силы имеют значение.
Функционирование этого материала не зависит от пигментов или красителей. Изменение цвета происходит благодаря микроскопической структуре самого материала — явлению, известному в физике как структурный цвет. Внутри листа расположены слои, организованные в структуры мельче толщины волоса, которые отражают определенные длины волн света. При приложении давления эти слои сближаются, изменяя отражаемый цвет в данной точке.
Эта особенность позволяет немедленно визуализировать приложенное давление на поверхности без необходимости реконструкции данных программным обеспечением, что обычно вызывает задержку в работе традиционных датчиков. Для интерпретации прикосновений ученые использовали недорогую USB-камеру, установленную под материалом. Система постоянно фиксирует изменения цвета и формирует карту давления в реальном времени, позволяя роботам быстро и детально воспринимать осязание.
В ходе испытаний система смогла воспроизвести очень тонкие детали, например, рельеф монеты. В другом эксперименте поверхность четко зарегистрировала гребни отпечатка пальца — уровень детализации, которого предыдущие датчики не достигали. Сассо заявил в интервью Earth.com: «Мы не просто обнаруживаем прикосновение; мы визуализируем его динамику». Он уточнил, что технология не только фиксирует контакт, но и позволяет наблюдать его динамику в процессе.
Традиционные системы тактильной обратной связи, основанные на зрении, регистрируют деформацию мягкого геля и используют алгоритмы для восстановления формы и интенсивности контакта. Этот процесс требует значительных вычислительных мощностей и может увеличивать время отклика. Новая методика устраняет эту необходимость, поскольку сама поверхность предоставляет всю необходимую информацию через цвета, исключая последующую реконструкцию данных, что делает тактильность роботов более быстрой и эффективной.
По словам Сассо, такой подход приближает концепцию встроенного интеллекта, при котором способность к обнаружению становится частью самого материала, упрощая работу системы.
Исследователи указывают, что одной из наиболее многообещающих областей применения являются роботизированные захваты, используемые для манипулирования мелкими и хрупкими объектами. Сенсор мог бы немедленно сигнализировать о том, что приложенная сила приближается к пределу, способному повредить компонент. В медицине материал также может повысить чувствительность протезов к прикосновению и предоставить дополнительную информацию для хирургических инструментов. Авторы отмечают, что тонкие различия в жесткости между здоровыми тканями и потенциальной опухолью могут быть преобразованы в видимые изменения цвета во время процедуры.
Несмотря на достигнутые результаты, Сассо подчеркивает, что технология находится на начальной стадии. Он отметил в интервью Earth.com: «Конечно, это все еще прототип, поэтому предстоит большая инженерная работа, прежде чем мы сможем думать о коммерческом или клиническом применении». По его словам, необходимо разработать инженерные решения, прежде чем материал сможет выйти на рынок или использоваться в медицинских условиях.
