Компания PHANES AI выпустила SeePhys Hub — комплексная система сбора мультимодальных данных, предназначенная для преобразования повседневной человеческой активности в обучающие данные для роботов. Согласно сообщению QbitAI, запуск, состоявшийся 14 октября, стал результатом совместной работы с Tinno Mobile, которая внесла свой опыт в области контроля затрат, цепочки поставок и обеспечения качества, в то время как PHANES AI сосредоточилась на разработке алгоритмов и дизайне продукта.
Комплект включает в себя четыре камеры, закрепленные на повязке для головы, два браслета для запястий, три трекера движения, которые крепятся на талии и голенях, а также пару тактильных перчаток. Эти компоненты совместно фиксируют видение от первого лица с круговым обзором в 360 градусов, позу рук и высокоплотное тактильное воздействие, а также позу и силу всего тела.
Основной аргумент компании заключается в том, что эгоцентричные данные, получаемые с камер, установленных на голове, стали важным источником для обучения роботов благодаря их простоте масштабирования. Однако такие данные часто не отражают все действия тела. Камера, расположенная на уровне глаз, видит руки, но нередко пропускает локти или ноги, а также не фиксирует, с какой силой человек давит на объект. Задачи, требующие ходьбы, наклонов и координации двух рук, нуждаются в этой недостающей информации.
SeePhys Hub использует подход разреженных узлов. Три трекера объединяют сигналы движения IMU с данными о дальности, полученными с помощью UWB между узлами, и алгоритмы интегрируют эти данные с визуальной информацией с головы и запястий для оценки позы всего тела. Повязка для головы весит не более 220 граммов, а каждый браслет — не более 75 граммов; оба устройства способны непрерывно работать в течение 24 часов. Синхронизационная ошибка между камерами повязки, IMU и UWB составляет менее 0,5 миллисекунды.
Перчатки являются опциональным элементом. Основатель и генеральный директор Ян Шуо сообщил, что операторы по сбору данных просили команду не оснащать работников перчатками, поскольку они могут мешать выполнению деликатных задач, таких как мытье посуды, и вносить шум от датчиков. Клиенты могут выбирать конфигурации в зависимости от конкретной задачи, а команда занимается исследованием методов оценки тактильного воздействия на основе видеоданных.
Сопутствующая платформа отвечает за парсинг, очистку, сегментацию и семантическую разметку данных, а также обеспечивает связь с реконструкцией сцены, оценкой позы, отслеживанием рук и переносом движений на тела роботов. Ян, который в возрасте 26 лет стал профессором в Харбинском технологическом институте (Шэньчжэнь), описал устройство как средство для работы со средним уровнем данных, находящимся между видеоинтернетом и высокоточными системами захвата движения или данными реальных роботов.