Исследователи из Университета Цинхуа, Infinigence AI и AgiBot представили подход обучения, названный Коллективное Обучение Опытом (Collective Experience Learning, или CEL). Этот метод позволяет роботам учиться на успехах других роботов, вместо того чтобы полагаться преимущественно на демонстрации со стороны человека.
Согласно сообщению, опубликованному QbitAI 30 октября, команда проверила эту методику на кластере из 96 реальных роботов. Соответствующая научная статья доступна на arXiv под номером 2610.25736.
Исходная проблема, которую решают исследователи, связана с трудовыми ресурсами. Роботы совершенствуются, накапливая практический опыт, однако сегодня это чаще всего достигается путем многократного повторения движений человеком или вмешательства оператора для исправления ошибок. Хотя роботов можно развернуть сотнями, квалифицированных операторов невозможно масштабировать в таком же темпе.
При использовании CEL успешный опыт, полученный одним роботом, сохраняется и делится, что дает возможность роботу, столкнувшемуся с задачей, изучить, как его коллеги разрешали схожие ситуации.
Тестирование задач и результаты
Команда протестировала пять различных задач, охватывающих как домашнюю, так и заводскую работу: раскладывание цветов, складывание одежды, зарядка телефона, сборка табурета и упаковка телефона. Два робота, которые не участвовали в тренировке, выполнили 600 испытаний, допустив 15 неудач, что обеспечило общий процент успеха в 97,5 процента. Процент успеха по всем пяти задачам превысил средний показатель шести человеческих операторов.
В частности, при упаковке телефона, которая является многоэтапной промышленной задачей, процент успеха вырос с 79,2 процента до 98,3 процента после применения коллективного обучения, при этом в 120 последовательных попытках было зафиксировано всего два сбоя.
Также была отмечена тенденция к масштабированию: при сохранении того же объема реального времени обучения увеличение числа участвующих роботов с 16 до 96 повысило успех с 86,7 процента до 98,3 процента.
Технические компоненты системы
Функционирование этой системы обеспечивают два ключевых элемента. Первый — отказоустойчивая асинхронная система обучения, получившая название FATS. Эта система построена на открытой платформе крупномасштабного обучения с подкреплением RLinf. Роботы загружают свой опыт сразу после завершения задачи, не дожидаясь остальных, а кластер продолжает работать, даже если устройства отключаются.
В ходе теста с 96 роботами кластер собрал 9 834 эпизода. Двадцать два робота имели в общей сложности 30 сбоев, однако потеря времени роботов составила лишь 1,3 процента от общего времени работы.
Второй компонент — алгоритм, который называется тонкая настройка извлечения опыта, управляемого ошибками (failure-guided experience retrieval fine-tuning, или FERT). Одна манипуляция может длиться минуты и включать тысячи шагов действий, но обратная связь часто сводится только к конечному успеху или неудаче. FERT использует оба этих аспекта: когда робот сталкивается с трудностями, он извлекает успешный опыт из аналогичных ситуаций и фокусирует обучение именно на этих примерах.
Сообщение было предоставлено Infinigence AI. Результаты представлены исследовательской группой и еще не прошли независимую проверку.