Исследовательская группа miHoYo описала систему Gamer — фреймворк, основанный на зрении, языке и действиях (vision-language-action), который преобразует наблюдения с экрана и инструкции в команды для клавиатуры и мыши. Детали этой работы были представлены в китайском аккаунте 21 ноября; сопроводительный препринт был впервые загружен 13 ноября и отредактирован 18 ноября.
Основная экспериментальная модель базируется на Qwen3-VL-8B. Она использует скриншоты, информацию о задаче, историю наблюдений и память для принятия решений о действиях, при этом не полагаясь на внутренние игровые интерфейсы. Проект рассматривает взаимодействие как общий формат действий, охватывающий как стандартные графические интерфейсы, так и более сложные трехмерные игровые среды.
Обучение осуществляется посредством продолженного предварительного обучения на траекториях игрового взаимодействия, настройки по инструкциям и онлайн-обучения с подкреплением. Авторы разработали механизмы разреженного рассуждения и обобщения памяти, чтобы сохранять прогресс задачи, когда предыдущие взаимодействия покидают активный контекст, вместо того чтобы постоянно обрабатывать бесконечно растущий диалог.
Команда сообщила об автономной работе более чем в 95% случаев в ходе оценки продолжительностью около 50 часов, которая охватила пять глав основной истории игры Honkai: Star Rail. Важно отметить, что это показатель времени автономной работы, заявленный авторами, а не утверждение о том, что 95% всех задач в любой игре были выполнены идеально или что вмешательство человека было полностью исключено.
В статье также оцениваются отдельные побочные квесты в игре, с которой модель уже сталкивалась. Была достигнута точность 80.0% и 83.6% при выполнении задач в двух таких квестах. Эти показатели, основанные на достижении контрольных точек, не следует путать с непрерывными показателями завершения квестов от начала до конца или переносом задачи на невиданную игру без предварительного обучения.
Для обеспечения взаимодействия в реальном времени проект описывает облачно-периферийную систему обслуживания под названием Streaming-vLLM, которая включает постоянное кэширование и раннюю отправку действий. Цель этой архитектуры — поддерживать отзывчивость параллельных прогонов и развертывания, однако она не гарантирует, что вся исследовательская система работает локально на обычном игровом компьютере.
На странице проекта указано, что были выпущены контрольные точки, использовавшиеся в исследовании масштабирования продолженного предварительного обучения, тогда как данные и контрольные точки Honkai: Star Rail, обученные или донастроенные на этих данных, остаются закрытыми по соображениям безопасности данных. Следовательно, общедоступные исследовательские артефакты не следует рассматривать как полный загружаемый вариант продемонстрированной системы игры.
Подчеркивается, что это исследовательский проект, а не анонсированный потребительский игровой бот или разрешение на автоматизацию коммерческих игровых аккаунтов. Показатели производительности остаются оценками авторов, и цитируемый материал не устанавливает независимого воспроизведения этих результатов.



