Компания Alibaba Qwen выпустила Qwen-UI-Agent 20 августа. Эта модель представляет собой агент на основе графического интерфейса (GUI), который охватывает работу на телефонах, настольных компьютерах, в вебе и при глубоком поиске. Основная идея модели заключается в понимании пользовательского интерфейса, имитации человеческих действий, таких как клики, ввод данных и свайпы, чтобы выполнять задачи.
Поскольку большинство программного обеспечения не предусматривает открытие API, графический интерфейс рассматривается как наиболее универсальный вход. Qwen-UI-Agent делает ставку на то, что экран является самым крупным интерфейсом, выступая универсальным исполнителем, который использует одну модель для четырех различных сред.
Ключевой сложностью для этой модели является работа с реальными устройствами, поскольку многие GUI-агенты обучаются в симуляторах и демонстрируют сбои на настоящем оборудовании. Alibaba разработала мобильную среду, включающую более 100 реальных телефонов и свыше 150 приложений, для обучения и оценки на физических устройствах, а также создала бенчмарк из 400 задач под названием MobileWorld-Real.
На мобильных устройствах MobileWorld показал результат в 82,1 процента, превзойдя такие модели, как GPT-5.6 Sol, Claude Opus 4.8 и Seed 2.1 Pro. MobileWorld-Real продемонстрировал лучшие результаты среди флагманских устройств, включая Gemini 3.1 Pro, а AndroidDaily достиг 97,5 процента. На настольных компьютерах OSWorld-Verified получил 79,5 процента, а в браузере WebArena занял первое место с показателем 73,6 процента; при использовании OSWorld-v2 количество шагов выполнения было сокращено на 58 процентов. Демонстрации показали возможность поиска через Amap, составления резюме из Xiaohongshu и бронирования в DingTalk в пяти или шести приложениях.
Модель, которая взаимодействует с экранами, сталкивается с более серьезными проблемами безопасности, чем с проблемами производительности. Qwen-UI-Agent интегрирует оценку безопасности непосредственно в процесс выполнения задачи: при получении незаконных или высокорискованных запросов агент отказывается от операции, завершая работу. При столкновении с конфиденциальными сценариями, такими как отправка красных конвертов, удаление файлов или запрос на авторизацию конфиденциальности, он останавливается и ожидает подтверждения. Например, при задании «отправить маме 500 юаней через Alipay», агент заполняет сумму и примечание, после чего останавливается на этапе оплаты для получения подтверждения. Если отсутствуют такие детали, как даты полета или класс салона, он сначала запрашивает эту информацию.
Пространство действий модели является смешанным: помимо GUI, она способна выполнять команды командной строки (CLI), причем действия CLI составляют почти половину всех действий на рабочем столе. В рамках задачи, состоящей из 170 шагов, агент проверил финансовые данные, запустил аналитические скрипты, создал отчеты в форматах Excel, PPT и Word, а также скорректировал макет с помощью визуальной проверки. При этом GUI отвечал за получение информации из веба, а CLI — за анализ. Обучение проводится агрессивно: онлайн-обучение с подкреплением поддерживает траектории длиной более 100 шагов с использованием около 10 000 параллельных сред. Агент также предлагает проактивные услуги: например, при уведомлении об отмене рейса он предлагает план перебронирования, а задачи могут передаваться между телефоном и настольным компьютером, например, получение чека из фотобиблиотеки и последующее создание сводной таблицы в Excel на рабочем столе. Таким образом, агент переходит от ожидания инструкций к заботе о пользователе.
Мир за пределами API значительно обширнее мира внутри них. Qwen-UI-Agent выбрал прямой подход: не стремиться изменить мир, а научиться использовать его в существующем виде, при этом технический отчет, страница проекта и код были опубликованы. Для рядовых пользователей актуальным вопросом остается, когда эти возможности будут интегрированы в повседневные телефонные помощники для решения тривиальных и сложных задач.