A Alibaba Qwen lançou o Qwen-UI-Agent em 20 de agosto. Este modelo é um agente baseado em interface gráfica do usuário (GUI) que abrange o funcionamento em telefones, computadores de mesa, web e pesquisa profunda. A ideia principal do modelo é entender a interface do usuário, imitar ações humanas, como cliques, entrada de dados e deslizes, para executar tarefas.
Como a maioria dos softwares não prevê a abertura de APIs, a interface gráfica é considerada a entrada mais universal. O Qwen-UI-Agent aposta no fato de que a tela é a interface mais ampla, atuando como um executor universal que utiliza um único modelo para quatro ambientes diferentes.
A principal dificuldade para este modelo é trabalhar com dispositivos reais, pois muitos agentes GUI são treinados em simuladores e apresentam falhas em hardware real. A Alibaba desenvolveu um ambiente móvel que inclui mais de 100 telefones reais e mais de 150 aplicativos para treinamento e avaliação em dispositivos físicos, além de criar um benchmark de 400 tarefas chamado MobileWorld-Real.
Em dispositivos móveis, o MobileWorld alcançou 82,1%, superando modelos como GPT-5.6 Sol, Claude Opus 4.8 e Seed 2.1 Pro. O MobileWorld-Real demonstrou os melhores resultados entre os dispositivos topo de linha, incluindo Gemini 3.1 Pro, e o AndroidDaily atingiu 97,5%. Em computadores de mesa, o OSWorld-Verified obteve 79,5%, e no navegador, o WebArena ficou em primeiro lugar com 73,6%; ao usar o OSWorld-v2, o número de passos de execução foi reduzido em 58%. As demonstrações mostraram a capacidade de busca via Amap, resumo do Xiaohongshu e reserva no DingTalk em cinco ou seis aplicativos.
O modelo que interage com telas enfrenta problemas de segurança mais sérios do que problemas de desempenho. O Qwen-UI-Agent integra a avaliação de segurança diretamente no processo de execução da tarefa: ao receber solicitações ilegais ou de alto risco, o agente recusa a operação, encerrando o trabalho. Ao encontrar cenários confidenciais, como envio de envelopes vermelhos, exclusão de arquivos ou solicitação de autorização de privacidade, ele para e aguarda confirmação. Por exemplo, ao ser solicitado a 'enviar 500 yuans para a mãe via Alipay', o agente preenche o valor e a nota, depois para na etapa de pagamento para obter confirmação. Se detalhes como datas de voo ou classe de cabine estiverem ausentes, ele solicita essas informações primeiro.
O espaço de ação do modelo é misto: além da GUI, ele é capaz de executar comandos de linha de comando (CLI), sendo que as ações CLI representam quase metade de todas as ações na área de trabalho. Em uma tarefa de 170 etapas, o agente verificou dados financeiros, executou scripts analíticos, criou relatórios em formatos Excel, PPT e Word e ajustou layouts por meio de verificação visual. Enquanto isso, a GUI era responsável por obter informações da web, e o CLI, pela análise. O treinamento é agressivo: o aprendizado por reforço online suporta trajetórias de mais de 100 etapas usando cerca de 10.000 ambientes paralelos. O agente também oferece serviços proativos: por exemplo, ao ser notificado sobre o cancelamento de um voo, ele sugere um plano de remarcação, e as tarefas podem ser transferidas entre telefone e computador de mesa, como obter um recibo da biblioteca de fotos e, em seguida, criar uma tabela dinâmica no Excel no desktop. Assim, o agente passa de esperar instruções para cuidar do usuário.
O mundo fora das APIs é significativamente maior do que o mundo dentro delas. O Qwen-UI-Agent optou por uma abordagem direta: não tentar mudar o mundo, mas aprender a usá-lo em sua forma existente, sendo que o relatório técnico, a página do projeto e o código foram publicados. Para os usuários comuns, a questão relevante permanece sendo quando esses recursos serão integrados aos assistentes de telefone diários para resolver tarefas triviais e complexas.