O desenvolvimento de codificação e capacidades de agentes mudou significativamente os rankings de modelos no último ano. Como os agentes assumem cadeias de tarefas mais longas, modelos cada vez mais versáteis estão começando a corresponder às capacidades de multimodalidade nativa.
De acordo com um relatório da 36Kr, há uma divergência: Moonshot AI Kimi K3, Alibaba Qwen3.8-Max e ByteDance Doubao-Seed-2.1 decidiram adotar o treinamento multimodal nativo. Em contraste, DeepSeek, Zhipu e Tencent Hunyuan mantêm o formato de texto em seus últimos modelos universais.
Lian Wenfeng observou que para um treinamento de IA de qualidade, não é estritamente necessário ter um modelo global ou multimodalidade, mas reconheceu que a multimodalidade é, em última análise, necessária. As empresas concordam com o valor de longo prazo dessa abordagem, mas divergem sobre prazos e custos. Na fase de rápido aprimoramento da codificação, a escolha entre o treinamento síncrono de visão e a determinação do volume de investimento em modelo, dados e capacidade computacional define o caminho tecnológico dos principais modelos chineses.
A razão pela qual a multimodalidade nativa é importante reside na duração do raciocínio dos agentes. Ao executar tarefas com sequências longas, se o feedback for fornecido apenas no nível do código, os erros podem se acumular, levando a resultados finais muito ruins. A visão fornece um sinal de feedback muito mais preciso.
Quando os agentes geram páginas da web, controlam software e verificam os resultados da execução, a visão se transforma de um simples parâmetro de entrada fornecido pelo usuário em um mecanismo de feedback que o modelo usa para autoavaliação e correção de ações. Após o lançamento do Kimi K3, ele alcançou o primeiro lugar no ranking Arena Frontend Code com uma pontuação de 1679 pontos. Este ranking avalia não apenas a funcionalidade do código, mas também a correção da exibição da página.
Na plataforma de navegador Puter, cinco desvios visuais foram introduzidos nas páginas de teste; o Kimi K3 comparou a página alvo com um screenshot da página em funcionamento e detectou todos os cinco sem falsos positivos. A Moonshot AI chama este método de 'visão em ciclo': o modelo escreve o código, visualiza a página e, em seguida, continua a correção com base nos dados visuais.
Defensores de ferramentas visuais externas argumentam que os sistemas podem chamar OCR ou VLM independente através de um framework de agente ou MCP, convertendo imagens em texto ou coordenadas antes de passá-las ao modelo de texto. No entanto, essa abordagem modular tem limitações. Se uma ferramenta for chamada, restam dois modelos: um LLM que não vê e um modelo auxiliar capaz de ver.
Modelos multimodais nativos internos possuem um canal de comunicação mais amplo entre a entrada visual e o núcleo linguístico, em vez de comprimir primeiro a imagem em texto e depois passá-la para outro modelo. Essa diferença se manifesta mesmo após o treinamento. Se o modelo for capaz de fazer isso sozinho, o resultado será melhor. Em tarefas de longa cadeia que exigem múltiplas visualizações de tela, essa diferença torna-se mais evidente. Sem multimodalidade nativa, o modelo não tem olhos, e o feedback é limitado ao texto. Muitos resultados de usuários são visuais: páginas da web, imagens, vídeos. O modelo deve entender esses resultados e fornecer feedback a si mesmo.
