Агент Xiaowei от WeChat работает на модели WeLM, которая использует разреженную архитектуру MoE и достигла 617 миллиардов параметров

Развитие кодирования и возможностей агентов за последний год существенно изменило рейтинги моделей. Поскольку агенты берут на себя более длинные цепочки задач, все более универсальные модели начинают соответствовать возможностям нативной мультимодальности.

Согласно отчету 36Kr, наблюдается расхождение: Moonshot AI Kimi K3, Alibaba Qwen3.8-Max и ByteDance Doubao-Seed-2.1 приняли решение о нативном мультимодальном обучении. В противоположность этому, DeepSeek, Zhipu и Tencent Hunyuan сохраняют текстовый формат в своих последних универсальных базах.

Лиан Вэньфэн отметил, что для качественного обучения ИИ не обязательно наличие мировой модели или мультимодальности, однако признал, что мультимодальность в конечном итоге необходима. Компании согласны с долгосрочной ценностью этого подхода, но расходятся во мнениях относительно сроков и затрат. В фазе быстрого совершенствования кодирования, выбор между синхронным обучением зрения и определением объема инвестиций в модель, данные и вычислительные мощности формирует технологический путь ведущих китайских моделей.

Причина, по которой важна нативная мультимодальность, кроется в том, как долго могут рассуждать агенты. При выполнении задач с длинной последовательностью, если обратная связь поступает только на уровне кода, ошибки могут накапливаться, что приводит к очень плохим конечным результатам. Зрение предоставляет гораздо более точный сигнал обратной связи.

Когда агенты генерируют веб-страницы, управляют программным обеспечением и проверяют результаты выполнения, зрение трансформируется из простого входного параметра, предоставляемого пользователем, в механизм обратной связи, который модель использует для самопроверки и корректировки действий. После выпуска Kimi K3 заняла первое место в рейтинге Arena Frontend Code с показателем 1679 баллов. Этот рейтинг оценивает не только работоспособность кода, но и корректность отображения страницы.

На платформе браузера Puter были внесены пять визуальных отклонений в тестовые страницы; Kimi K3 сравнила целевую страницу с скриншотом работающей страницы и обнаружила все пять без ложных срабатываний. Moonshot AI называет этот метод «зрение в цикле»: модель пишет код, просматривает страницу, а затем продолжает корректировку на основе визуальных данных.

Сторонники внешних визуальных инструментов утверждают, что системы могут вызывать OCR или независимую VLM через агентский фреймворк или MCP, преобразуя изображения в текст или координаты перед передачей текстовой модели. Однако этот модульный подход имеет ограничения. Если вызывается инструмент, остаются две модели: одна LLM, которая не видит, и вспомогательная модель, способная видеть.

Внутренние нативные мультимодальные модели обладают более широким каналом связи между визуальным вводом и языковым ядром, вместо того чтобы сначала сжимать изображение в текст, а затем передавать его другой модели. Это различие проявляется и после обучения. Если модель способна сделать это самостоятельно, результат будет лучше. В задачах с длинной цепочкой, требующих многократного просмотра экрана, это различие становится более очевидным. Без нативной мультимодальности у модели нет глаз, и обратная связь ограничивается текстом. Многие пользовательские результаты являются визуальными: веб-страницы, изображения, видео. Модель должна понимать эти результаты и давать себе обратную связь.