IQuest Research выпустила модель IQuest-Q1: 320B MoE для кодирования агентами с 15B активных параметров
Подробнее
Pandaily
pandaily.com

IQuest Research выпустила модель IQuest-Q1: 320B MoE для кодирования агентами с 15B активных параметров

IQuest Research открыла для общественности модель IQuest-Q1, которая представляет собой разреженную языковую модель типа 'mixture-of-experts' (MoE), разработанную для задач кодирования, рассуждений и многоэтапного использования инструментов в рамках работы агентов. Общий объем параметров модели составляет около 320 миллиардов, при этом на каждый токен активируется примерно 15 миллиардов параметров.

Веса и карточка модели были опубликованы на платформе Hugging Face в организации IQuestLab 28 сентября, а код для инференса доступен на GitHub под специальной лицензией IQuest-Q1. Команда позиционирует IQuest-Q1 как фундаментальную модель для систем командной строки агентов.

Технические характеристики и обучение

Согласно карточке модели, IQuest-Q1 имеет 88 слоев трансформера, 256 экспертов, из которых восемь активируются на токен. Модель использует гибридный паттерн внимания, сочетающий три слоя со скользящим окном и один слой с полным вниманием, а также поддерживает контекстное окно размером 524 288 токенов. Для многотокеновой предсказания предусмотрены слои, поддерживающие спекулятивное декодирование.

IQuest рекомендует использовать модель с SGLang или vLLM на восьми графических процессорах (GPU) и запускать ее внутри таких сред, как Claude Code или Codex. Процесс предварительного и промежуточного обучения включал смещение данных в сторону кода и STEM-дисциплин, а также добавление траекторий агентов с более длинным контекстом, после чего последовало три этапа, ориентированных на работу агентов.

IQuest синтезировала задачи вместе с их средами, включая реальные API, серверы MCP и исполняемые репозитории, обучив одну политику на множестве сред. Методы обучения с подкреплением позволили создать четыре экспертные модели для различных сценариев — пользовательского опыта агента, работы в нескольких средах, задач с большим горизонтом и общей работы агента. Эти модели затем были объединены в единого студента посредством многоучительской дистилляции по политике.

Результаты тестирования

При тестировании на опубликованных бенчмарках IQuest-Q1 продемонстрировала следующие результаты: 64.6 на DeepSWE v1.1, 63.0 на NL2Repo, 84.5 на CyberGym, 83.2 на Terminal-Bench 2.1, 55.7 на JobBench и 29.6 на Agents' Last Exam. Сравнительная таблица показывает, что модель превосходит GLM-5.3 и DeepSeek-V4-Pro на NL2Repo, однако уступает DeepSeek-V4.1-Flash на тестах DeepSWE и CyberGym. Результаты других моделей представлены публично, где это возможно.

IQuest также подчеркнула, что модель проходила разработку под человеческим контролем. В одном случае, описанном в блоге IQuest, IQuest-Q1, работающая в Claude Code, обнаружила, что замедление кривой вознаграждения было вызвано лишним пробелом, введенным при декодировании текста, что привело к тому, что в функции потерь обучения остался только последний ход многоходовых траекторий. После устранения этой ошибки среднее вознаграждение восстановилось. Исследователи сохраняли контроль над направлением исследований, дорогостоящими экспериментами и выбором версий для внедрения. Команда предупреждает, что модель является текстовой, находится на ранней стадии и требует постоянного контроля человека при выполнении реальных задач в командной строке.

Похожие сюжеты

StepFun выпустила предварительную версию модели Step 5: агент с 600 млрд параметров и открытые веса ожидаются 15 октября
Подробнее
pandaily.com

StepFun выпустила предварительную версию модели Step 5: агент с 600 млрд параметров и открытые веса ожидаются 15 октября

StepFun представила предварительную версию Step 5 20 сентября 2026 года как свою следующую флагманскую базовую модель, предназначенную для работы агентов с длинным горизонтом, согласно информации от Tencent Tech, карточек моделей DataLearner и материалов компании, доступных на stepfun.com. Официальное английское наименование модели — StepFun / Step 5.

Важно отметить, что хотя идентификатор модели step-5-preview уже доступен через API продукта и открытую платформу StepFun, открытые веса в формате BF16 запланированы только на 15 октября 2026 года и не были доступны на момент запуска. Следовательно, доступность через API и открытость весов следует рассматривать как отдельные моменты.

Архитектура модели представляет собой разреженную смесь экспертов (MoE) с общим количеством параметров около 600 миллиардов. При этом примерно 27 миллиардов параметров активируются на каждый токен в рамках 92-слойного Трансформера типа «узкий и глубокий». Выбор глубины обусловлен потребностями агентов, поскольку более длинные пути информации через слои способствуют улучшению многошагового неявного рассуждения и обработки длинных результатов инструментов.

Модель поддерживает контекстное окно в один миллион токенов, принимая как текстовый, так и графический ввод (хотя видеоввод упоминается на сторонних карточках). Она ориентирована на применение в области ИИ-кодирования, разработки программного обеспечения, финансового анализа и использования профессиональных агентов. Для поддержания практичности внимания на миллион токенов, было применено разреженное GQA в сочетании с блочным объединением токенов, что снижает стоимость индексатора и выбора топ-k примерно до одной восьмой.

В процессе обучения особое внимание уделялось выравниванию битового уровня между обучением и выводом для обеспечения стабильности маршрутизации MoE, а также использовались планирование с учетом нагрузки, спекулятивное декодирование и пути FP8. StepFun утверждает, что эти методы ускоряют процесс обучения с подкреплением (RL) с длинным горизонтом в целом более чем в три раза.

Согласно данным, композитный индекс искусственного анализа от Artificial Analysis составляет 44 балла. Компания размещает эту оценку среди ведущих моделей, ориентированных на открытый доступ. На агрегаторных карточках также указаны цены API: около 1,00 доллара за входной токен и 2,70 доллара за выходной токен на миллион токенов, однако следует рассматривать сравнения по показателям и стоимости как заявления третьих сторон или поставщиков.

До даты 15 октября Step 5 Preview следует воспринимать прежде всего как действующий API для агентов с длинным горизонтом, имеющий лишь запланированное обязательство по открытым весам, а не как релиз весов на Hugging Face или как взаимозаменяемый продукт с Meituan LongCat, MiniMax Code Flash или NaiveAI OSS MoE.

Shanghai AI Lab выпустила научную мультимодальную модель Intern-S2-397B с декодером памяти
Подробнее
pandaily.com

Shanghai AI Lab выпустила научную мультимодальную модель Intern-S2-397B с декодером памяти

Shanghai AI Laboratory представила свою научно ориентированную мультимодальную базовую модель Intern-S2-397B с открытыми весами на платформах Hugging Face и ModelScope. Анонс состоялся после презентации на Форуме инноваций Пуцян 13 сентября 2026 года и лабораторного брифинга 21 сентября.

Официальное английское наименование лаборатории — Shanghai AI Laboratory / Intern-S2. Этот релиз отличается от недавних публикаций лаборатории, таких как Atria Dawn, Intern Physical World Model W0 и NCP-ArchPreview, поскольку он представляет собой выпуск весов научной модели с архитектурой, а не анонс очередного агента или модели мира.

Модель Intern-S2 предназначена для выполнения научных задач с длительным горизонтом и циклов агентов. Материалы лаборатории подчеркивают наличие подключаемого Декодера Памяти (Memory Decoder), который позволяет присоединять модули предметной области без необходимости переобучения всей базовой модели. Например, использование Intern-MemDec-4B в биологических экспериментах повысило средние показатели по Биологическим Инструкциям примерно с 56.92 до 60.32, сохраняя при этом общие результаты на уровне основной модели.

На Hugging Face указано, что карта Intern-S2-397B содержит около 403 миллиардов параметров. Модель прошла визуальное предварительное обучение на страницах необработанной научной литературы, многодоменное научное обучение с подкреплением в более чем 20 областях, а также обучение с подкреплением агента с длительным горизонтом в изолированных средах. Для работы предусмотрены пути обслуживания через LMDeploy, vLLM и SGLang, а также задокументирована официальная конечная точка API Intern.

Shanghai AI Laboratory сообщает, что Intern-S2 глубоко оптимизирована совместно с вычислительным стеком Ascend от Huawei по аспектам вычислений, связи и памяти. Кроме того, модель будет интегрирована в платформу научных открытий Intern DuanYan лаборатории, которая охватывает области наук о жизни, материалов, полупроводников и смежных дисциплин. Согласно заявлениям вендора, Intern-S2 занимает первое место среди моделей с открытым исходным кодом по знаниям, коду и наборам агентов, демонстрируя сильные результаты в задачах по биологии и материаловедению; однако эти цифры пока являются данными лаборатории до проведения независимых тестов.

Для исследовательских групп конечным результатом является доступ к загружаемым весам Intern-S2-397B, сопровождаемым документацией по Декодеру Памяти и примечанием о сотрудничестве с Ascend. Таким образом, это открытая мультимодальная базовая модель, обновленная для использования сообществом, а не просто анонс, основанный на закрытом API.

Популярное