NaiveAI выпустила модель Naive-N0.5-Flash: 309B MoE с контекстом 1M под лицензией MIT

Исследователи LLM-Core компании Xiaomi опубликовали в статье на arXiv (2609.26368) архитектуру HySparse2. Эта технология представляет собой гибридное разреженное внимание с механизмом двухуровневого совместного использования ключей-значений (KV sharing) и разработана для работы с задачами агентов класса MiMo-V3, требующими обработки длинных горизонтов.

Официальное брендирование данной разработки включает Xiaomi, MiMo и HySparse2. Данная публикация фокусируется на исследовательской архитектуре и заявленных показателях эффективности, отличаясь от предыдущих обзоров MiMo-V2.6 с открытым весом.

HySparse2 разделяет основную часть модели на самодекодер в стиле YOCO и кросс-декодер. На внешнем уровне механизм KV Bridging соединяет только слои с полным вниманием, при этом кэши KV кросс-декодера проецируются из скрытых состояний самодекодера. На внутреннем уровне усовершенствованное повторное использование KV сохраняет совместное использование в стиле HySparse внутри каждого гибридного блока, однако оно переключается с выбора на уровне блоков на выбор на уровне токенов. Кроме того, вместо отдельной ветви скользящего окна, в разреженные выборы принудительно включается недавнее локальное окно.

Благодаря этим изменениям, этап предварительной обработки (Prefill) может завершиться после самодекодера, минуя слои кросс-декодера при построении кэша. Это особенно полезно в многоходовых агентах, где входные токены в значительной степени состоят из наблюдений инструментов.

При использовании моделей MoE размером 80B-A3B, обученных на идентичных данных и графиках, статья сообщает, что после незначительного дообучения HySparse2 повышает показатели MRCR-v2 и RULER-v2 на 11,30 и 19,81 процентных пункта соответственно, при этом поддерживает более низкие значения AgentPPL и LongPPL в пределах контекста в 256 тысяч токенов. При работе с 1 миллионом токенов анализ демонстрирует снижение FLOPs при предварительной обработке на 2,92× по сравнению с HySparse и на 5,02× по сравнению с Hybrid SWA. Также отмечается, что размер кэша FP8 KV снижается примерно до 2,69 ГБ по сравнению с 6,72 ГБ и 12,09 ГБ для указанных базовых моделей.

Анализ аблиций показывает, что выбор на уровне токенов способствует более сильному поиску при фиксированном бюджете внимания. При масштабировании до 290B-A8B, механизм KV Bridging сохраняет сравнимое качество, одновременно обеспечивая возможность раннего выхода при предварительной обработке. Для специалистов, изучающих исследования китайских LLM-систем, HySparse2 является архитектурным сигналом, стоящим за заявлениями об эффективности MiMo-V3, а не новым релизом с открытым весом.

Shanghai AI Laboratory представила свою научно ориентированную мультимодальную базовую модель Intern-S2-397B с открытыми весами на платформах Hugging Face и ModelScope. Анонс состоялся после презентации на Форуме инноваций Пуцян 13 сентября 2026 года и лабораторного брифинга 21 сентября.

Официальное английское наименование лаборатории — Shanghai AI Laboratory / Intern-S2. Этот релиз отличается от недавних публикаций лаборатории, таких как Atria Dawn, Intern Physical World Model W0 и NCP-ArchPreview, поскольку он представляет собой выпуск весов научной модели с архитектурой, а не анонс очередного агента или модели мира.

Модель Intern-S2 предназначена для выполнения научных задач с длительным горизонтом и циклов агентов. Материалы лаборатории подчеркивают наличие подключаемого Декодера Памяти (Memory Decoder), который позволяет присоединять модули предметной области без необходимости переобучения всей базовой модели. Например, использование Intern-MemDec-4B в биологических экспериментах повысило средние показатели по Биологическим Инструкциям примерно с 56.92 до 60.32, сохраняя при этом общие результаты на уровне основной модели.

На Hugging Face указано, что карта Intern-S2-397B содержит около 403 миллиардов параметров. Модель прошла визуальное предварительное обучение на страницах необработанной научной литературы, многодоменное научное обучение с подкреплением в более чем 20 областях, а также обучение с подкреплением агента с длительным горизонтом в изолированных средах. Для работы предусмотрены пути обслуживания через LMDeploy, vLLM и SGLang, а также задокументирована официальная конечная точка API Intern.

Shanghai AI Laboratory сообщает, что Intern-S2 глубоко оптимизирована совместно с вычислительным стеком Ascend от Huawei по аспектам вычислений, связи и памяти. Кроме того, модель будет интегрирована в платформу научных открытий Intern DuanYan лаборатории, которая охватывает области наук о жизни, материалов, полупроводников и смежных дисциплин. Согласно заявлениям вендора, Intern-S2 занимает первое место среди моделей с открытым исходным кодом по знаниям, коду и наборам агентов, демонстрируя сильные результаты в задачах по биологии и материаловедению; однако эти цифры пока являются данными лаборатории до проведения независимых тестов.

Для исследовательских групп конечным результатом является доступ к загружаемым весам Intern-S2-397B, сопровождаемым документацией по Декодеру Памяти и примечанием о сотрудничестве с Ascend. Таким образом, это открытая мультимодальная базовая модель, обновленная для использования сообществом, а не просто анонс, основанный на закрытом API.

Shanghai Artificial Intelligence Laboratory представила Atria Dawn Preview — агентскую языковую модель, разработанную для поддержки сложных исследовательских и инженерных процессов, а не только для демонстрационных чатов. Эта предварительная версия базируется на фундаменте Mixture-of-Experts (MoE) с 744 миллиардами параметров, который идентифицирован как GLM-5.2.

Модель обладает окном контекста размером 256K и распространяется под лицензией MIT. Чекпоинты, как стандартные инструкционные, так и квантованные в формате FP8-instruct, доступны на платформах Hugging Face и ModelScope. Кроме того, предоставляется доступ к API для пользователей в международных и китайских регионах.

Согласно документации модели и сопроводительной статье на arXiv, система обучалась с использованием Конвейера Проверяемого Опыта (Verifiable Experience Pipeline). Этот конвейер связывает рассуждения, опосредованные инструментами, с исполняемыми средами и внешне проверяемыми результатами. Основная концепция заключается в полном цикле выполнения: анализ проблемы, проектирование решения, вызов инструментов, выполнение кода и экспериментов, проверка результатов и восстановление после сбоев в рамках непрерывной обратной связи от среды, а не просто получение единичного ответа.

Лаборатория сгруппировала возможности модели для сценариев, охватывающих открытие, создание, доставку и кибербезопасность. Эти сценарии включают глубокие исследования, разработку программного обеспечения, подготовку структурированных офисных материалов и авторизованную проверку безопасности.

При оценке по 16 бенчмаркам, представленным лабораторией, Atria Dawn Preview продемонстрировала наивысший показатель по пяти задачам. Среди них — AutomationBench с результатом 53.8, BrowseComp с 92.5, DeepSearchQA с 96.0, BFCL v4 с 77.0 и CyberGym с 86.5. Остальные показатели остаются конкурентоспособными, но не являются доминирующими по сравнению с передовыми базовыми моделями агентов.

Этот релиз отличается от предыдущих разработок Shanghai AI Lab, таких как Intern W0 и связанные работы NCP. Dawn позиционируется как открытый агентский партнер для многоэтапных научных и инженерных проектов, и вместе с выпуском весов были предоставлены публичные активы на GitHub и специальный сайт проекта Atria.

Разработчики могут загрузить веса для локального использования через такие фреймворки, как SGLang и vLLM, либо использовать региональные консоли API. Клиенты в стиле Codex могут взаимодействовать с Responses API, используя настройки только текстового режима. Тем не менее, командам рекомендуется самостоятельно воспроизводить результаты AutomationBench и цепочки инструментов для долгосрочных задач, а также проверять условия лицензирования и развертывания. Важно воспринимать метку «preview» серьезно, поскольку надежность агента вне опубликованных наборов данных остается открытым вопросом, пока лаборатории продвигаются от помощников по задачам к совместной работе над проектами.