Академия Чжунгуаньцунь и Институт искусственного интеллекта Чжунгуаньцунь выпустили модель ZGCM-1-7B. Эта полностью открытая плотная модель с 7,39 миллиардами параметров предназначена для задач математического рассуждения и агентского поиска с использованием инструментов.
Веса, обучающие данные и код обучения доступны под лицензией MIT на платформах Hugging Face и GitHub, а подробный технический отчет опубликован на arXiv.
Модель использует гибридную архитектуру внимания, состоящую из 27 слоев с ограниченным скользящим окном и пяти глобальных слоев. Она поддерживает контекстное окно размером 256 тысяч токенов и имеет режимы как прямого ответа, так и мышления в одном чекпоинте.
На этапе предварительного обучения было использовано около 4,19 триллиона токенов с применением гибридной точности FP8 и оптимизации Muon. В ходе промежуточного обучения контекст расширили с 16 тысяч до 64 тысяч, а затем до 256 тысяч, используя примерно 600 миллиардов токенов. При этом траектории взаимодействия были преобразованы в переходы состояния-действия MDP.
Супервизируемая тонкая настройка объединила общие и агентские траектории, включая использование инструментов, проверенное выполнением, и потерю, ориентированную только на ассистента.
В режиме мышления модель продемонстрировала результаты около 97,13% на MATH-500, 75,00% на AIME 2026 и 70,42% на HMMT 2025. Эти показатели обеспечили лучший средний ранг среди семи сравниваемых моделей с 7–8 миллиардами параметров по четырнадцати бенчмаркам рассуждений, согласно отчету.
В задачах агентского поиска ZGCM-1 достигла около 63,09% на WebWalkerQA при использовании веб-поиска и чтения страниц, 19,43% на BrowseComp и 62,00% на Binary Function Search с использованием инструментов Ghidra.
Эксперименты с архитектурой показывают, что при контексте 256K пропускная способность обучения примерно в 3,94 раза выше, чем при полном внимании. Кроме того, благодаря сочетанию архитектуры, точности, оптимизатора и выбора нормализации, время от начала предварительного обучения до получения потерь на 16K сократилось примерно в 4,2 раза.
Для быстрого старта требуется файл trust_remote_code для пользовательских файлов моделирования. Команда также публикует конфигурации для различных этапов: обработки данных, предварительного обучения, промежуточного обучения, SFT и RL. Сообщается, что в курировании данных и оценке участвовали ИИ-агенты, управляемые исследователями. Для лабораторий, работающих с открытыми весами, ZGCM-1 представляет собой не столько новизну чата, сколько компактную базовую модель для математики и поиска с прозрачным сквозным конвейером под брендом ZGCM.