Компания Huawei открыла исходный код для процессов предварительного обучения (pretraining), контролируемой тонкой настройки (SFT) и обучения с подкреплением (RL) для модели openPangu-2.0. Этот релиз состоялся 28 сентября 2026 года, согласно информации от TMT Post и освещению, связанному со стеком обучения, оптимизированным для Ascend.
Официальное брендирование используется как Huawei / openPangu. Ранее уже были выпущены веса моделей openPangu-2.0-Pro и openPangu-2.0-Flash на платформе Hugging Face; однако текущий выпуск касается именно пути тренировочного кода, который лежит в основе этих моделей MoE, обученных на Ascend, а не выпуска новых параметров.
Карточки моделей на Hugging Face описывают openPangu как бренд открытых моделей искусственного интеллекта от Huawei, предназначенных для обучения и инференса на Ascend. Модель openPangu-2.0-Pro представлена примерно 505 миллиардами общих параметров с около 18 миллиардами активных на токен, окном контекста 512K и бюджетом обучения около 34 триллионов токенов. Модель openPangu-2.0-Flash имеет около 92 миллиардов общих параметров, примерно 6 миллиардов активных, тот же контекстный размер 512K и сопоставимый бюджет в ~34 триллиона токенов.
Дополнительные сведения после обучения обеих моделей упоминают комбинированную быструю/медленную SFT, многоспециализированный RL и онлайн-дистилляцию (OPD). Архитектурные особенности, общие для Pro и Flash, включают многоголовое латентное внимание, слоистый микс DSA-plus-SWA (примерно 1:2), топологию остатка mHC с четырьмя ветвями, трехголовое прогнозирование мультитокенов и обучение с использованием оптимизатора Muon.
Выпуск от 28 сентября представляет компоненты предварительного обучения, SFT и RL как инструменты, специфичные для Ascend, позволяя разработчикам воспроизводить и расширять этот стек, вместо того чтобы просто загружать веса для инференса. Важно различать открытые веса, код инференса и этот набор тренировочного кода: веса уже были общедоступны; новость заключается в том, что Huawei открывает путь обучения openPangu-2.0 на стороне Ascend для компонентов pretrain/SFT/RL.
Для команд, работающих на Ascend, конкретный результат — это OSS тренировочный стек, соответствующий подтвержденной семейству моделей Pro (505B / ~18B активных, 512K) и Flash (92B / ~6B активных, 512K).
