Baidu выпустила модель ERNIE-5.5-Flash-Base: 280B MoE с 14B активных параметров

Компания Moore Threads сделала проект Megatron-MUSA-Titan общедоступным, представив инфраструктуру для обучения больших моделей, которую она разработала для использования на собственных графических процессорах. Этот проект предназначен для работы с моделями типа 'смесь экспертов' (mixture-of-experts) с триллионом параметров на кластерах, состоящих из более чем 10 000 GPU от Moore Threads, и охватывает как предварительное обучение, так и обучение с подкреплением.

Код проекта доступен на GitHub. Компания утверждает, что данная система непрерывно использовалась для предварительного обучения MoE с триллионом параметров на кластерах мощностью 10 000 GPU, где длительные сессии обучения обеспечивали высокую утилизацию FLOPs модели и стабильность процесса.

В репозитории представлен пример конфигурации для модели MoE в стиле Kimi-K2 с 1 триллионом параметров. Центральным принципом проектирования стало сохранение близости к существующим решениям. Megatron-MUSA-Titan построен на основе фреймворка Megatron-LM от NVIDIA. Благодаря интеграции PyTorch через torch_musa и совместимости MUSA C с CUDA C, разработчики, имеющие среду MUSA, могут клонировать официальные репозитории Megatron-LM, slime и miles и запускать обучение на GPU Moore Threads без необходимости модификации исходного кода.

Проект указывает, что общие алгоритмы и исправления ошибок следует направлять в вышестоящие проекты, тогда как Moore Threads фокусируется на двух типах изменений: крупномасштабных оптимизациях, адаптированных под оборудование и кластеры Moore Threads, а также на обходных решениях для специфических проблем MUSA.

Функции предварительного обучения включают блочное обучение в формате FP8, которое опирается на MT-TransformerEngine от Moore Threads. Диспетчеризация и объединение токенов MoE ускоряются с помощью DeepEP, работающего поверх Async Copy Engine компании, который также позволяет коммуникации экспертов параллельно с вычислениями. Среди других опций — выгрузка активаций с использованием виртуального параллелизма конвейера и планирование одного прямого прохода и одного обратного прохода, а также параллельная коммуникация конвейера, совмещенная с вычислениями, благодаря Mooncake RDMA.

Инструмент анализа распределенной трассировки считывает трассировки PyTorch с каждого GPU для обнаружения узких мест, таких как пузырьки конвейера и узлы с низкой производительностью. Проект заявляет, что он способен анализировать запуск MoE с 1 триллионом параметров на 10 000 GPU всего за несколько часов.

Для обучения с подкреплением стек поддерживает фреймворки slime и miles; Megatron занимается обучением, а MUSA-сборка SGLang генерирует прогоны, что позволяет одной базовой системе обслуживать как предварительное обучение, так и RL. Оптимизация для автономного инференса не входит в сферу действия данного проекта.

Для разработчиков, рассматривающих отечественные ускорители, практический вопрос заключается в том, какая часть существующего кода обучения останется работоспособной. Ответ Moore Threads состоит в том, что код экосистемы Megatron не требует изменений.

Команда большой языковой модели Ling от Ant Group выпустила Ling-3.1-flash-1019, обновленную версию ранее представленной модели Ling-3.1-flash, а также одновременно опубликовала лежащую в основе предварительно обученную модель Ling-3.1-flash-base. Обе версии доступны на платформе Hugging Face под лицензией MIT.

Архитектура Ling-3.1-flash-1019 сохранила черты своего предшественника: это гибридная конструкция с линейным механизмом Mixture-of-Experts, обладающая общим количеством параметров около 560 миллиардов и примерно 25 миллиардами активных параметров на токен, а также контекстным окном в один миллион токенов. Согласно описанию модели, стек включает 63 слоя линейного внимания KDA и 9 слоев управляемого MLA, среди которых 512 маршрутизированных экспертов, активируются 8 одновременно. Основное изменение в данном релизе связано с дополнительным постобучением, направленным на улучшение рассуждений, использования инструментов и многоэтапного выполнения задач.

Согласно индексу искусственного анализа третьих сторон Artificial Analysis Intelligence Index v4.3.2, новая версия получила оценку 44, что на три пункта выше предыдущего выпуска. Остальные показатели являются результатами, заявленными самой Ant. Команда сообщила, что ее балл на тесте AA-Briefcase, который является комплексным тестом на знание, увеличился с приблизительно 1400 до 1524 Elo, а показатель GDPval-AA вырос с около 1618 до 1644 Elo. Кроме того, в области автоматизации процессов AutomationBench-AA улучшился с 62% до 68%, а решение научных задач повысилось: CritPt поднялся с 18% до 26%, а SciCode — с 54% до 57%.

Базовая модель представляет собой более значимое дополнение для разработчиков. Ant утверждает, что Ling-3.1-flash-base превзошла DeepSeek-V4-Pro-Base и MiMo-V2.5-Pro-Base по 32 из 47 бенчмарков в восьми областях, основываясь на собственных тестах, охватывающих знания, рассуждения, код, математику и длинный контекст. Веса выпущены в формате BF16, что позволяет командам проводить дальнейшее предварительное обучение, адаптацию к предметной области и собственное постобучение.

Ant позиционирует этот выпуск вокруг концепции персональных агентов, а не чат-ботов. Обновление появилось на день после того, как приложение AI-ассистента Ant LingGuang 2.0 было перепозиционировано как личный помощник, способный продолжать работу над задачами после того, как пользователь завершил диалог, используя память между сессиями, планирование долгосрочных задач и выделенный облачный хостинг. Примеры, приведенные командой, включают отслеживание погоды и бронирований перед поездкой или мониторинг цен на товары относительно установленного бюджета. Также команда заявила, что обучила вариант с распознаванием изображений и языком, Ling-3.1-flash-VL, который уже используется внутри LingGuang и будет выпущен публично позднее.

В списке рекомендуемых конфигураций для обслуживания, указанных в карточке модели, фигурируют SGLang и vLLM на восьми узлах с GPU.

Команда StartLux, молодая китайская группа, стоящая за семейством моделей StartLux-Decision, сделала свой код открытым. Они представили Prism — механизм вывода, разработанный специально для моделей принятия решений. Код был опубликован на GitHub 22 октября, и компания подчеркивает, что это первый открытый движок, созданный именно для этого класса моделей, а не адаптированный из фреймворка, ориентированного на чат.

Модели принятия решений обрабатывают информацию и выдают суждение, а не длинный текст, например, ответ «да» или «нет», выбор варианта или оценку риска с вероятностями. Ранее модель StartLux-Decision v1.1, выпущенная 16 октября, использовала общий фреймворк на базе vLLM. По утверждению StartLux, такие движки, как vLLM и SGLang, предназначены для генерации токен за токеном, что приводит к тому, что каждый запрос становится отдельным, а большой выходной слой вычисляется полностью при каждом обращении.

Основные изменения в Prism

Prism вносит четыре ключевых изменения. Во-первых, он сужает выходной слой. Для модели StartLux-Decision с 27 миллиардами параметров общий движок оценивает около 248 000 кандидатных токенов, тогда как задача принятия решения требует только букв от A до Z; благодаря этому Prism сокращает вычисления примерно до 0,01 процента от первоначального объема. Во-вторых, используется метод пакетной обработки в стиле леса: общие инструкции формируют корень, общий справочный материал — ствол, а каждый вопрос — ветвь, что позволяет выполнять общую работу лишь один раз.

В-третьих, матричные операции выполняются в формате int8 с накоплением в int32, что обеспечивает независимость результатов от размера пакета и порядка планирования, сохраняя при этом битово-идентичные выводы. Четвертое изменение — это смещенный планировщик, который позволяет до 64 более длительным запросам на рассуждение совместно использовать GPU с запросами с прямым ответом. При этом шаги декодирования предварительно компилируются как графы CUDA, позволяя новым коротким запросам ждать всего один или два шага.

Тестирование, проведенное самой StartLux на одном чипе H200, показало, что короткий одиночный вопрос завершается за 19 миллисекунд по сравнению с предыдущими 53,1 миллисекундами, что составляет прирост в 2,8 раза, а при задании трех вопросов по одному и тому же материалу скорость возрастает до 5,3 раз. При тестировании по 231 вопросу JevBench, Prism показал среднее время в 41 миллисекунду на вопрос, в то время как SGLang занял 75,6 миллисекунды, vLLM — 112,7 миллисекунды, а llama.cpp — 589 миллисекунд. При использовании четырех карт H200 в режиме параллелизма данных было обработано 121 запрос в секунду, тогда как тензорный параллелизм снизил задержку одного вопроса до 29 миллисекунд.

На семи наборах оценок и 12 351 образце принятия решений, версия Prism с квантованием int8 достигла средней точности 92,94 процента, что очень близко к 92,97 процентам, показанным неквантованной моделью BF16. Сжатая версия размером 16,55 ГБ может работать на одной видеокарте RTX 5090 с объемом памяти 32 ГБ. Все представленные цифры являются собственными измерениями StartLux, а конфигурации тестов опубликованы в репозитории.