Команда вычислительных систем Huawei Ascend сообщила о завершении адаптации для инференса модели Kimi K3.1 Pro, которая имеет 2,8 триллиона параметров. Полные веса этой модели были выпущены Moonshot AI 4 ноября, согласно официальному аккаунту Huawei Computing, как это сообщили IT Home и ifeng Tech.
Используя vLLM Ascend и SGLang, разработчики теперь могут развернуть эту модель на серверах Atlas 800 A3, в кластере Atlas 900 A3 SuperPoD и в серии Ascend 950 SuperPoD с момента ее выпуска.
Kimi K3.1 Pro является первой моделью в серии K3.1 от Moonshot AI. Это модель типа mixture-of-experts с нативной визуальной обработкой и окном контекста около миллиона токенов, активирующей примерно 104 миллиарда параметров на каждом шаге инференса. Модель сохраняет гибридное линейное внимание K3, основанное на слоях Kimi Delta Attention (KDA), и добавляет слои разреженного внимания DSA вместо некоторых слоев полного внимания для снижения затрат на моделирование длинного контекста.
Большая часть работы по адаптации была связана именно с этой архитектурой. Huawei заявила, что ее команда инференса опиралась на предыдущую адаптацию Kimi K3, предварительно анализируя новую модель и параллельно работая над интеграцией модели, разработкой операторов и валидацией сервисов. Благодаря уже имеющейся поддержке KDA и MoE, команда добавила новый путь разреженного внимания и мультимодальный инференс, сохранив при этом существующие функции обслуживания в фреймворках инференса.
Согласно информации от Huawei, оптимизация охватила основные операторы для выбора исторической информации, вычислений разреженного внимания, предварительной обработки и остаточных вычислений, что было объединено с распределенным кэшированием и функциями на уровне фреймворка для поддержки инференса с длинным контекстом и производственного обслуживания. Компания определила цель в том, чтобы пользователи и разработчики могли начать тестирование приложений и развертывание в первый день выхода модели.
Документация vLLM Ascend указывает, что Kimi K3.1 Pro поддерживается в экспериментальном режиме в версии vLLM Ascend 0.30.0. Ее эталонные конструкции используют разделение префилла и декодирования на восемь узлов с четырьмя узлами префилла и четырьмя узлами декодирования, включая конфигурацию с длинным контекстом в один миллион токенов. Серверы Atlas 800I A3 работают с квантованной контрольной точкой W4A8, в то время как продукты 950DT используют вариант W4A8 MXFP; руководство отмечает, что продукты Atlas A2 и 950PR пока не поддерживаются.
Размер модели делает аппаратную поддержку практическим вопросом. IT Home отмечает, что веса в формате BF16 занимают около 5,6 ТБ и все еще требуют около 1,4 ТБ при квантовании INT4, что исключает использование одного потребительского графического процессора. Huawei позиционировала свои системы A3 и 950 SuperPoD для этого класса инференса MoE с триллионными параметрами, и выпуск Kimi K3.1 Pro стал последней открытой моделью, которую она поддержала в день запуска.
