A equipe de sistemas de computação da Huawei Ascend anunciou a conclusão da adaptação para inferência do modelo Kimi K3.1 Pro, que possui 2,8 trilhões de parâmetros. Os pesos completos deste modelo foram lançados pela Moonshot AI em 4 de novembro, de acordo com a conta oficial da Huawei Computing, conforme relatado pelo IT Home e ifeng Tech.
Usando vLLM Ascend e SGLang, os desenvolvedores agora podem implantar este modelo nos servidores Atlas 800 A3, no cluster Atlas 900 A3 SuperPoD e na série Ascend 950 SuperPoD desde seu lançamento.
O Kimi K3.1 Pro é o primeiro modelo da série K3.1 da Moonshot AI. É um modelo do tipo mixture-of-experts com processamento visual nativo e uma janela de contexto de cerca de um milhão de tokens, ativando aproximadamente 104 bilhões de parâmetros em cada etapa de inferência. O modelo mantém a atenção linear híbrida K3, baseada nas camadas Kimi Delta Attention (KDA), e adiciona camadas de atenção esparsa DSA em vez de algumas camadas de atenção completa para reduzir os custos de modelagem de contexto longo.
Grande parte do trabalho de adaptação estava relacionada especificamente a essa arquitetura. A Huawei declarou que sua equipe de inferência se baseou na adaptação anterior do Kimi K3, analisando previamente o novo modelo e trabalhando paralelamente na integração do modelo, desenvolvimento de operadores e validação de serviços. Graças ao suporte já existente para KDA e MoE, a equipe adicionou um novo caminho de atenção esparsa e inferência multimodal, mantendo as funções de serviço existentes nos frameworks de inferência.
De acordo com informações da Huawei, a otimização abrangeu operadores principais para seleção de histórico, cálculos de atenção esparsa, pré-processamento e cálculos residuais, que foram combinados com cache distribuído e funcionalidades em nível de framework para suportar inferência de contexto longo e manutenção de produção. A empresa estabeleceu como meta que usuários e desenvolvedores pudessem começar a testar aplicativos e implantações no primeiro dia de lançamento do modelo.
A documentação do vLLM Ascend indica que o Kimi K3.1 Pro é suportado em modo experimental na versão vLLM Ascend 0.30.0. Suas configurações de referência utilizam a divisão de prefixo e decodificação em oito nós, com quatro nós de prefixo e quatro nós de decodificação, incluindo a configuração de contexto longo de um milhão de tokens. Os servidores Atlas 800I A3 operam com o checkpoint quantizado W4A8, enquanto os produtos 950DT usam a variante W4A8 MXFP; a liderança observa que os produtos Atlas A2 e 950PR ainda não são suportados.
O tamanho do modelo torna o suporte de hardware uma questão prática. O IT Home observa que os pesos no formato BF16 ocupam cerca de 5,6 TB e ainda exigem cerca de 1,4 TB após a quantização INT4, o que exclui o uso de uma única GPU de consumidor. A Huawei posicionou seus sistemas A3 e 950 SuperPoD para esta classe de inferência MoE com parâmetros trilionários, e o lançamento do Kimi K3.1 Pro foi o último modelo aberto que ela suportou no dia do lançamento.
