A equipe ERNIE da Baidu anunciou o lançamento do ERNIE-5.5-Flash-Base, que é um checkpoint bruto de pré-treinamento do modelo ERNIE 5.5 Flash. Este lançamento foi disponibilizado na plataforma Hugging Face em 5 de novembro.
O modelo, que utiliza uma arquitetura esparsa Mixture-of-Experts (MoE), possui um total de 280 bilhões de parâmetros, com 14 bilhões de parâmetros sendo ativados para cada token. Ele foi treinado do zero em 33,5 trilhões de tokens, com um tamanho máximo de contexto de treinamento de 128 mil tokens, mas o suporte de contexto para ajuste fino e inferência atinge 1 milhão de tokens.
A Baidu lançou intencionalmente o modelo em estado incompleto. Os pesos são obtidos da fase de conclusão do pré-treinamento e ainda não passaram por estágios de ajuste fino intermediário ou subsequente. A empresa afirma que isso o torna um ponto de partida geral para pesquisas em adaptação de domínio, ajuste por instruções e aprendizado por reforço. A equipe informou que uma versão pós-treinada do ERNIE 5.5 Flash será lançada posteriormente.
Os pesos disponíveis são fornecidos nos formatos FP8 e BF16, de acordo com o Acordo de Licença do Modelo Base ERNIE 5.5 Flash da Baidu v1.0. O modelo pode ser usado através de SGLang e vLLM, e também vem acompanhado de um exemplo de ajuste fino no repositório NVIDIA Megatron-Bridge.
Este modelo de 43 camadas foi projetado com foco na eficiência. A maioria das camadas utiliza o chamado 'Baidu Sparse Attention', que agrupa a cada 128 tokens em um único registro de cache. Apenas um dos sete camadas mantém acesso ao contexto completo no nível do token por meio de atenção latente multi-cabeça com amostragem esparsa top-k. No total, 37 de 43 camadas operam com sequência comprimida, permitindo manter um pequeno cache KV. Além disso, o design de atenção de gargalo de baixo ranqueamento reduz os parâmetros de projeção do portão em 75%, conforme relatado pelos desenvolvedores.
Em termos de MoE, a Baidu substituiu o roteador único padrão por vários roteadores inicializados independentemente, que avaliam os especialistas em conjunto. A empresa afirma que isso melhora a correspondência entre as avaliações de roteamento e a utilidade real do especialista, sem alterar o número de especialistas ativos, o poder computacional ou a comunicação. Cada camada MoE seleciona 10 dos 512 especialistas roteados mais um especialista comum, operando em um espaço latente comprimido, o que reduz aproximadamente pela metade a comunicação e os cálculos dos especialistas. Um componente chamado ECHO reutiliza a última camada do modelo para prever tokens futuros em vez de adicionar um módulo separado de previsão de múltiplos tokens e serve como um modelo rascunho para decodificação especulativa.
Para o pré-treinamento, foi usado o otimizador Muon com precisão mista FP8 em milhares de aceleradores, bem como o novo núcleo de atenção FlashMask-4. A Baidu afirma que este núcleo opera até 175% mais rápido na passagem direta do que o FlashAttention-4 em GPUs da classe SM100 em tamanhos de cabeça grandes. A mistura de dados foi feita com foco em código em nível de repositório, incluindo commits, solicitações de fusão, verificações de código e correções verificadas pelo CI, bem como documentos longos.
A Baidu testou o modelo em 30 benchmarks, comparando-o com DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base, usando um sistema de avaliação unificado. Os resultados declarados incluem 78,4 pontos no MMLU-Pro contra 69,2 do DeepSeek-V4-Flash-Base, e 82,3 pontos no HumanEval+ contra 69,5. No entanto, os modelos comparados superaram em alguns testes, como ChineseSimpleQA, BBH com prompts de cadeia de raciocínio e InfiniteBench.
