Alma Agent Harness da Yetone ficou em terceiro lugar no ranking intermediário do FrontierHarness v1.1 e em sexto no final

A equipe ERNIE da Baidu anunciou o lançamento do ERNIE-5.5-Flash-Base, que é um checkpoint bruto de pré-treinamento do modelo ERNIE 5.5 Flash. Este lançamento foi disponibilizado na plataforma Hugging Face em 5 de novembro.

O modelo, que utiliza uma arquitetura esparsa Mixture-of-Experts (MoE), possui um total de 280 bilhões de parâmetros, com 14 bilhões de parâmetros sendo ativados para cada token. Ele foi treinado do zero em 33,5 trilhões de tokens, com um tamanho máximo de contexto de treinamento de 128 mil tokens, mas o suporte de contexto para ajuste fino e inferência atinge 1 milhão de tokens.

A Baidu lançou intencionalmente o modelo em estado incompleto. Os pesos são obtidos da fase de conclusão do pré-treinamento e ainda não passaram por estágios de ajuste fino intermediário ou subsequente. A empresa afirma que isso o torna um ponto de partida geral para pesquisas em adaptação de domínio, ajuste por instruções e aprendizado por reforço. A equipe informou que uma versão pós-treinada do ERNIE 5.5 Flash será lançada posteriormente.

Os pesos disponíveis são fornecidos nos formatos FP8 e BF16, de acordo com o Acordo de Licença do Modelo Base ERNIE 5.5 Flash da Baidu v1.0. O modelo pode ser usado através de SGLang e vLLM, e também vem acompanhado de um exemplo de ajuste fino no repositório NVIDIA Megatron-Bridge.

Este modelo de 43 camadas foi projetado com foco na eficiência. A maioria das camadas utiliza o chamado 'Baidu Sparse Attention', que agrupa a cada 128 tokens em um único registro de cache. Apenas um dos sete camadas mantém acesso ao contexto completo no nível do token por meio de atenção latente multi-cabeça com amostragem esparsa top-k. No total, 37 de 43 camadas operam com sequência comprimida, permitindo manter um pequeno cache KV. Além disso, o design de atenção de gargalo de baixo ranqueamento reduz os parâmetros de projeção do portão em 75%, conforme relatado pelos desenvolvedores.

Em termos de MoE, a Baidu substituiu o roteador único padrão por vários roteadores inicializados independentemente, que avaliam os especialistas em conjunto. A empresa afirma que isso melhora a correspondência entre as avaliações de roteamento e a utilidade real do especialista, sem alterar o número de especialistas ativos, o poder computacional ou a comunicação. Cada camada MoE seleciona 10 dos 512 especialistas roteados mais um especialista comum, operando em um espaço latente comprimido, o que reduz aproximadamente pela metade a comunicação e os cálculos dos especialistas. Um componente chamado ECHO reutiliza a última camada do modelo para prever tokens futuros em vez de adicionar um módulo separado de previsão de múltiplos tokens e serve como um modelo rascunho para decodificação especulativa.

Para o pré-treinamento, foi usado o otimizador Muon com precisão mista FP8 em milhares de aceleradores, bem como o novo núcleo de atenção FlashMask-4. A Baidu afirma que este núcleo opera até 175% mais rápido na passagem direta do que o FlashAttention-4 em GPUs da classe SM100 em tamanhos de cabeça grandes. A mistura de dados foi feita com foco em código em nível de repositório, incluindo commits, solicitações de fusão, verificações de código e correções verificadas pelo CI, bem como documentos longos.

A Baidu testou o modelo em 30 benchmarks, comparando-o com DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base, usando um sistema de avaliação unificado. Os resultados declarados incluem 78,4 pontos no MMLU-Pro contra 69,2 do DeepSeek-V4-Flash-Base, e 82,3 pontos no HumanEval+ contra 69,5. No entanto, os modelos comparados superaram em alguns testes, como ChineseSimpleQA, BBH com prompts de cadeia de raciocínio e InfiniteBench.

Pesquisadores da Universidade Tsinghua e da Universidade de Zhejiang apresentaram o Modelo do Mundo Algébrico (AWM) — um agente capaz não apenas de passar em quebra-cabeças interativos ARC-AGI-3, mas também de provar formalmente quando é impossível passar em um determinado nível.

O trabalho, publicado no arXiv em 29 de outubro e noticiado pela QbitAI em 1º de novembro, foi realizado por Guanchen Pan da Universidade de Zhejiang, juntamente com Cixin Tan, Yan Yuan e Andrew Chi-Chi Yao da Universidade Tsinghua.

O AWM funciona em três etapas. Primeiro, ele explora o jogo e formula hipóteses em Python sobre o comportamento do ambiente, corrigindo-as ao receber observações contraditórias. Em seguida, essas hipóteses são simplificadas para um modelo estruturado que descreve regras, objetivos e objetos, baseando-se em conceitos da teoria das categorias. A etapa final é a formalização desse modelo no assistente de provas Lean 4, onde a máquina pode verificar afirmações, como a possibilidade de passar em um nível.

A equipe realizou testes em níveis fechados, onde o orçamento de passos tornava a vitória impossível. O AWM conseguiu fornecer provas de impossibilidade usando Lean para todos os seis desses níveis, enquanto 12 execuções do Claude Opus 5.5 e GPT-6 Astra não conseguiram fazê-lo. Em um exemplo, onde a vitória mínima exigia 19 passos com um orçamento de 18, a Astra alegou uma solução em 22 passos, enquanto o AWM estabeleceu limites iniciais corretos para quatro dos seis níveis, contra um para o Opus 5.5 e zero para a Astra, alcançando o resultado para todos os seis após feedback.

Durante a repetição de todos os 183 níveis dos 25 jogos públicos dentro do Lean, os modelos estudados conseguiram prever todas as 4160 transições em configurações inéditas e rejeitar todas as 4031 transições após a alteração da mecânica do jogo. Ao usar o Claude Opus 5 como jogador, o AWM aumentou sua pontuação de 40,7 para 99,9, utilizando apenas 43% das ações tomadas na versão humana básica.

Os autores destacam uma limitação significativa: a validade das provas depende da qualidade do próprio modelo estudado; portanto, o resultado de impossibilidade é válido dentro do modelo de jogo AWM, e não em relação ao código real do jogo.