StepFun lança a versão preliminar do Step 5: modelo com 600 bilhões de parâmetros, MoE esparso e contexto de 1 milhão de tokens
Leia mais
Pandaily
pandaily.com

StepFun lança a versão preliminar do Step 5: modelo com 600 bilhões de parâmetros, MoE esparso e contexto de 1 milhão de tokens

A StepFun apresentou a versão preliminar do modelo Step 5, que é um modelo base com arquitetura Mixture-of-Experts (MoE) esparsa e possui cerca de 600 bilhões de parâmetros totais, sendo que aproximadamente 27 bilhões são ativados para cada token. Este lançamento é voltado para cargas de trabalho de agentes de longo alcance, incluindo desenvolvimento de código por IA, engenharia de software, análise financeira e trabalho profissional com conhecimento. O modelo suporta uma janela de contexto de um milhão de tokens e aceita entradas tanto textuais quanto gráficas. A StepFun informou que o acesso via API já está aberto, e os pesos do modelo serão disponibilizados publicamente em 15 de outubro.

Em vez de expandir a rede, o Step 5 Preview utiliza uma arquitetura Transformer estreita e profunda, composta por 92 camadas. A empresa afirma que pilhas mais profundas fornecem caminhos de transmissão de informação mais longos para raciocínio implícito de múltiplas etapas durante o preenchimento inicial prolongado, quando os agentes realizam buscas, executam código e processam resultados de uso de ferramentas. Para manter a praticidade das sessões de um milhão de tokens, o modelo inclui atenção esparsa com agrupamento de consultas (Sparse Grouped-Query Attention) com agregação de tokens em blocos. Segundo a StepFun, isso reduz o custo de seleção do indexador e top-k em cerca de um oitavo em comparação com um modelo base mais denso, ao mesmo tempo que agrupa seleções vizinhas sobrepostas.

Durante o treinamento, o foco foi no aprendizado por reforço com horizonte de longo prazo baseado em política (on-policy long-horizon reinforcement learning), bem como no alinhamento do treinamento e inferência em nível de bits na roteamento MoE. Além disso, métodos como agendamento consciente da carga (load-aware scheduling), decodificação especulativa MTP-3, MoE FP8 e descarregamento de cache KV são aplicados. A StepFun relata um aumento de mais de três vezes na aceleração do processo ponta a ponta de RL para horizonte de longo prazo e uma taxa de perda de registro de amostras abaixo de um por cento. Este modelo também é usado dentro de um pipeline de dados gerenciado por humanos, que gera tarefas complexas verificáveis em escala de milhões, abrangendo ciência, desenvolvimento de software e pesquisa em aprendizado de máquina.

No que diz respeito à análise de inteligência artificial, o Step 5 Preview alcança cerca de 44 pontos no índice de inteligência, que a StepFun classifica entre os melhores modelos de pesos abertos neste sistema de classificação. O custo da API, de acordo com os preços publicados, é de cerca de US$ 1 por milhão de tokens de entrada e US$ 2,7 por milhão de tokens de saída, com uma velocidade de saída de cerca de 100 tokens por segundo. O foco principal do modelo é a arquitetura e a eficiência do agente, o que o diferencia das versões anteriores Step 3.5 Flash e Step 3.7 Flash, enfatizando a profundidade, o contexto longo esparso e o uso confiável de ferramentas em múltiplas etapas antes que os pesos estejam disponíveis em outubro.

Histórias semelhantes

Xiaomi lança modelo de fundação mundial e kit de treinamento Robotics-U0
Leia mais
pandaily.com

Xiaomi lança modelo de fundação mundial e kit de treinamento Robotics-U0

A Xiaomi disponibilizou ao público seu produto Xiaomi-Robotics-U0 — um modelo fundamental autorregressivo do mundo incorporado. Este modelo considera a síntese orientada para robôs não apenas como um processo especializado de geração de trajetórias, mas como uma extensão da geração de imagens e vídeos baseada em modelos fundamentais.

De acordo com materiais oficiais, a linha principal do modelo contém cerca de 38 bilhões de parâmetros e está em constante treinamento para alcançar inteligência incorporada. Pesos públicos adicionais, incluindo as variantes Xiaomi-Robotics-U0-4B e FlashAR, estão disponíveis nas plataformas Hugging Face e ModelScope, e o código para inferência, demonstração via Gradio e os lançamentos de treinamento FSDP, datados do início de setembro, também são fornecidos.

Dentro de um único framework de próximo token, este modelo combina várias funções: geração de imagens a partir de texto, edição de imagens de qualquer fonte, criação de cenas multimodais, transferência controlada incorporada e geração de vídeo incorporado. A Xiaomi afirma que este conjunto mantém a semântica visual fundamental, ao mesmo tempo que adiciona a capacidade de raciocínio orientado para robôs através de estágios de treinamento — tanto de estágio único quanto sequenciais. Estas fases incluem fluxos de subtarefas-objetivos alternados, bem como vídeo incorporado com taxas de 1, 3 e 5 quadros por segundo.

As notas arquitetônicas indicam o uso de tokenização de imagens IBQ e um vocabulário multimodal que suporta escalonamento autorregressivo entre diferentes modalidades. Esta arquitetura é construída sobre componentes derivados das linhas Qwen3-32B e EMU3.5.

Um segundo aspecto importante é a eficiência da inferência. A tecnologia FlashAR+ substitui a decodificação sequencial de tokens de imagem pela geração paralela antidiagonal e é usada em conjunto com o processamento em lote vLLM. A Xiaomi relata um potencial aumento na velocidade de geração de imagens de 1024x1024 para quase 83 vezes mais rápido, reduzindo a latência para uma única amostra de aproximadamente 450,8 segundos para 5,44 segundos no hardware declarado.

As páginas de capacidades afirmam que os índices de vitória em cenas multimodais e transferência superam o GPT-Image-2 em divisão interna de dados em complexos e simples. Além disso, UNIS (Xiaomi-Robotics-U0) ocupa o primeiro lugar entre mais de 100 modelos no WorldArena com um EWMScore_P de 73,64.

Em termos de aplicação, os dados de transferência de estilo do modelo são misturados com conjuntos de demonstração reais para o treinamento subsequente da política. A Xiaomi relata um aumento no progresso em tarefas de intervenção de aproximadamente 36,9% para 63,2% ao usar fundos e iluminação não utilizados no treinamento, com uma redução menor em comparação com o nível laboratorial base.

Embora os checkpoints para geração de vídeo ainda estejam alcançando os lançamentos de imagens e transferência, as equipes devem verificar as condições de licenciamento, a escolha do motor FlashAR e a reprodutibilidade do WorldArena por desenvolvedores terceirizados antes de usar os pesos abertos como um kit de fábrica pronto para dados para robótica de produção.

OpenBMB lança MiniCPM5-2B como modelo SOTA aberto para execução em dispositivo com menos de 4 bilhões de parâmetros
Leia mais
pandaily.com

OpenBMB lança MiniCPM5-2B como modelo SOTA aberto para execução em dispositivo com menos de 4 bilhões de parâmetros

A OpenBMB, um projeto de código aberto associado à ModelBest, apresentou o MiniCPM5-2B, um modelo de linguagem denso projetado para rodar diretamente em dispositivos. Este modelo possui aproximadamente 2,52 bilhões de parâmetros e suporta um comprimento de contexto nativo de 131.072 tokens, sendo distribuído sob a licença Apache-2.0.

O MiniCPM5-2B é o segundo lançamento da série MiniCPM5, sucedendo o MiniCPM5-1B. Ele utiliza a arquitetura padrão LlamaForCausalLM, que inclui 42 camadas com atenção agrupada (grouped-query attention), empregando 16 cabeças de consulta e 2 cabeças de chave/valor. Isso permite que os motores principais carreguem o modelo sem a necessidade de kernels personalizados ou forks do código do modelo.

Os parâmetros que não são embeddings somam cerca de 1,98 bilhões, permitindo que o modelo se enquadre na classe de menos de 4 bilhões de parâmetros, adequada para hospedagem em telefones, notebooks e dispositivos periféricos.

Em comparação com o conjunto de dados 34-benchmark da OpenBMB, o MiniCPM5-2B demonstra uma pontuação média de 53,9, superando várias modelos base abertas maiores. Entre elas, o Qwen3.5-4B obteve 51,1, e o granite-4.2-3B alcançou 42,7. Modelos de tamanho semelhante, como LFM2.5-2.6B e Qwen3.5-2B, ficaram atrás.

Os pontos fortes do modelo estão concentrados nas áreas de agentes codificadores, uso de ferramentas e extração de informações de contexto longo. Por exemplo, no LiveCodeBench v6, o MiniCPM5-2B obteve 69,1 contra 56,4 do Qwen3.5-4B, e no SWE-bench Verified, 46,4 contra 33,6. Resultados elevados também foram alcançados no τ²-Bench Telecom (97,1), BFCL v4 (66,6) e NoLiMa (68,1 contra 43,5).

Em tarefas que exigem conhecimento profundo, os resultados permanecem mais próximos do limite superior de tamanho; por exemplo, no MMLU-Pro, o modelo atingiu 70,8, enquanto o modelo de referência Qwen de 4B obteve 78,0. A OpenBMB destaca separadamente as linhas obtidas de fontes da Artificial Analysis para que os usuários possam distinguir dados de fornecedores de resultados de terceiros.

O processo pós-treinamento seguiu o gerenciamento de nível UltraData: inicialmente, foi realizado um ajuste fino supervisionado (supervised fine-tuning) baseado em raciocínio profundo usando cerca de 400 bilhões de tokens. Em seguida, foram aplicados professores especializados de aprendizado por reforço (reinforcement-learning teachers) para matemática, código, agentes e escrita usando o algoritmo JustRL II, baseado em crítica. A etapa final foi a destilação on-policy (on-policy distillation), que uniu 16 especialistas em RL — cinco deles agentes — em um único modelo aluno final.

A OpenBMB atribui o ganho médio de cerca de 10,96 pontos em tarefas de raciocínio e conjuntos gerais, bem como 6,96 pontos em conjuntos de agentes, à fase de RL e destilação. Para permitir a medição direta da contribuição de cada parte, a empresa lança checkpoints intermediários: Base, Midtrain e SFT-only.

Juntamente com os pesos, a UltraData publica os corpora de dados, abrangendo web, código, matemática, amostras SFT e RL para agentes, permitindo a reprodução dos resultados. O suporte de tempo de execução inclui vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX, LiteRT e compilações multi-chip FlagOS. Pacotes GGUF, MLX e GPTQ são fornecidos para assistentes locais que precisam executar chamadas de ferramentas e trabalhar com contexto longo sem usar uma GPU de data center.

Para desenvolvedores focados em execução em dispositivo, o MiniCPM5-2B é posicionado não tanto como um gigante de conhecimento geral, mas sim como um agente compacto com licença Apache e companheiro de codificação que já supera algumas modelos base abertas de classe 4B na pontuação média publicada.

Empresa HUMAIN apresenta o modelo HUMAIN-M3 baseado no MiniMax M3 na corrida por plataformas abertas de IA
Leia mais
pandaily.com

Empresa HUMAIN apresenta o modelo HUMAIN-M3 baseado no MiniMax M3 na corrida por plataformas abertas de IA

No evento LEAP 2026, realizado em 3 de setembro, a empresa HUMAIN, apoiada pelo Future Investment Fund (PIF) da Arábia Saudita, apresentou o modelo HUMAIN-M3. Este modelo é voltado para o idioma árabe e está atualmente disponível em pré-visualização na plataforma HUMAIN Node, com planos de lançamento posterior com pesos abertos.

O fundamento do HUMAIN-M3 foi a estrutura aberta multi-especialista (mixture-of-experts) M3 da startup chinesa MiniMax, lançada cerca de três meses antes. O modelo HUMAIN-M3 mantém as características arquitetônicas do M3, possuindo um total de cerca de 428 bilhões de parâmetros, sendo que aproximadamente 23 bilhões de parâmetros estão ativos por token. Em seguida, o modelo passa por treinamento adicional com mais de um trilhão de tokens árabes nativos.

De acordo com sete benchmarks árabes públicos publicados pela HUMAIN, este modelo alcançou os cinco primeiros lugares e uma média ponderada de 89,37%. Este resultado é 9,03 pontos superior ao do modelo base M3 e supera os resultados declarados do GPT-5.6 SOL e Claude Opus 5. O foco principal é na velocidade: utiliza raciocínio geral, multimodalidade, agentes e contexto longo do modelo base aberto, seguido por especialização local de idioma e cultura.

Esta abordagem se alinha à corrida global mais ampla por inteligência artificial soberana. De acordo com dados da CNAS, rastreados em publicações chinesas, 184 projetos governamentais de IA soberana foram registrados em 67 países até meados de 2026, com 41 projetos adicionados no primeiro semestre. O número de bases abertas para treinamento contínuo local mais do que dobrou desde o final de 2024. Os compradores estão prestando atenção à mistura de dialetos, armazenamento de dados em servidores próprios e ao risco de desaparecimento de APIs remotas após choques de controle de exportação, o que favorece os pesos baixáveis e o pós-treinamento local.

A atividade internacional da MiniMax também segue essa tendência. A empresa afirma que seus produtos já estão disponíveis em mais de 230 países e regiões. Na Europa, a MiniMax colabora com a SambaNova para inferência de alta velocidade em hardware SN50, bem como com a Nebius Token Factory como solução aberta especializada implantada. A HUMAIN leva esse conceito adiante: de um simples download e API para um programa nacional de modelos, que investe em seus próprios dados linguísticos e capacidade computacional sobre um modelo de referência chinês.

Para laboratórios que trabalham com modelos abertos na China, os clientes deixaram de ser apenas desenvolvedores participantes de rankings. Os governos agora exigem um modelo de referência inicial que possam possuir, atualizar e executar autonomamente. A integração do MiniMax M3 no HUMAIN-M3 é um exemplo precoce e concreto, sinalizando que a entrega aberta de pesos, a adaptação de hardware e o suporte de longo prazo podem ter tanta importância quanto a próxima pontuação nos benchmarks. A corrida fora do duopólio EUA e China está cada vez mais focada em quem fornece a base reutilizável, e não em quem vence cada teste em inglês.

Popular