GPUWorks lança plataforma de inferência com suporte a Ascend, PPU, Hygon e NVIDIA em um único cluster

A operação comercial do cluster computacional doméstico, construído com processadores gráficos MTT S5000 da Moore Threads, começou em Wuxi, Jiangsu. De acordo com um relatório da Zhidx de 2 de novembro, este centro iniciou sua primeira fase em junho, passou para modo de teste em julho e começou a prestação de serviços comerciais em outubro.

A fase atual do cluster inclui 264 servidores equipados com 2112 placas S5000. Dados fornecidos pela Zhidx mostram que a utilização do cluster atingiu 92,9%. Durante o período de testes, 55 clientes foram envolvidos e 33 modelos foram implementados. Mais de 62% das cargas de trabalho são dedicadas ao treinamento de modelos, enquanto o treinamento misto e a inferência somam 14,7%, e a inferência pura soma 23,1%.

O cluster é estruturado em quatro módulos, cada um contendo cerca de 500 placas, e foi fornecido pronto para uso. Ele atingiu carga total em três meses após o lançamento. O sistema suporta mais de 30 famílias de modelos, incluindo Qwen, GLM, DeepSeek, Kimi e MiniMax.

Em testes de inferência usando um pool S5000 e o modelo DeepSeek V4 Flash com 7 mil tokens de entrada e 2 mil tokens de saída, foi registrada uma taxa de transferência de uma máquina de 994,97 tokens por segundo e uma inferência eficiente de 1241 tokens por segundo. O sistema lidou com 48 solicitações simultâneas dentro do nível de serviço alvo, estabelecido no relatório em 92% da configuração H800 em teste semelhante. É importante notar que esses indicadores foram apresentados pelos operadores do cluster e não passaram por verificação independente.

O cluster também oferece uma opção de implantação mista, que combina as placas S5000 com outros aceleradores através da desagregação de pré-carregamento e decodificação. Em uma das configurações mencionadas no relatório, três placas S5000 combinadas com duas placas H20 forneceram uma taxa de transferência comparável a nove placas H20, o que é aproximadamente 1,87 vezes superior ao nível base, reduzindo simultaneamente o tempo até o primeiro token em cerca de metade.

O fabricante de veículos autônomos Neolix planeja realizar o treinamento para seus modelos de direção autônoma neste local, com a demanda se aproximando do nível de 10.000 placas, o que é aproximadamente cinco vezes maior do que o número atual de placas no cluster. Anteriormente, a Moore Threads declarou que seu cluster baseado em S5000 com 10.000 placas fornece uma capacidade de computação de 10 EFLOPS com 90% de tempo de treinamento eficiente e 95% de eficiência de escalonamento linear. A expansão em Wuxi será realizada em fases, e o relatório menciona que a Moore Threads também colabora com a JD Cloud na criação de um cluster de 100.000 placas.

O local em Jiangsu faz parte de um número crescente de centros de computação regionais na China construídos com aceleradores domésticos, à medida que os operadores passam de instalações de demonstração para clusters que atendem desenvolvedores de modelos e empresas de robótica em grande escala.

A empresa Moore Threads tornou o projeto Megatron-MUSA-Titan público, apresentando uma infraestrutura para treinamento de grandes modelos que ela desenvolveu para uso em suas próprias unidades de processamento gráfico. Este projeto é destinado ao trabalho com modelos do tipo 'mistura de especialistas' (mixture-of-experts) com um trilhão de parâmetros em clusters compostos por mais de 10.000 GPUs da Moore Threads, abrangendo tanto o pré-treinamento quanto o treinamento por reforço.

O código do projeto está disponível no GitHub. A empresa afirma que este sistema foi usado continuamente para pré-treinar MoE com um trilhão de parâmetros em clusters de 10.000 GPUs, onde sessões de treinamento prolongadas garantiram alta utilização de FLOPs do modelo e estabilidade do processo.

O repositório apresenta um exemplo de configuração para um modelo MoE no estilo Kimi-K2 com 1 trilhão de parâmetros. O princípio central do design foi manter a proximidade com soluções existentes. O Megatron-MUSA-Titan é construído sobre o framework Megatron-LM da NVIDIA. Graças à integração do PyTorch via torch_musa e à compatibilidade MUSA C com CUDA C, os desenvolvedores que possuem o ambiente MUSA podem clonar os repositórios oficiais Megatron-LM, slime e miles e iniciar o treinamento nas GPUs Moore Threads sem a necessidade de modificar o código-fonte.

O projeto indica que algoritmos gerais e correções de erros devem ser direcionados aos projetos superiores, enquanto a Moore Threads se concentra em dois tipos de alterações: otimizações em larga escala adaptadas ao hardware e clusters da Moore Threads, e soluções alternativas para problemas específicos do MUSA.

Os recursos de pré-treinamento incluem treinamento em bloco no formato FP8, que depende do MT-TransformerEngine da Moore Threads. A roteamento e agregação de tokens MoE são acelerados com o DeepEP, que opera sobre o Async Copy Engine da empresa, permitindo também a comunicação dos especialistas em paralelo com os cálculos. Outras opções incluem o descarregamento de ativações usando paralelismo de pipeline virtual e o agendamento de uma passagem direta e uma passagem reversa, além da comunicação paralela de pipeline combinada com cálculos, graças ao Mooncake RDMA.

A ferramenta de análise de rastreamento distribuído lê os rastreamentos PyTorch de cada GPU para detectar gargalos, como bolhas de pipeline e nós de baixo desempenho. O projeto afirma ser capaz de analisar uma execução de MoE com 1 trilhão de parâmetros em 10.000 GPUs em apenas algumas horas.

Para o treinamento por reforço, o stack suporta os frameworks slime e miles; o Megatron cuida do treinamento, e a compilação MUSA-SGLang gera as passagens, permitindo que um único sistema base atenda tanto ao pré-treinamento quanto ao RL. A otimização para inferência autônoma não faz parte do escopo deste projeto.

Para desenvolvedores que consideram aceleradores domésticos, a questão prática é qual parte do código de treinamento existente permanecerá funcional. A resposta da Moore Threads é que o código do ecossistema Megatron não requer modificações.

A empresa Iluvatar CoreX, durante seu dia de mídia realizado em 28 de outubro em Xangai, apresentou pela primeira vez o processador gráfico de propósito geral Tiangai 300 em funcionamento em hardware real. Até então, os materiais públicos da empresa sobre o chip focaram exclusivamente na arquitetura e no roteiro, e não em sistemas operacionais.

A principal declaração é uma comparação de desempenho. A Iluvatar CoreX afirma que o Tiangai 300 se tornou o primeiro GPU de propósito geral doméstico com desempenho medido que atinge o nível do NVIDIA H200. Além disso, testes de terceiros, após conversão de dados, mostraram que a largura de banda total de um único cartão é 1,05 vezes maior do que a do H200. É importante notar que a empresa não divulgou a metodologia de teste, os modelos utilizados ou as condições de carga de trabalho, portanto, este resultado ainda não pode ser verificado independentemente.

Este chip é destinado à implementação no supernó IXL144, apresentado anteriormente pela empresa na Feira Internacional Industrial da China. Um telhado IXL144 combina 144 GPUs, 18 CPUs e cerca de 10,1 TB de memória GPU, o que a Iluvatar CoreX chama de supernó GPU mais denso do setor. Segundo suas próprias estimativas, essa configuração reduz o custo em um milhão de tokens eficientes em 40% em comparação com soluções internacionais principais.

No dia aberto, também foram apresentadas informações sobre implantação heterogênea. A Iluvatar CoreX informou que implementou o primeiro esquema doméstico de desagregação AFD entre GPU e XPU, o que permitiu reduzir a latência de inferência em 60%. A desagregação AFD geralmente implica a divisão das etapas de cálculo do modelo, como camadas de atenção e propagação direta, entre diferentes tipos de processadores, para que cada um execute o trabalho no qual é mais eficiente.

Quanto aos dispositivos periféricos, a empresa declarou que seu chip Tongyang TY1200 supera o NVIDIA Thor T5000 em testes realizados, novamente sem publicar detalhes. O TY1200, que foi anunciado anteriormente com 300 TOPS de computação densa para PCs de IA e inteligência incorporada, também foi nomeado como o primeiro produto periférico doméstico capaz de realizar simulação física com aceleração de GPU baseada em MuJoCo-Warp — uma função crítica para o treinamento de robôs em simulação.

Em geral, essas demonstrações levam a linha de produtos de próxima geração da Iluvatar CoreX do campo das especificações em papel para sistemas operacionais. O próximo ponto a ser observado serão os benchmarks independentes com cargas de trabalho divulgadas.