MetaX adicionou suporte Hy4 na série C de GPUs usando pesos FlagOS W8A8
Leia mais
Pandaily
pandaily.com

MetaX adicionou suporte Hy4 na série C de GPUs usando pesos FlagOS W8A8

A MetaX anunciou que suas GPUs da série C concluíram a adaptação de dia zero para o modelo principal Tencent Hy4 após o lançamento dos pesos com peso carregável em novembro. Além disso, o desenvolvedor de chips apresentou uma versão W8A8 baseada no FlagOS para seu hardware, que é uma opção de implantação, e não a criação de um modelo novo e treinado especificamente.

A integração foi alcançada graças ao stack de software MXMACA da empresa, que inclui drivers, interfaces, compilador MXCC, adaptação de operadores e conectividade com frameworks de inferência. O anúncio destaca altas taxas de transferência, baixa latência e operação estável, mas essas afirmações são declarações do fornecedor, e não resultados verificados independentemente em todas as aplicações.

O repositório público FlagRelease contém arquivos de pesos safetensors que podem ser baixados, e não apenas um anúncio ou demonstração. A designação W8A8 indica pesos e ativações de oito bits. Ao verificar, foram obtidos com sucesso 64 bytes do fragmento de peso listado; a publicação Pandaily não baixou o modelo completo nem executou a implantação.

O cartão de modelo associado descreve quatro servidores, cada um equipado com oito GPUs MetaX C550 de 64 GB, totalizando 32 GPUs. No cenário de teste com entrada aleatória, foram usados 64 pedidos simultâneos com aproximadamente 4000 tokens de entrada e 1000 tokens de saída por solicitação. Essas condições de operação e características de hardware são importantes ao interpretar os dados obtidos.

Neste teste, o modo de decodificação de grafo, que foi recomendado, proporcionou uma velocidade de saída agregada de 80,98 tokens por segundo em comparação com 52,31 tokens por segundo sem ele. No entanto, o tempo médio até o primeiro token aumentou de 220,5 para 227,2 segundos, incluindo espera na fila. Portanto, os resultados não confirmam a afirmação geral de melhoria de todos os indicadores de latência.

O mesmo cartão ainda marca dois testes multimodais como em andamento. Sua receita de implantação utiliza a configuração máxima de contexto de 65.536 tokens, o que não deve ser confundido com a capacidade de contexto declarada do Hy4 de 1 milhão de tokens. Os indicadores de desempenho e avaliações permanecem dados fornecidos pelo editor e dependem da configuração.

Deve-se também prestar atenção à licenciamento. Embora os metadados do repositório de produção contenham a etiqueta Apache-2.0, a licença original Tencent Hy License 1.0 declara explicitamente que não é Apache 2.0 e inclui pesos quantizados como trabalhos derivados. Ela estabelece requisitos de licenciamento separados para empresas qualificadas que fornecem o Modelo como Serviço, com exceção para uso interno sob certas condições.

Um complemento útil é o caminho de serviço específico da MetaX e a disponibilidade dos pesos quantizados. Isso difere da adaptação anterior do Hy4 pela MetaX e do anúncio inicial do modelo Tencent; nem a integração de hardware nem os metadados do repositório anulam os termos comerciais do modelo original.

Histórias semelhantes

Tencent lança pesos do modelo principal Hy4 sob licença com condições
Leia mais
pandaily.com

Tencent lança pesos do modelo principal Hy4 sob licença com condições

A Tencent publicou os pesos baixáveis de seu modelo principal Hy4 em 20 de novembro, acompanhando o lançamento de um novo Mapa de Sistema. Este lançamento ocorreu após o lançamento do serviço em 4 de novembro e difere dos pontos de controle anteriores do Hy4 que estavam disponíveis esta semana.

O cartão oficial do modelo descreve um sistema multimodal do tipo 'mixture-of-experts' com um núcleo de linguagem contendo 770 bilhões de parâmetros. Ao ser ativado, 49 bilhões de parâmetros são usados para cada token de texto, e a janela de contexto atinge 1.048.576 tokens. O cálculo do núcleo não inclui o codificador de visão, o adaptador e o componente de rascunho DFly2.

A Tencent forneceu aos desenvolvedores vários pontos de partida para treinamento ou implementação futuros, incluindo as instruções Hy4, Hy4-FP8 e os pontos de controle básicos do Hy4.

A Pandaily confirmou o recebimento de um pequeno intervalo de bytes de um dos shards de peso em cada um dos três repositórios. No entanto, a empresa não baixou os pontos de controle completos nem realizou inferência.

A documentação de implantação contém receitas para vLLM e SGLang usando paralelismo tensorial oito-way; estas são implementações de infraestrutura significativas, e não uma prova de que o modelo principal funciona em um laptop comum.

Os pesos utilizam a licença Tencent Hy License 1.0, e não a Apache 2.0. Condições comerciais adicionais se aplicam aos operadores que fornecem inferência remota de propósito geral ou ajuste fino a terceiros. Operadores de modelo como serviço devem obter permissão por escrito separada se sua receita bruta mundial agregada exceder US$ 50 milhões em qualquer período consecutivo de 12 meses, independentemente de o Hy4 ter gerado essa receita, ou antes de usar o modelo em um produto ou serviço com mais de 100 milhões de usuários ativos em qualquer mês civil.

A licença exclui fluxos de trabalho de usuário final com funcionalidade limitada e simples retransmissão para serviços de modelos gerenciados independentemente da sua definição de modelo como serviço. Uma exceção estreita para uso interno exige que o modelo, seus derivados ou resultados não sejam fornecidos a terceiros. Portanto, esses limites não devem ser apresentados como uma restrição abrangente para cada usuário comercial.

A Tencent também aponta para a filtragem de material de treinamento malicioso de segurança cibernética e a realização de auditorias internas de segurança por especialistas. Essas avaliações são emitidas pelo emissor e não são garantias independentes de que o modelo não pode ser usado indevidamente. Os desenvolvedores que avaliam a implantação ainda devem realizar sua própria avaliação de desempenho de tarefas, requisitos de recursos e medidas de segurança.

A mudança prática reside no acesso aos artefatos do modelo principal e nas condições que regulam seu uso, e não em um novo lançamento das capacidades anteriormente anunciadas do Hy4 em visão e computação.

Tencent lançou os pesos do modelo Hy4 flash para download em três versões
Leia mais
pandaily.com

Tencent lançou os pesos do modelo Hy4 flash para download em três versões

A Tencent publicou os pesos do modelo Hy4 flash disponíveis para download após o anúncio da API deste modelo em 16 de novembro. Isso foi relatado pelo IT Home em 18 de novembro. Esta atualização representa a possibilidade de obter checkpoints implantáveis, e não uma repetição das especificações e preços da API que foram abordados anteriormente pela Pandaily.

O cartão oficial do modelo da Tencent lista três versões: Hy4 flash, que é um modelo com ajuste de instruções; Hy4 flash-FP8, sua versão quantizada com ajuste de instruções; e Hy4 flash-base, um modelo base pré-treinado. O checkpoint base é destinado a treinamento adicional, e não para substituir as versões prontas para bate-papo.

A Pandaily verificou os três repositórios oficiais no Hugging Face. Os arquivos de índice de pesos referiam-se às listas de shards disponíveis, e as solicitações anônimas de intervalo de bytes retornaram os dados dos arquivos de peso para cada versão. Essas verificações confirmam a disponibilidade para download, mas não constituem downloads completos dos checkpoints nem testes de saída bem-sucedidos.

Um checkpoint padrão contém cerca de 440,5 GB de dados tensoriais, enquanto para FP8 são aproximadamente 287,1 GB. Esses tamanhos se referem aos dados dos pesos, e não aos requisitos mínimos de memória da GPU. A quantização reduz o volume de armazenamento, mas não transforma o lançamento em um modelo para pequenos dispositivos de consumo.

A documentação de implantação é uma parte importante deste lançamento. A Tencent fornece imagens de contêineres especializados vLLM e SGLang, incluindo exemplos de paralelismo tensorial oito-way. As instruções para Transformers indicam a solicitação de suporte ao modelo, e não pressupõem que o pacote padrão lançado já suporte essa arquitetura.

O script do vLLM também requer memória de host, pois as tabelas Engram são descarregadas na memória da CPU por padrão. A configuração inicial usa um contexto de 8192 tokens; a capacidade declarada do modelo de 1 milhão de tokens não garante que cada configuração de hardware possa suportar tal comprimento. Os guias de memória publicados são estimativas, e não requisitos mínimos medidos.

Os checkpoints utilizam a licença Tencent Hy 1.0, que especifica claramente que não é Apache 2.0, apesar de ter sido derivado dela. A Seção 10 exige uma licença escrita separada para operadores do modelo como serviço cujo rendimento mundial agregado exceda US$ 50 milhões durante um período consecutivo de 12 meses, ou para o uso do modelo em um produto ou serviço com mais de 100 milhões de usuários ativos por mês. Uma exceção estritamente definida para uso interno se aplica quando o modelo e seus resultados não são fornecidos a terceiros.

Portanto, este lançamento pode ser melhor descrito como aberto em termos de pesos de acordo com os termos declarados pela Tencent, e não como código aberto ilimitadamente permitido. A Tencent informa que o lançamento dos pesos do modelo maior Hy4 ainda está em preparação.

TokenRhythm lança versão beta limitada do NeoHorse-1.5-Flash Preview, um modelo orientado a agentes
Leia mais
pandaily.com

TokenRhythm lança versão beta limitada do NeoHorse-1.5-Flash Preview, um modelo orientado a agentes

A TokenRhythm, uma desenvolvedora chinesa de infraestrutura de inteligência artificial que gerencia uma plataforma de roteamento de múltiplos modelos, apresentou o NeoHorse-1.5-Flash Preview em 5 de novembro. A empresa posiciona este modelo como orientado a agentes, destinado à execução de tarefas e desenvolvimento de software. O acesso é fornecido exclusivamente através de uma versão beta limitada, para a qual os usuários devem solicitar através da conta oficial da empresa no WeChat.

De acordo com a TokenRhythm, o modelo foi treinado com base no Qwen3.8-Flash e possui um total de 180 bilhões de parâmetros, dos quais 6 bilhões são ativamente utilizados. Em comparação própria com o modelo base, a empresa observou um aumento de 9,23 pontos no teste Agents' Last Exam e de 5,92 pontos no teste Natural Language to Repository. Além disso, foi alcançado um aprimoramento em tarefas de ciências físicas em mais de 20 pontos, bem como progresso em ferramentas de desenvolvedor, testes, desenvolvimento web e criptografia e segurança. Deve-se notar que essas avaliações foram realizadas pela própria empresa, e resultados independentes ainda não foram publicados.

Este lançamento é visto como a segunda fase do trabalho da TokenRhythm em autoaperfeiçoamento recursivo. Após o lançamento do NeoHorse-1 em setembro, a empresa retornou este modelo ao seu pool de modelos, coletou feedback sobre a execução de tarefas reais e o utilizou para treinar a próxima versão. O sistema de roteamento da empresa fornece sinais sobre as capacidades necessárias para as tarefas, e a execução de vários modelos avançados para a mesma tarefa produz resultados comparáveis. As diferenças entre os resultados do NeoHorse e esses dados são usadas como sinais de treinamento. A equipe nomeou três métodos que fundamentam esse processo: diagnóstico diferencial multimodelo, evolução de ambiente hostil e aprendizado de enxame online.

Este ciclo também se apoia no OpenSquilla, um produto de código aberto da TokenRhythm. Na atualização, lançada no dia seguinte à seleção do nível do modelo com base na intenção da tarefa, o nível selecionado é mantido durante a continuação da tarefa e aumentado em tentativas subsequentes.

As páginas públicas da TokenRhythm no GitHub e Hugging Face confirmam a existência da geração anterior, e não da nova versão preliminar. O modelo NeoHorse-1 foi lançado em 7 de setembro nas versões 4B e 9B, ajustadas com Qwen3.5 sob a licença Apache 2.0, juntamente com um relatório técnico e versões quantizadas. No final de setembro, seguiu-se o modelo de tomada de decisão 4B, denominado NeoHorse-Jev. No momento da publicação, não havia pesos baixáveis, cartão de modelo ou licença para o NeoHorse-1.5-Flash Preview nessas páginas, portanto, não pode ser considerado um lançamento com pesos abertos.

Popular