Tencent lança pesos do modelo Hy4 flash para implantação local
Leia mais
TechNode
technode.com

Tencent lança pesos do modelo Hy4 flash para implantação local

A Tencent divulgou na quarta-feira os pesos de seu modelo de inteligência artificial Hy4 flash. Este lançamento ocorreu dois dias após o modelo ter sido apresentado aos usuários através dos aplicativos e da API em nuvem da empresa. Os desenvolvedores agora têm a opção de baixar a versão padrão do modelo, sua versão no formato FP8, bem como o modelo base para treinamento adicional.

Este lançamento está de acordo com uma declaração anterior da Tencent sobre seus planos de tornar os pesos deste modelo públicos. O modelo Hy4 flash é capaz de processar entradas de texto e gráficos, e sua janela de contexto atinge um milhão de tokens.

O modelo possui aproximadamente 224 bilhões de parâmetros, sendo que cerca de 12 bilhões de parâmetros são ativados para cada token. O principal objetivo do Hy4 flash é aumentar o desempenho diário em tarefas como preparação de documentos, condução de pesquisas e trabalho com planilhas. A Tencent acompanhou os pesos com materiais relevantes para implantação, distribuindo-os sob a licença Tencent Hy.

Histórias semelhantes

Tencent lança pesos do modelo Hy4 com janela de contexto de um milhão de tokens
Leia mais
technode.com

Tencent lança pesos do modelo Hy4 com janela de contexto de um milhão de tokens

A Tencent divulgou na sexta-feira os pesos de seu modelo de inteligência artificial principal, Hy4, permitindo que desenvolvedores baixem e implementem este modelo por conta própria. Este lançamento ocorreu após o lançamento inicial do Hy4 em 4 de novembro e torna o modelo principal disponível sob a licença Apache 2.0, que permite uso comercial e modificação.

O modelo Hy4 é capaz de entender texto, imagens e vídeos, possuindo uma janela de contexto de cerca de um milhão de tokens. Sua estrutura linguística do tipo 'mistura de especialistas' contém 770 bilhões de parâmetros, sendo que 49 bilhões de parâmetros são ativados para processar cada token.

De acordo com a Tencent, esta versão do modelo supera a pré-visualização do Hy4 em áreas como seguimento de instruções, compreensão de contexto longo, execução de tarefas avançadas e pesquisa científica.

O modelo suporta fluxos de trabalho que abrangem interfaces gráficas e ferramentas de linha de comando, bem como desenvolvimento frontend, design de jogos e tarefas de escritório. A Tencent fornece instruções de implantação para vLLM e SGLang, além de recursos para ajuste fino e um mapa de avaliação de segurança. O lançamento do modelo principal seguiu o lançamento separado de um modelo menor, o Hy4 flash.

Tencent lançou os pesos do modelo Hy4 flash para download em três versões
Leia mais
pandaily.com

Tencent lançou os pesos do modelo Hy4 flash para download em três versões

A Tencent publicou os pesos do modelo Hy4 flash disponíveis para download após o anúncio da API deste modelo em 16 de novembro. Isso foi relatado pelo IT Home em 18 de novembro. Esta atualização representa a possibilidade de obter checkpoints implantáveis, e não uma repetição das especificações e preços da API que foram abordados anteriormente pela Pandaily.

O cartão oficial do modelo da Tencent lista três versões: Hy4 flash, que é um modelo com ajuste de instruções; Hy4 flash-FP8, sua versão quantizada com ajuste de instruções; e Hy4 flash-base, um modelo base pré-treinado. O checkpoint base é destinado a treinamento adicional, e não para substituir as versões prontas para bate-papo.

A Pandaily verificou os três repositórios oficiais no Hugging Face. Os arquivos de índice de pesos referiam-se às listas de shards disponíveis, e as solicitações anônimas de intervalo de bytes retornaram os dados dos arquivos de peso para cada versão. Essas verificações confirmam a disponibilidade para download, mas não constituem downloads completos dos checkpoints nem testes de saída bem-sucedidos.

Um checkpoint padrão contém cerca de 440,5 GB de dados tensoriais, enquanto para FP8 são aproximadamente 287,1 GB. Esses tamanhos se referem aos dados dos pesos, e não aos requisitos mínimos de memória da GPU. A quantização reduz o volume de armazenamento, mas não transforma o lançamento em um modelo para pequenos dispositivos de consumo.

A documentação de implantação é uma parte importante deste lançamento. A Tencent fornece imagens de contêineres especializados vLLM e SGLang, incluindo exemplos de paralelismo tensorial oito-way. As instruções para Transformers indicam a solicitação de suporte ao modelo, e não pressupõem que o pacote padrão lançado já suporte essa arquitetura.

O script do vLLM também requer memória de host, pois as tabelas Engram são descarregadas na memória da CPU por padrão. A configuração inicial usa um contexto de 8192 tokens; a capacidade declarada do modelo de 1 milhão de tokens não garante que cada configuração de hardware possa suportar tal comprimento. Os guias de memória publicados são estimativas, e não requisitos mínimos medidos.

Os checkpoints utilizam a licença Tencent Hy 1.0, que especifica claramente que não é Apache 2.0, apesar de ter sido derivado dela. A Seção 10 exige uma licença escrita separada para operadores do modelo como serviço cujo rendimento mundial agregado exceda US$ 50 milhões durante um período consecutivo de 12 meses, ou para o uso do modelo em um produto ou serviço com mais de 100 milhões de usuários ativos por mês. Uma exceção estritamente definida para uso interno se aplica quando o modelo e seus resultados não são fornecidos a terceiros.

Portanto, este lançamento pode ser melhor descrito como aberto em termos de pesos de acordo com os termos declarados pela Tencent, e não como código aberto ilimitadamente permitido. A Tencent informa que o lançamento dos pesos do modelo maior Hy4 ainda está em preparação.

Tencent apresenta o modelo Hy4 flash, reduzindo os custos de tarefas de IA em 95% em testes internos
Leia mais
technode.com

Tencent apresenta o modelo Hy4 flash, reduzindo os custos de tarefas de IA em 95% em testes internos

A Tencent lançou na segunda-feira o Hy4 flash, um modelo de inteligência artificial mais econômico, projetado para tarefas cotidianas como criação de apresentações, pesquisa e edição de planilhas.

De acordo com o benchmark interno WorkIndex da Tencent, o custo de execução de uma tarefa pelo modelo Hy4 flash foi de apenas um vigésimo em comparação com o modelo completo Hy4. Os preços da API são definidos da seguinte forma: US$ 0,07 por milhão de tokens de entrada, US$ 0,281 por milhão de tokens de saída e US$ 0,003 por milhão de tokens de entrada cacheados.

O modelo Hy4 flash suporta entrada multimodal e possui uma janela de contexto de até um milhão de tokens. Ele possui 224 bilhões de parâmetros e ativa 12 bilhões de parâmetros durante a passagem direta.

Em um teste cego separado, no qual 85 usuários do WorkBuddy avaliaram os resultados em 259 tarefas, a Tencent informou que o modelo demonstrou um nível de satisfação do usuário próximo ao Claude Haiku 5.5, mantendo o menor custo e o tempo de conclusão mais curto entre os modelos testados.

O modelo está disponível no WorkBuddy e Yuanbao, bem como através do TokenHub na Tencent Cloud. Os usuários do WorkBuddy podem usá-lo gratuitamente até 30 de novembro, e o TokenHub oferece acesso via API com desconto de metade do preço padrão. A Tencent planeja publicar os pesos do modelo e disponibilizá-lo no OpenRouter.

Popular