Tencent lança pesos do modelo principal Hy4 sob licença com condições
Leia mais
Pandaily
pandaily.com

Tencent lança pesos do modelo principal Hy4 sob licença com condições

A Tencent publicou os pesos baixáveis de seu modelo principal Hy4 em 20 de novembro, acompanhando o lançamento de um novo Mapa de Sistema. Este lançamento ocorreu após o lançamento do serviço em 4 de novembro e difere dos pontos de controle anteriores do Hy4 que estavam disponíveis esta semana.

O cartão oficial do modelo descreve um sistema multimodal do tipo 'mixture-of-experts' com um núcleo de linguagem contendo 770 bilhões de parâmetros. Ao ser ativado, 49 bilhões de parâmetros são usados para cada token de texto, e a janela de contexto atinge 1.048.576 tokens. O cálculo do núcleo não inclui o codificador de visão, o adaptador e o componente de rascunho DFly2.

A Tencent forneceu aos desenvolvedores vários pontos de partida para treinamento ou implementação futuros, incluindo as instruções Hy4, Hy4-FP8 e os pontos de controle básicos do Hy4.

A Pandaily confirmou o recebimento de um pequeno intervalo de bytes de um dos shards de peso em cada um dos três repositórios. No entanto, a empresa não baixou os pontos de controle completos nem realizou inferência.

A documentação de implantação contém receitas para vLLM e SGLang usando paralelismo tensorial oito-way; estas são implementações de infraestrutura significativas, e não uma prova de que o modelo principal funciona em um laptop comum.

Os pesos utilizam a licença Tencent Hy License 1.0, e não a Apache 2.0. Condições comerciais adicionais se aplicam aos operadores que fornecem inferência remota de propósito geral ou ajuste fino a terceiros. Operadores de modelo como serviço devem obter permissão por escrito separada se sua receita bruta mundial agregada exceder US$ 50 milhões em qualquer período consecutivo de 12 meses, independentemente de o Hy4 ter gerado essa receita, ou antes de usar o modelo em um produto ou serviço com mais de 100 milhões de usuários ativos em qualquer mês civil.

A licença exclui fluxos de trabalho de usuário final com funcionalidade limitada e simples retransmissão para serviços de modelos gerenciados independentemente da sua definição de modelo como serviço. Uma exceção estreita para uso interno exige que o modelo, seus derivados ou resultados não sejam fornecidos a terceiros. Portanto, esses limites não devem ser apresentados como uma restrição abrangente para cada usuário comercial.

A Tencent também aponta para a filtragem de material de treinamento malicioso de segurança cibernética e a realização de auditorias internas de segurança por especialistas. Essas avaliações são emitidas pelo emissor e não são garantias independentes de que o modelo não pode ser usado indevidamente. Os desenvolvedores que avaliam a implantação ainda devem realizar sua própria avaliação de desempenho de tarefas, requisitos de recursos e medidas de segurança.

A mudança prática reside no acesso aos artefatos do modelo principal e nas condições que regulam seu uso, e não em um novo lançamento das capacidades anteriormente anunciadas do Hy4 em visão e computação.

Histórias semelhantes

Tencent lança pesos do modelo Hy4 com janela de contexto de um milhão de tokens
Leia mais
technode.com

Tencent lança pesos do modelo Hy4 com janela de contexto de um milhão de tokens

A Tencent divulgou na sexta-feira os pesos de seu modelo de inteligência artificial principal, Hy4, permitindo que desenvolvedores baixem e implementem este modelo por conta própria. Este lançamento ocorreu após o lançamento inicial do Hy4 em 4 de novembro e torna o modelo principal disponível sob a licença Apache 2.0, que permite uso comercial e modificação.

O modelo Hy4 é capaz de entender texto, imagens e vídeos, possuindo uma janela de contexto de cerca de um milhão de tokens. Sua estrutura linguística do tipo 'mistura de especialistas' contém 770 bilhões de parâmetros, sendo que 49 bilhões de parâmetros são ativados para processar cada token.

De acordo com a Tencent, esta versão do modelo supera a pré-visualização do Hy4 em áreas como seguimento de instruções, compreensão de contexto longo, execução de tarefas avançadas e pesquisa científica.

O modelo suporta fluxos de trabalho que abrangem interfaces gráficas e ferramentas de linha de comando, bem como desenvolvimento frontend, design de jogos e tarefas de escritório. A Tencent fornece instruções de implantação para vLLM e SGLang, além de recursos para ajuste fino e um mapa de avaliação de segurança. O lançamento do modelo principal seguiu o lançamento separado de um modelo menor, o Hy4 flash.

Tencent lança pesos do modelo Hy4 flash para implantação local
Leia mais
technode.com

Tencent lança pesos do modelo Hy4 flash para implantação local

A Tencent divulgou na quarta-feira os pesos de seu modelo de inteligência artificial Hy4 flash. Este lançamento ocorreu dois dias após o modelo ter sido apresentado aos usuários através dos aplicativos e da API em nuvem da empresa. Os desenvolvedores agora têm a opção de baixar a versão padrão do modelo, sua versão no formato FP8, bem como o modelo base para treinamento adicional.

Este lançamento está de acordo com uma declaração anterior da Tencent sobre seus planos de tornar os pesos deste modelo públicos. O modelo Hy4 flash é capaz de processar entradas de texto e gráficos, e sua janela de contexto atinge um milhão de tokens.

O modelo possui aproximadamente 224 bilhões de parâmetros, sendo que cerca de 12 bilhões de parâmetros são ativados para cada token. O principal objetivo do Hy4 flash é aumentar o desempenho diário em tarefas como preparação de documentos, condução de pesquisas e trabalho com planilhas. A Tencent acompanhou os pesos com materiais relevantes para implantação, distribuindo-os sob a licença Tencent Hy.

Tencent lançou os pesos do modelo Hy4 flash para download em três versões
Leia mais
pandaily.com

Tencent lançou os pesos do modelo Hy4 flash para download em três versões

A Tencent publicou os pesos do modelo Hy4 flash disponíveis para download após o anúncio da API deste modelo em 16 de novembro. Isso foi relatado pelo IT Home em 18 de novembro. Esta atualização representa a possibilidade de obter checkpoints implantáveis, e não uma repetição das especificações e preços da API que foram abordados anteriormente pela Pandaily.

O cartão oficial do modelo da Tencent lista três versões: Hy4 flash, que é um modelo com ajuste de instruções; Hy4 flash-FP8, sua versão quantizada com ajuste de instruções; e Hy4 flash-base, um modelo base pré-treinado. O checkpoint base é destinado a treinamento adicional, e não para substituir as versões prontas para bate-papo.

A Pandaily verificou os três repositórios oficiais no Hugging Face. Os arquivos de índice de pesos referiam-se às listas de shards disponíveis, e as solicitações anônimas de intervalo de bytes retornaram os dados dos arquivos de peso para cada versão. Essas verificações confirmam a disponibilidade para download, mas não constituem downloads completos dos checkpoints nem testes de saída bem-sucedidos.

Um checkpoint padrão contém cerca de 440,5 GB de dados tensoriais, enquanto para FP8 são aproximadamente 287,1 GB. Esses tamanhos se referem aos dados dos pesos, e não aos requisitos mínimos de memória da GPU. A quantização reduz o volume de armazenamento, mas não transforma o lançamento em um modelo para pequenos dispositivos de consumo.

A documentação de implantação é uma parte importante deste lançamento. A Tencent fornece imagens de contêineres especializados vLLM e SGLang, incluindo exemplos de paralelismo tensorial oito-way. As instruções para Transformers indicam a solicitação de suporte ao modelo, e não pressupõem que o pacote padrão lançado já suporte essa arquitetura.

O script do vLLM também requer memória de host, pois as tabelas Engram são descarregadas na memória da CPU por padrão. A configuração inicial usa um contexto de 8192 tokens; a capacidade declarada do modelo de 1 milhão de tokens não garante que cada configuração de hardware possa suportar tal comprimento. Os guias de memória publicados são estimativas, e não requisitos mínimos medidos.

Os checkpoints utilizam a licença Tencent Hy 1.0, que especifica claramente que não é Apache 2.0, apesar de ter sido derivado dela. A Seção 10 exige uma licença escrita separada para operadores do modelo como serviço cujo rendimento mundial agregado exceda US$ 50 milhões durante um período consecutivo de 12 meses, ou para o uso do modelo em um produto ou serviço com mais de 100 milhões de usuários ativos por mês. Uma exceção estritamente definida para uso interno se aplica quando o modelo e seus resultados não são fornecidos a terceiros.

Portanto, este lançamento pode ser melhor descrito como aberto em termos de pesos de acordo com os termos declarados pela Tencent, e não como código aberto ilimitadamente permitido. A Tencent informa que o lançamento dos pesos do modelo maior Hy4 ainda está em preparação.

Popular