A Tencent publicou os pesos do modelo Hy4 flash disponíveis para download após o anúncio da API deste modelo em 16 de novembro. Isso foi relatado pelo IT Home em 18 de novembro. Esta atualização representa a possibilidade de obter checkpoints implantáveis, e não uma repetição das especificações e preços da API que foram abordados anteriormente pela Pandaily.
O cartão oficial do modelo da Tencent lista três versões: Hy4 flash, que é um modelo com ajuste de instruções; Hy4 flash-FP8, sua versão quantizada com ajuste de instruções; e Hy4 flash-base, um modelo base pré-treinado. O checkpoint base é destinado a treinamento adicional, e não para substituir as versões prontas para bate-papo.
A Pandaily verificou os três repositórios oficiais no Hugging Face. Os arquivos de índice de pesos referiam-se às listas de shards disponíveis, e as solicitações anônimas de intervalo de bytes retornaram os dados dos arquivos de peso para cada versão. Essas verificações confirmam a disponibilidade para download, mas não constituem downloads completos dos checkpoints nem testes de saída bem-sucedidos.
Um checkpoint padrão contém cerca de 440,5 GB de dados tensoriais, enquanto para FP8 são aproximadamente 287,1 GB. Esses tamanhos se referem aos dados dos pesos, e não aos requisitos mínimos de memória da GPU. A quantização reduz o volume de armazenamento, mas não transforma o lançamento em um modelo para pequenos dispositivos de consumo.
A documentação de implantação é uma parte importante deste lançamento. A Tencent fornece imagens de contêineres especializados vLLM e SGLang, incluindo exemplos de paralelismo tensorial oito-way. As instruções para Transformers indicam a solicitação de suporte ao modelo, e não pressupõem que o pacote padrão lançado já suporte essa arquitetura.
O script do vLLM também requer memória de host, pois as tabelas Engram são descarregadas na memória da CPU por padrão. A configuração inicial usa um contexto de 8192 tokens; a capacidade declarada do modelo de 1 milhão de tokens não garante que cada configuração de hardware possa suportar tal comprimento. Os guias de memória publicados são estimativas, e não requisitos mínimos medidos.
Os checkpoints utilizam a licença Tencent Hy 1.0, que especifica claramente que não é Apache 2.0, apesar de ter sido derivado dela. A Seção 10 exige uma licença escrita separada para operadores do modelo como serviço cujo rendimento mundial agregado exceda US$ 50 milhões durante um período consecutivo de 12 meses, ou para o uso do modelo em um produto ou serviço com mais de 100 milhões de usuários ativos por mês. Uma exceção estritamente definida para uso interno se aplica quando o modelo e seus resultados não são fornecidos a terceiros.
Portanto, este lançamento pode ser melhor descrito como aberto em termos de pesos de acordo com os termos declarados pela Tencent, e não como código aberto ilimitadamente permitido. A Tencent informa que o lançamento dos pesos do modelo maior Hy4 ainda está em preparação.