Equipe Hy da Tencent apresenta planos para criar modelos maiores e um roteiro de implantação de 24 GB
Leia mais
Pandaily
pandaily.com

Equipe Hy da Tencent apresenta planos para criar modelos maiores e um roteiro de implantação de 24 GB

A equipe Hy da Tencent apresentou suas intenções relativas ao desenvolvimento de modelos mais amplos e opções de implantação local de menor tamanho durante uma sessão de perguntas e respostas no fórum público do Reddit. Esta discussão ocorreu na manhã de 21 de novembro em Xangai, após os pesos principais Hy4 terem sido lançados um dia antes.

De acordo com um resumo chinês das respostas preparado pelo Zhidx, a equipe declarou que o próximo modelo Hy será significativamente maior e que eles continuarão a investir em treinamento por reforço em grande escala. É importante notar que estas são apenas intenções de desenvolvimento, e não um anúncio de um novo marco, confirmação de número de parâmetros ou data de lançamento estabelecida.

Em relação aos modelos menores, a equipe descreveu o Flash-Lite como trabalho planejado e discutiu modelos destinados a dispositivos com 24 GB de memória GPU. O Hy4-mini também figurou no roteiro, e um modelo denso com parâmetros na faixa de 24 a 31 bilhões foi considerado. As respostas não garantem que todos esses produtos sejam um conjunto coeso ou que qualquer configuração proposta esteja disponível no momento.

Os requisitos de hardware exigem atenção semelhante. A menção a 24 GB de memória de vídeo por si só não define o volume total de RAM do sistema, a quantização, o comprimento do contexto ou a velocidade alcançável. Esses detalhes são necessários antes que os desenvolvedores possam considerar uma resposta do roteiro como uma especificação para hardware de consumo pronto para implementação.

A discussão arquitetônica abordou os compromissos entre o mecanismo de atenção agrupada de consultas (GQA) e a atenção latente multi-cabeça (MLA). Como resumido pelo Zhidx, a equipe observou que o MLA oferece melhor qualidade de modelo com um tamanho de cache chave-valor comparável, mas sua intensidade computacional complicava a decodificação. A implementação do mecanismo de atenção esparsa DSA reduziu essa carga e alterou o equilíbrio preferido da equipe.

A equipe também alertou contra a suposição de que uma maior esparsidade na arquitetura Mixture-of-Experts sempre melhora a implantação. Um modelo excessivamente esparso pode ocupar um volume significativo de memória GPU sem utilizar totalmente a capacidade computacional disponível; a redução de parâmetros ativos mantendo o tamanho geral também pode afetar negativamente a qualidade. Estas afirmações são explicações de design, e não resultados universais de benchmarking para cada implementação.

A postagem inicial em formato AMA aberto confirma a realização da sessão e a participação de indivíduos, mas os detalhes das respostas são baseados em uma compilação chinesa, e não em transcrições de comentários obtidas independentemente. O valor prático reside na apresentação mais clara das prioridades de pesquisa e soluções de engenharia, e não em outro anúncio de que os pesos Hy4 estão disponíveis para download.

Histórias semelhantes

Tencent lança pesos do modelo Hy4 com janela de contexto de um milhão de tokens
Leia mais
technode.com

Tencent lança pesos do modelo Hy4 com janela de contexto de um milhão de tokens

A Tencent divulgou na sexta-feira os pesos de seu modelo de inteligência artificial principal, Hy4, permitindo que desenvolvedores baixem e implementem este modelo por conta própria. Este lançamento ocorreu após o lançamento inicial do Hy4 em 4 de novembro e torna o modelo principal disponível sob a licença Apache 2.0, que permite uso comercial e modificação.

O modelo Hy4 é capaz de entender texto, imagens e vídeos, possuindo uma janela de contexto de cerca de um milhão de tokens. Sua estrutura linguística do tipo 'mistura de especialistas' contém 770 bilhões de parâmetros, sendo que 49 bilhões de parâmetros são ativados para processar cada token.

De acordo com a Tencent, esta versão do modelo supera a pré-visualização do Hy4 em áreas como seguimento de instruções, compreensão de contexto longo, execução de tarefas avançadas e pesquisa científica.

O modelo suporta fluxos de trabalho que abrangem interfaces gráficas e ferramentas de linha de comando, bem como desenvolvimento frontend, design de jogos e tarefas de escritório. A Tencent fornece instruções de implantação para vLLM e SGLang, além de recursos para ajuste fino e um mapa de avaliação de segurança. O lançamento do modelo principal seguiu o lançamento separado de um modelo menor, o Hy4 flash.

Modelo Hunyuan Hy4 flash da Tencent ultrapassou 50 trilhões de tokens no primeiro dia de uso
Leia mais
technode.com

Modelo Hunyuan Hy4 flash da Tencent ultrapassou 50 trilhões de tokens no primeiro dia de uso

A Tencent anunciou que seu modelo Hunyuan Hy4 flash processou mais de 50 trilhões de tokens apenas no primeiro dia após o lançamento em 16 de novembro. Este número foi o mais alto entre todos os modelos da série Hunyuan no primeiro dia de operação.

O forte início do Hy4 flash também se refletiu em seu desempenho em várias plataformas. Em 17 de novembro, o modelo ocupou o primeiro lugar no ranking diário de LLMs no OpenRouter.

Além disso, a Tencent observou que na sua plataforma WorkBuddy, o Hy4 flash demonstrou um volume de uso dez vezes maior em comparação com seu antecessor, o Hy4 preview, e ajudou a completar mais de 50 milhões de tarefas de usuários reais.

De acordo com dados da Tencent, o Hy4 flash utiliza uma arquitetura de ativação híbrida e possui um total de 224 bilhões de parâmetros, incluindo 64 bilhões de parâmetros Engram, sendo que 12 bilhões de parâmetros são ativados durante a inferência. O modelo também suporta processamento multimodal e uma janela de contexto de até 1 milhão de tokens, com velocidade de geração atingindo cerca de 200 tokens por segundo.

Um ponto de destaque é o equilíbrio entre desempenho e custo oferecido pelo Hy4 flash. De acordo com a precificação da Tencent, o modelo custa apenas 0,5 yuan (US$ 0,07) por milhão de tokens de entrada e 2 yuans (US$ 0,3) por milhão de tokens de saída, enquanto os tokens de entrada em cache custam apenas 0,02 yuan (US$ 0,003) por milhão.

Com base no benchmark interno WorkIndex da Tencent, que avalia tarefas de escritório padrão, o Hy4 flash custa apenas um trigésimo terceiro em comparação com o Hy4 preview e um vigésimo em comparação com o Hy4 para executar uma tarefa. Seu custo também é de aproximadamente um oitavo do custo dos modelos leves principais na mesma categoria.

Essas vantagens tornam o modelo particularmente adequado para operações de escritório frequentes, como criação e edição de apresentações, processamento de documentos, recuperação de planilhas, processamento de áudio e vídeo, bem como compreensão visual.

O lançamento ocorreu após um pico anterior de demanda pelo Hy4. Quando o modelo apareceu pela primeira vez no WorkBuddy em 4 de novembro, a demanda impulsionada por suas capacidades de agente superou as expectativas, e muitos usuários atingiram os limites de uso no primeiro dia. Em resposta, a Tencent aumentou os clusters de inferência do Hy4 em dez vezes e expandiu as cotas de uso gratuito.

No entanto, desta vez, a equipe aparentemente se preparou mais cuidadosamente para a alta competitividade antes do lançamento do Hy4 flash, e atualmente não há relatos de problemas generalizados com limites de uso.

Este desenvolvimento também reflete uma mudança mais ampla no cenário competitivo da indústria de inteligência artificial. À medida que o uso diário de tokens na China continua a crescer, os tokens estão se tornando um indicador cada vez mais importante de adoção de IA. Enquanto isso, autoridades locais em todo o país estão introduzindo novas medidas, desde capacidade computacional e vouchers para modelos até financiamento baseado em tokens, para tornar os serviços de IA mais acessíveis.

A concorrência agora é determinada não apenas pelo número de parâmetros ou pelo desempenho do modelo. Garantir bons resultados mantendo baixos custos operacionais está se tornando igualmente importante. O lançamento do Hy4 flash com 50 trilhões de tokens envia um sinal claro: o mercado precisa não apenas de modelos de IA mais poderosos, mas também de modelos suficientemente acessíveis para uso diário frequente.

No entanto, ainda existe uma lacuna entre o alto uso inicial e o valor comercial de longo prazo. A concorrência entre modelos leves de IA pode cada vez mais se resumir não apenas a preços e uso de tokens. O verdadeiro desafio é fornecer soluções para necessidades comerciais reais de forma estável e confiável, mantendo os custos gerais baixos. Para a Hunyuan da Tencent, o forte lançamento do Hy4 flash é um começo promissor, mas sua capacidade de transformar o impulso inicial de uso em valor sustentável para os usuários será um teste crucial no futuro.

Tencent lança pesos do modelo Hy4 flash para implantação local
Leia mais
technode.com

Tencent lança pesos do modelo Hy4 flash para implantação local

A Tencent divulgou na quarta-feira os pesos de seu modelo de inteligência artificial Hy4 flash. Este lançamento ocorreu dois dias após o modelo ter sido apresentado aos usuários através dos aplicativos e da API em nuvem da empresa. Os desenvolvedores agora têm a opção de baixar a versão padrão do modelo, sua versão no formato FP8, bem como o modelo base para treinamento adicional.

Este lançamento está de acordo com uma declaração anterior da Tencent sobre seus planos de tornar os pesos deste modelo públicos. O modelo Hy4 flash é capaz de processar entradas de texto e gráficos, e sua janela de contexto atinge um milhão de tokens.

O modelo possui aproximadamente 224 bilhões de parâmetros, sendo que cerca de 12 bilhões de parâmetros são ativados para cada token. O principal objetivo do Hy4 flash é aumentar o desempenho diário em tarefas como preparação de documentos, condução de pesquisas e trabalho com planilhas. A Tencent acompanhou os pesos com materiais relevantes para implantação, distribuindo-os sob a licença Tencent Hy.

Popular