A equipe Hy da Tencent apresentou suas intenções relativas ao desenvolvimento de modelos mais amplos e opções de implantação local de menor tamanho durante uma sessão de perguntas e respostas no fórum público do Reddit. Esta discussão ocorreu na manhã de 21 de novembro em Xangai, após os pesos principais Hy4 terem sido lançados um dia antes.
De acordo com um resumo chinês das respostas preparado pelo Zhidx, a equipe declarou que o próximo modelo Hy será significativamente maior e que eles continuarão a investir em treinamento por reforço em grande escala. É importante notar que estas são apenas intenções de desenvolvimento, e não um anúncio de um novo marco, confirmação de número de parâmetros ou data de lançamento estabelecida.
Em relação aos modelos menores, a equipe descreveu o Flash-Lite como trabalho planejado e discutiu modelos destinados a dispositivos com 24 GB de memória GPU. O Hy4-mini também figurou no roteiro, e um modelo denso com parâmetros na faixa de 24 a 31 bilhões foi considerado. As respostas não garantem que todos esses produtos sejam um conjunto coeso ou que qualquer configuração proposta esteja disponível no momento.
Os requisitos de hardware exigem atenção semelhante. A menção a 24 GB de memória de vídeo por si só não define o volume total de RAM do sistema, a quantização, o comprimento do contexto ou a velocidade alcançável. Esses detalhes são necessários antes que os desenvolvedores possam considerar uma resposta do roteiro como uma especificação para hardware de consumo pronto para implementação.
A discussão arquitetônica abordou os compromissos entre o mecanismo de atenção agrupada de consultas (GQA) e a atenção latente multi-cabeça (MLA). Como resumido pelo Zhidx, a equipe observou que o MLA oferece melhor qualidade de modelo com um tamanho de cache chave-valor comparável, mas sua intensidade computacional complicava a decodificação. A implementação do mecanismo de atenção esparsa DSA reduziu essa carga e alterou o equilíbrio preferido da equipe.
A equipe também alertou contra a suposição de que uma maior esparsidade na arquitetura Mixture-of-Experts sempre melhora a implantação. Um modelo excessivamente esparso pode ocupar um volume significativo de memória GPU sem utilizar totalmente a capacidade computacional disponível; a redução de parâmetros ativos mantendo o tamanho geral também pode afetar negativamente a qualidade. Estas afirmações são explicações de design, e não resultados universais de benchmarking para cada implementação.
A postagem inicial em formato AMA aberto confirma a realização da sessão e a participação de indivíduos, mas os detalhes das respostas são baseados em uma compilação chinesa, e não em transcrições de comentários obtidas independentemente. O valor prático reside na apresentação mais clara das prioridades de pesquisa e soluções de engenharia, e não em outro anúncio de que os pesos Hy4 estão disponíveis para download.



