Tencent lança o modelo Hy4 com capacidades de visão computacional e controle

Tencent Hunyuan apresentou um relatório técnico sobre Hy-Nomas, seu modelo aberto para geração interativa de mundos, e lançou o Hy-Nomas-Bench — um conjunto de testes para avaliar modelos de vídeo de mundo interativos. O relatório foi publicado no arXiv em 27 de outubro, após o lançamento inicial do código e dos pesos em 21 de outubro.

Hy-Nomas é um modelo de vídeo de mundo baseado em um núcleo de difusão com 8 bilhões de parâmetros. Os usuários podem controlá-lo por várias iterações usando instruções de texto livre, controle contínuo de câmera ou uma combinação de ambos os métodos. O modelo gera o mundo segmento por segmento, garantindo a coerência da cena ao longo do tempo condicionando cada novo segmento à entrada atual e ao histórico salvo.

De acordo com o relatório, o conceito chave reside no alinhamento de legendas de vídeo estruturadas com atenção causal que considera ações. O contexto descritivo permanece disponível entre os segmentos, enquanto as instruções relativas a ações são aplicadas apenas à janela de tempo correspondente. Um melhorador de prompts baseado em visão e linguagem transforma os pedidos do usuário e o histórico de interação em condições estruturadas para o próximo segmento.

O processo de treinamento segue um currículo multifásico. Ele começa com geração causal, depois passa para interação textual e controle de câmera, após o que o modelo é treinado em histórias que ele mesmo gerou, e termina com uma etapa de destilação de difusão. O modelo destilado requer apenas de quatro a oito passos de redução de ruído. Em avaliações humanas, a equipe observou que Hy-Nomas superou os modelos de mundo existentes.

O Hy-Nomas-Bench inclui 280 cenários de teste, cobrindo quatro tarefas: interação textual livre de múltiplas etapas, navegação por câmera, alternância de controle de texto e câmera, e memória espacial. Este conjunto testa a capacidade do modelo de seguir instruções sequenciais, gerar respostas fisicamente plausíveis, executar movimentos de câmera com precisão e manter a coerência da cena quando a câmera retorna a um local visitado anteriormente. O pacote inclui prompts, legendas estruturadas, sequências de interação e trajetórias de câmera de referência, e foi lançado sob a licença Apache 2.0.

O próprio modelo também é distribuído sob a licença Apache 2.0. A Tencent fornece uma configuração INT8 que funciona em uma única RTX 4090 usando histórico de janela deslizante e descarregamento para CPU, bem como um pipeline Diffusers, código para ajuste fino LoRA e uma demonstração web interativa. Entre os adaptadores lançados estão o LoRA cinematográfico e o LoRA para robótica, treinado em dados reais de um robô de dois braços.

Desenvolvedores fora do ecossistema já integraram suporte no SGLang, ComfyUI e WanGP, e um projeto de demonstração da comunidade relatou a geração de 720p em tempo real em TPUs do Google.

O vice-presidente executivo sênior da Tencent, Dong Song, anunciou na Conferência do Ecossistema Digital Global da Tencent, realizada em 29 de outubro, que a empresa planeja lançar em breve os modelos Hy4 e Hy4 flash, adicionando a funcionalidade de compreensão visual à sua linha de modelos de inteligência artificial.

Em comparação com a versão preliminar do Hy4 apresentada em agosto, o modelo completo Hy4 demonstrará melhoria no desempenho em tarefas que exigem raciocínio e execução prolongados, incluindo fluxos de trabalho de produtividade real. Além disso, a Tencent busca aumentar a eficiência do raciocínio.

O modelo Hy4 flash será focado na eficiência econômica, mantendo as capacidades de compreensão visual e funções de agente de IA. A versão preliminar do Hy4 possui um total de 770 bilhões de parâmetros, dos quais 49 bilhões são ativados durante a inferência, e suporta uma janela de contexto de um milhão de tokens. Song observou que a Tencent está desenvolvendo seus modelos e produtos em conjunto para aumentar sua eficácia na aplicação prática.

A Tencent apresentou o Hy-SimulMT, um modelo de código aberto projetado para tradução simultânea de chinês para inglês. Este sistema é capaz de processar continuamente a fala de entrada e fornece saída tanto em texto traduzido quanto em fala.

O modelo inclui uma função de clonagem de voz em tempo real, desenvolvida para preservar as características vocais do falante original. Os usuários podem testar esta tecnologia através do aplicativo Hy Translate da Tencent.

O lançamento inclui os pesos do modelo, software de inferência e ferramentas de treinamento. Em testes no benchmark RealSI para gravações de áudio longas, a Tencent relatou um atraso de tradução de fluxo de cerca de três segundos. No entanto, os indicadores de qualidade de tradução superaram os de outros modelos de código aberto, bem como os de quatro dos cinco APIs comerciais participantes na comparação.

Para geração de fala e clonagem de voz, é necessário um serviço configurado de conversão de texto em fala. Este lançamento também menciona o [Tencent Hunyuan].