Tencent Hunyuan apresentou um relatório técnico sobre Hy-Nomas, seu modelo aberto para geração interativa de mundos, e lançou o Hy-Nomas-Bench — um conjunto de testes para avaliar modelos de vídeo de mundo interativos. O relatório foi publicado no arXiv em 27 de outubro, após o lançamento inicial do código e dos pesos em 21 de outubro.
Hy-Nomas é um modelo de vídeo de mundo baseado em um núcleo de difusão com 8 bilhões de parâmetros. Os usuários podem controlá-lo por várias iterações usando instruções de texto livre, controle contínuo de câmera ou uma combinação de ambos os métodos. O modelo gera o mundo segmento por segmento, garantindo a coerência da cena ao longo do tempo condicionando cada novo segmento à entrada atual e ao histórico salvo.
De acordo com o relatório, o conceito chave reside no alinhamento de legendas de vídeo estruturadas com atenção causal que considera ações. O contexto descritivo permanece disponível entre os segmentos, enquanto as instruções relativas a ações são aplicadas apenas à janela de tempo correspondente. Um melhorador de prompts baseado em visão e linguagem transforma os pedidos do usuário e o histórico de interação em condições estruturadas para o próximo segmento.
O processo de treinamento segue um currículo multifásico. Ele começa com geração causal, depois passa para interação textual e controle de câmera, após o que o modelo é treinado em histórias que ele mesmo gerou, e termina com uma etapa de destilação de difusão. O modelo destilado requer apenas de quatro a oito passos de redução de ruído. Em avaliações humanas, a equipe observou que Hy-Nomas superou os modelos de mundo existentes.
O Hy-Nomas-Bench inclui 280 cenários de teste, cobrindo quatro tarefas: interação textual livre de múltiplas etapas, navegação por câmera, alternância de controle de texto e câmera, e memória espacial. Este conjunto testa a capacidade do modelo de seguir instruções sequenciais, gerar respostas fisicamente plausíveis, executar movimentos de câmera com precisão e manter a coerência da cena quando a câmera retorna a um local visitado anteriormente. O pacote inclui prompts, legendas estruturadas, sequências de interação e trajetórias de câmera de referência, e foi lançado sob a licença Apache 2.0.
O próprio modelo também é distribuído sob a licença Apache 2.0. A Tencent fornece uma configuração INT8 que funciona em uma única RTX 4090 usando histórico de janela deslizante e descarregamento para CPU, bem como um pipeline Diffusers, código para ajuste fino LoRA e uma demonstração web interativa. Entre os adaptadores lançados estão o LoRA cinematográfico e o LoRA para robótica, treinado em dados reais de um robô de dois braços.
Desenvolvedores fora do ecossistema já integraram suporte no SGLang, ComfyUI e WanGP, e um projeto de demonstração da comunidade relatou a geração de 720p em tempo real em TPUs do Google.



