Tencent Hunyuan publica relatório técnico do Hy-Nomas e lança o benchmark Hy-Nomas-Bench para modelos globais
Leia mais
Pandaily
pandaily.com

Tencent Hunyuan publica relatório técnico do Hy-Nomas e lança o benchmark Hy-Nomas-Bench para modelos globais

Tencent Hunyuan apresentou um relatório técnico sobre Hy-Nomas, seu modelo aberto para geração interativa de mundos, e lançou o Hy-Nomas-Bench — um conjunto de testes para avaliar modelos de vídeo de mundo interativos. O relatório foi publicado no arXiv em 27 de outubro, após o lançamento inicial do código e dos pesos em 21 de outubro.

Hy-Nomas é um modelo de vídeo de mundo baseado em um núcleo de difusão com 8 bilhões de parâmetros. Os usuários podem controlá-lo por várias iterações usando instruções de texto livre, controle contínuo de câmera ou uma combinação de ambos os métodos. O modelo gera o mundo segmento por segmento, garantindo a coerência da cena ao longo do tempo condicionando cada novo segmento à entrada atual e ao histórico salvo.

De acordo com o relatório, o conceito chave reside no alinhamento de legendas de vídeo estruturadas com atenção causal que considera ações. O contexto descritivo permanece disponível entre os segmentos, enquanto as instruções relativas a ações são aplicadas apenas à janela de tempo correspondente. Um melhorador de prompts baseado em visão e linguagem transforma os pedidos do usuário e o histórico de interação em condições estruturadas para o próximo segmento.

O processo de treinamento segue um currículo multifásico. Ele começa com geração causal, depois passa para interação textual e controle de câmera, após o que o modelo é treinado em histórias que ele mesmo gerou, e termina com uma etapa de destilação de difusão. O modelo destilado requer apenas de quatro a oito passos de redução de ruído. Em avaliações humanas, a equipe observou que Hy-Nomas superou os modelos de mundo existentes.

O Hy-Nomas-Bench inclui 280 cenários de teste, cobrindo quatro tarefas: interação textual livre de múltiplas etapas, navegação por câmera, alternância de controle de texto e câmera, e memória espacial. Este conjunto testa a capacidade do modelo de seguir instruções sequenciais, gerar respostas fisicamente plausíveis, executar movimentos de câmera com precisão e manter a coerência da cena quando a câmera retorna a um local visitado anteriormente. O pacote inclui prompts, legendas estruturadas, sequências de interação e trajetórias de câmera de referência, e foi lançado sob a licença Apache 2.0.

O próprio modelo também é distribuído sob a licença Apache 2.0. A Tencent fornece uma configuração INT8 que funciona em uma única RTX 4090 usando histórico de janela deslizante e descarregamento para CPU, bem como um pipeline Diffusers, código para ajuste fino LoRA e uma demonstração web interativa. Entre os adaptadores lançados estão o LoRA cinematográfico e o LoRA para robótica, treinado em dados reais de um robô de dois braços.

Desenvolvedores fora do ecossistema já integraram suporte no SGLang, ComfyUI e WanGP, e um projeto de demonstração da comunidade relatou a geração de 720p em tempo real em TPUs do Google.

Histórias semelhantes

Tencent Hunyuan lança modelo Hy-SimulMT para tradução simultânea de fala com latência de cerca de 3 segundos
Leia mais
pandaily.com

Tencent Hunyuan lança modelo Hy-SimulMT para tradução simultânea de fala com latência de cerca de 3 segundos

Tencent Hunyuan lançou e disponibilizou publicamente o modelo Hy-SimulMT — um sistema de tradução simultânea que traduz fala chinesa para inglês e vice-versa enquanto o falante ainda está falando. Este modelo reproduz a voz do falante em tempo real, permitindo que os ouvintes ouçam uma tradução muito próxima da voz original.

De acordo com informações da IT Home, bem como das páginas do projeto no GitHub e Hugging Face, o modelo está inicialmente disponível gratuitamente no aplicativo Hy Translate. Um parâmetro chave é a latência; a Tencent mede-a usando o indicador padrão para tradução de fluxo StreamLAAL e relata um valor de cerca de 3 segundos no extenso benchmark RealSI, o que é o mais baixo entre os sistemas comparados. O projeto esclarece, no entanto, que o StreamLAAL difere do tempo necessário para ouvir a primeira declaração traduzida.

Para comparação, a IT Home indica que a latência típica de tradutores humanos profissionais varia de 4 a 5 segundos. Em termos de qualidade, a métrica GEMBA do modelo Hy-SimulMT em discursos longos superou modelos abertos em comparação e quatro dos cinco APIs comerciais testados. Em conjuntos de dados curtos, ele obteve resultados de 90,3 no FLEURS, 75,5 no CoVoST2, 81,2 no ACL6060 e 84,7 no RealSI-Sentence, sendo este último o mais alto entre todos os sistemas listados.

A equipe também realizou uma comparação do modelo com tradutores humanos em 18 gravações de cerca de seis minutos cada, gravadas a partir de setembro de 2026 em 10 áreas diferentes. Seis tradutores participaram do estudo: três possuíam a certificação CATTI Nível 1, reconhecida na China, e três possuíam Nível 2, sendo usado o melhor resultado de cada nível. A Tencent chama isso de avaliação em pequena escala. Wang Ziyue, vice-decano da Escola de Interpretação e Pesquisa de Tradução da Universidade de Línguas Estrangeiras de Guangdong, observou em um comunicado de imprensa publicado no lançamento que o sistema primeiro fala e depois se corrige, semelhante a um tradutor humano, e que a tradução por IA está passando de assistência à compreensão para comunicação utilizável em cenários de baixo risco.

O modelo lançado é um sistema do tipo mixture-of-experts com 30B-A3B, disponível em compilações FP8 e GGUF, além de uma opção Interleave, que também fornece a transcrição original. A página do Hugging Face indica a licença Apache 2.0. A Tencent fornece duas ferramentas: SimulInfer, um stack de serviço construído sobre vLLM com interface web, API WebSocket e conversão opcional de texto para fala, e SimulTrain para treinamento adicional com dados específicos. A integração com llama.cpp ainda não foi concluída.

Este lançamento sucede modelos de tradução abertos anteriores da Hunyuan e marca a transição do formato de texto para a fala ao vivo — um ambiente onde a latência é mais crítica.

MOSI e OpenMOSS lançam modelo MOSS-Image de código aberto para controle de texto e layout
Leia mais
pandaily.com

MOSI e OpenMOSS lançam modelo MOSS-Image de código aberto para controle de texto e layout

A equipe da MOSI Intelligence, em colaboração com a equipe do OpenMOSS, apresentou o MOSS-Image, um sistema de conversão de texto para imagem com 5 bilhões de parâmetros. Este sistema é projetado para criar materiais gráficos, como fotos de produtos e pôsteres, onde não apenas a alta qualidade da imagem, mas também o posicionamento denso do texto e a adesão precisa ao layout são críticos.

O lançamento inclui as versões MOSS-Image-Base e MOSS-Image-SFT, que passou por ajuste fino controlado. Os pesos desses modelos estão disponíveis nas plataformas Hugging Face e ModelScope sob a licença Apache 2.0. Um relatório técnico indica que MOSI Intelligence, o Shanghai Institute of Innovation (SII), a Fudan University e a Shanghai Jiao Tong University participaram do desenvolvimento.

Alguns dias após o lançamento, em 16 de outubro, mídias tecnológicas chinesas relataram que o modelo alcançou posições de destaque na lista de tendências text-to-image no Hugging Face. A atividade da comunidade foi alta: o número de downloads e estrelas no GitHub cresceu rapidamente, e o repositório oficial ultrapassou 1.4 mil estrelas. É importante notar que esses números são dados da comunidade e não métricas verificadas pela empresa, e eles mudam constantemente devido à aparição de vários espelhos e pontos de controle destilados.

Desenvolvedores nas plataformas Reddit e X já publicaram testes comparativos com outros modelos de pesos abertos. A comunidade também lançou destilações com passos 8 e 4, pacotes de quantização e fluxos de trabalho para ComfyUI.

A principal vantagem oferecida pela equipe é o controle. O MOSS-Image aceita solicitações de até 4096 tokens e pode utilizar um layout estruturado em JSON, que define texto e objetos usando caixas delimitadoras, em vez de depender exclusivamente da composição definida em linguagem natural. De acordo com o teste da equipe no Long Long Text Benchmark, o modelo demonstra uma cobertura média de texto de 96,3% entre os modelos de pesos abertos.

No benchmark RealLayoutArena, que é um teste cego de design de ponta a ponta, a pontuação Elo do modelo é de 1698,70. Este valor fica aquém do GPT Image 2 ao usar tarefas de design concisas, mas atinge 1807,34 ao aplicar prompts gerais aprimorados, colocando-o em primeiro lugar no segundo grupo de acordo com o próprio sistema de avaliação da equipe.

Arquitetonicamente, o MOSS-Image é um transformador difusivo de fluxo único, pré-treinado do zero. O caminho generativo unificado é alimentado pelo codificador de texto congelado Qwen3.5-9B e pelo autoencoder variacional FLUX.2. Segundo a equipe, a receita de treinamento envolve a filtragem de imagens geradas por IA para preservar maior diversidade fotográfica, e o treinamento foi realizado em plataformas de GPU heterogêneas. Adaptadores para Diffusers, ComfyUI, SGLang e vLLM-Omni já estão disponíveis, e uma API de hospedagem foi lançada na plataforma MOSI.

Fornecer pesos abertos oferece aos designers e desenvolvedores agentes compactos para trabalhos que exigem layout complexo, sem a necessidade de esperar acesso a uma API fechada. Deve-se ressaltar que todos os indicadores de benchmark e classificações apresentados são baseados no relatório da equipe e nos dados da comunidade, e devem ser considerados como auto-relatórios ou sinais coletados da comunidade, e não como resultados laboratoriais independentes.

UBTECH apresenta o Thinker-WM — um modelo de mundo que une vídeo, profundidade e ações de robôs
Leia mais
pandaily.com

UBTECH apresenta o Thinker-WM — um modelo de mundo que une vídeo, profundidade e ações de robôs

A UBTECH divulgou os detalhes do Thinker-WM, um modelo de mundo desenvolvido por sua equipe Thinker. Este modelo é capaz de codificar vídeo RGB, profundidade métrica e ações de robôs em uma única representação comum. A documentação técnica sobre este desenvolvimento está disponível no arXiv.

De acordo com declarações da empresa, o Thinker-WM alcançou o primeiro lugar em três benchmarks para modelos de mundo incorporados. Esses rankings são baseados nos resultados disponíveis no momento do anúncio.

Resultados dos testes do modelo

Segundo a UBTECH, o modelo Thinker-WM obteve um resultado geral de 0,740 na WorldOlympiad. Este benchmark foi criado com base em dados de interação real com robôs e abrange mais de dez robôs e várias configurações de câmeras. Além disso, o modelo atingiu os maiores indicadores individuais de coerência 3D (0,531) e precisão de interação (0,765).

Na plataforma EWMBench, o modelo demonstrou um resultado agregado de 4,66, superando modelos como Qwen-RobotWorld e Sora 2, com os melhores resultados alcançados nas métricas de dinâmica e correspondência de trajetórias. No benchmark de simulação WorldArena 1.0 Track-1, a empresa afirma ter liderado em 12 critérios de avaliação diferentes.

Arquitetura e princípio de funcionamento

O principal argumento a favor do desenvolvimento do Thinker-WM é que muitos modelos de mundo existentes são compostos de partes separadas: a geração de vídeo cuida dos pixels, a rede de políticas cuida das ações e um módulo separado prevê a geometria. A UBTECH acredita que essa abordagem separa sinais fisicamente relacionados. Em vez disso, o Thinker-WM passa cada modalidade por seu próprio codificador em um espaço latente comum e as modela conjuntamente dentro de um Transformer Dinâmico Unificado, antes de decodificar vídeo, mapas de profundidade e ações executáveis. A profundidade é considerada uma saída inerente, e não um auxílio.

Em experimentos de tarefa única no RoboTwin, demonstrou-se que a adição de profundidade aumentou a taxa de sucesso de manipulação em 15 pontos percentuais em comparação com o modelo base, onde a profundidade estava ausente.

Graças ao fato de todas as modalidades usarem o mesmo conjunto de pesos, o modelo pode operar em seis modos diferentes, incluindo geração conjunta de vídeo e ações, previsão do futuro, inferência de política, conversão de vídeo em ações e dinâmica inversa, bastando alterar os dados de entrada e as saídas geradas.

Dados de treinamento

O volume total de dados de treinamento é de cerca de 30.000 horas. Dessas, aproximadamente 20.000 horas são de vídeo em primeira pessoa, gravado em ambientes domésticos, lojas de varejo e fábricas; cerca de 10.000 horas são dados de robôs reais de diferentes tipos; e cerca de 1.000 horas são dados de simulação. Todas as ações dos robôs são apresentadas na forma de poses do efetor final com uma tag específica do corpo, permitindo que diferentes máquinas utilizem o mesmo espaço de geração. Um pipeline de dados chamado Data Factory cuida da amostragem, verificação de qualidade multinível e alinhamento de profundidade e vídeo.

Para verificar se o espaço comum realmente conecta as modalidades, a equipe treinou um pequeno mecanismo de movimento de teste em características visuais congeladas para restaurar o deslocamento do efetor final, o que a UBTECH apresenta como prova de ligação cross-modal.

Popular