A equipe Tongyi Wan da Alibaba apresentou o Wan-Animate-2, um framework para animação de personagens que agora está disponível em código aberto. A arquitetura deste sistema elimina completamente a necessidade de extrair poses esqueléticas e comprimir características de movimento, alimentando diretamente o sinal de vídeo no Transformer de difusão. Como resultado, foi criada uma sistema capaz de operar a 24 quadros por segundo e, em comparações diretas, demonstra resultados comparáveis aos líderes comerciais fechados, como o Dreamina da ByteDance e o KLING MotionControl da Kuaishou.
A principal novidade do Wan-Animate-2 reside no que ele evita. Métodos anteriores exigiam uma etapa intermediária de avaliação de pose, que transformava o vídeo original em um esqueleto. Este processo não apenas comprimia informações, mas também introduzia falhas críticas na falha do esqueleto. O Wan-Animate-2 mantém o sinal de controle em forma de pixels brutos, permitindo que o Transformer de difusão aprenda a correspondência por conta própria, o que leva a uma distorção das mãos notavelmente mais limpa e à redução de artefatos nos membros durante movimentos complexos.
As capacidades do framework vão além da animação de um único personagem; ele suporta cenários com múltiplos personagens e várias câmeras. Um único clipe de vídeo de controle pode controlar simultaneamente vários personagens alvo, e a mesma animação pode ser renderizada a partir de diferentes posições de câmera definidas sem a necessidade de retreinamento. O sistema também lida de forma estável com proporções de aspecto não padrão e diferentes tipos de constituição corporal dos personagens, eliminando a fragilidade que atormentou a maioria dos projetos de animação de personagens de código aberto por muito tempo.
O significado prático desta conquista é estrutural. A animação de personagens tem sido um gargalo na criação de vídeos de alto nível comercial por muito tempo. Os modelos de geração podiam criar cenas, o composição podia posicionar os personagens, mas obter um personagem estilizado executando um movimento arbitrário mantendo sua identidade quase sempre recaía na animação quadro a quadro manual. O Wan-Animate-2 preenche essa lacuna, fornecendo pesos que qualquer desenvolvedor pode executar localmente.
Os planos mais amplos da Alibaba dentro da família Tongyi Wan estão se tornando mais claros. O Wan 3.0, lançado anteriormente em agosto, forneceu geração de vídeo com entrada de documentos para uso corporativo. O Wan-Animate-2 abre possibilidades de animação de personagens para a comunidade de desenvolvedores e criadores. Esses dois lançamentos juntos cobrem ambas as extremidades do ciclo de produção. Para o ecossistema de vídeo de código aberto, a questão mais importante deixou de ser se os laboratórios chineses poderiam corresponder à qualidade dos produtos comerciais fechados — eles já fizeram isso. A questão agora é a velocidade de integração do novo modelo nas ferramentas de pós-processamento.
