Команда Tongyi Wan из Alibaba представила Wan-Animate-2, фреймворк для анимации персонажей, который теперь доступен в открытом доступе. Архитектура этой системы полностью исключает необходимость извлечения скелетной позы и сжатия движущих характеристик, напрямую подавая видеосигнал в диффузионный Трансформер. В результате была создана система, способная работать со скоростью 24 кадра в секунду, и в прямых сравнениях демонстрирует результаты, сопоставимые с закрытыми коммерческими лидерами, такими как Dreamina от ByteDance и KLING MotionControl от Kuaishou.
Прорыв Wan-Animate-2 заключается именно в том, что он обходит старые методы. Предыдущие рабочие процессы требовали промежуточного этапа оценки позы, который преобразовывал исходное видео в скелетный каркас. Этот процесс одновременно сжимал информацию и создавал проблемы с отказом при сбое каркаса. Wan-Animate-2 сохраняет управляющий сигнал в виде сырых пикселей, позволяя диффузионному Трансформеру самостоятельно изучить соответствие, что приводит к заметно более чистому искажению рук и меньшему количеству артефактов конечностей при сложных движениях.
Возможности фреймворка выходят за рамки анимации одного персонажа; он поддерживает сценарии с несколькими персонажами и множеством камер. Один управляющий видеоролик может одновременно управлять несколькими целевыми персонажами, а одну и ту же анимацию можно отрисовать с разных заданных положений камеры без необходимости повторного обучения. Система также стабильно справляется с нестандартными соотношениями сторон и различными типами телосложения персонажей, устраняя хрупкость, которая долгое время преследовала большинство проектов по анимации персонажей с открытым исходным кодом.
Практическое значение этого достижения структурно. Анимация персонажей долгое время являлась узким местом в создании видео высокого коммерческого уровня. Модели генерации могли создавать сцены, композитинг мог размещать персонажей, однако получение стилизованного персонажа, выполняющего произвольное движение при сохранении своей идентичности, почти всегда перекладывалось на ручную покадровую анимацию. Wan-Animate-2 устраняет этот пробел, предоставляя веса, которые любой разработчик может запустить локально.
Более широкие планы Alibaba в рамках семейства Tongyi Wan становятся яснее. Wan 3.0, выпущенный ранее в августе, обеспечил генерацию видео с вводом документов для корпоративного использования. Wan-Animate-2 открывает возможности анимации персонажей для сообщества разработчиков и создателей. Эти два выпуска вместе охватывают оба конца производственного цикла. Для экосистемы видео с открытым исходным кодом более важным вопросом перестало быть, смогут ли китайские лаборатории соответствовать качеству закрытых коммерческих продуктов — они уже это сделали. Вопрос теперь заключается в скорости интеграции новой модели в инструменты последующей обработки.
