VAST, компания, специализирующаяся на генеративном ИИ в 3D и стоящая за платформой Tripo, сделала модель EdenLive общедоступной. Эта модель работает в режиме реального времени и способна брать упрощенные игровые кадры или существующее видео, непрерывно перерисовывая их в детальные изображения в выбранном стиле, который может варьироваться от фотореалистичного до аниме.
Выпуск включает веса моделей размером 5B и 14B, код для инференса в реальном времени, технический отчет и демонстрации сквозного использования. Важно отметить, что EdenLive самостоятельно не симулирует мир; вместо этого вышестоящая программа, например игровой движок или код, написанный агентом кодирования, отвечает за соблюдение правил, отслеживание состояния мира и вывод грубого эталонного видео.
После получения этого эталонного видео, EdenLive выполняет рендеринг, руководствуясь заданным первым кадром и текстовым запросом. VAST утверждает, что такое разделение позволяет сохранить игровую логику явной и пригодной для тестирования, а ограниченные возможности модели в реальном времени сосредоточить исключительно на внешнем виде.
Подход был впервые представлен в июне в рамках более масштабного исследования мира, известного как Проект Eden. Согласно заявлениям VAST, модель 5B способна работать с частотой выше 24 кадров в секунду при разрешении 720p на одной видеокарте Nvidia RTX 5090. В файле README на GitHub эта цифра указана примерно как 24.7 FPS при разрешении 1280 на 704 пикселя, используя ускорение от фреймворка инференса LightX2V.
Технический отчет сообщает о показателе 29.8 FPS при том же разрешении на одном H100, а также 26.8 FPS при разрешении 832 на 480 для модели 14B, работающей на восьми H100. VAST заявляет, что общая задержка от ввода пользователя до соответствующего кадра составляет сотни миллисекунд, и система может генерировать контент непрерывно в течение нескольких минут.
Обе модели основаны на видеомоделях Wan2.2-TI2V-5B и Wan2.1-I2V-14B. Код инференса и основные веса диффузии, VAE и декодера распространяются под лицензией Apache 2.0, однако не все компоненты имеют такую лицензию. Визуальный энкодер использует лицензию DINOv3, а модель изображения, применяемая в рабочем пространстве от запроса к игре, находится под Некоммерческой лицензией FLUX, что ограничивает использование этого рабочего пространства некоммерческими целями.
VAST также представила Game Prototype Turbo — навык, который преобразует текстовый запрос в грубую играбельную игру, которую затем может отрендерить EdenLive. Демонстрации VAST включают платформер, где персонаж замораживает лаву для создания опорных точек, двухпользовательскую файтинг-игру, где отслеживаются полоски здоровья и таймер раунда вышестоящей системой, а также рендеринг видео, превращающий человека, снятого на синий фон, в мультяшного персонажа. Кроме того, модель демонстрирует замену человеческих рук на роботизированные в футаже от первого лица для создания дополнительных обучающих данных для воплощенного ИИ.
VAST отмечает, что в настоящее время EdenLive лучше всего подходит для взаимодействия низкой частоты, такого как осмотр сцен и головоломки с толканием ящиков. Быстрый, интенсивный геймплей, поддержание согласованности нескольких персонажей, тонкий контроль над мелкими объектами и визуальная стабильность в длительных сессиях все еще требуют доработки.