A VAST, uma empresa especializada em IA generativa em 3D e por trás da plataforma Tripo, tornou o modelo EdenLive público. Este modelo opera em tempo real e é capaz de pegar frames de jogos simplificados ou vídeos existentes, redesenhando-os continuamente em imagens detalhadas em um estilo escolhido, que pode variar de fotorrealista a anime.
O lançamento inclui pesos de modelos de 5B e 14B, código para inferência em tempo real, um relatório técnico e demonstrações de uso ponta a ponta. É importante notar que o EdenLive não simula o mundo por conta própria; em vez disso, um programa superior, como um motor de jogo ou código escrito por um agente de codificação, é responsável por aplicar as regras, rastrear o estado do mundo e gerar um vídeo de referência bruto.
Após receber este vídeo de referência, o EdenLive realiza o render, guiado pelo primeiro frame definido e pelo prompt de texto. A VAST afirma que essa separação permite manter a lógica do jogo explícita e testável, enquanto as capacidades limitadas do modelo em tempo real são focadas exclusivamente na aparência.
A abordagem foi apresentada pela primeira vez em junho no âmbito de uma pesquisa mundial mais ampla conhecida como Projeto Eden. De acordo com a VAST, o modelo de 5B é capaz de operar com uma taxa superior a 24 quadros por segundo em resolução 720p em uma única placa Nvidia RTX 5090. No arquivo README do GitHub, esse número é indicado aproximadamente como 24.7 FPS em resolução de 1280 por 704 pixels, utilizando aceleração do framework de inferência LightX2V.
O relatório técnico relata uma taxa de 29.8 FPS na mesma resolução em um único H100, bem como 26.8 FPS em resolução de 832 por 480 para o modelo de 14B rodando em oito H100. A VAST afirma que a latência total desde a entrada do usuário até o quadro correspondente é de centenas de milissegundos, e o sistema pode gerar conteúdo continuamente por vários minutos.
Ambos os modelos são baseados nos modelos de vídeo Wan2.2-TI2V-5B e Wan2.1-I2V-14B. O código de inferência e os principais pesos de difusão, VAE e decodificador são distribuídos sob a licença Apache 2.0, mas nem todos os componentes possuem essa licença. O codificador visual utiliza a licença DINOv3, e o modelo de imagem usado no espaço de trabalho de solicitação para jogo está sob a Licença Não Comercial FLUX, o que restringe o uso desse espaço de trabalho a fins não comerciais.
A VAST também apresentou o Game Prototype Turbo — um recurso que transforma um prompt de texto em um jogo jogável bruto, que pode então ser renderizado pelo EdenLive. As demonstrações da VAST incluem um plataforma onde o personagem congela lava para criar pontos de apoio, um jogo de luta multiplayer onde as barras de vida e o cronômetro de rodada são rastreados pelo sistema superior, e o render de vídeo que transforma uma pessoa filmada contra um fundo azul em um personagem de desenho animado. Além disso, o modelo demonstra a substituição de mãos humanas por robóticas em filmagens de primeira pessoa para criar dados de treinamento adicionais para IA incorporada.
A VAST observa que, atualmente, o EdenLive é mais adequado para interações de baixa frequência, como inspeção de cenas e quebra-cabeças de empurrar caixas. Jogabilidade rápida e intensa, manutenção da coerência de múltiplos personagens, controle fino de objetos pequenos e estabilidade visual em sessões longas ainda requerem melhorias.
