VAST, जो 3डी में जेनरेटिव एआई में विशेषज्ञता रखता है और Tripo प्लेटफॉर्म के पीछे है, ने EdenLive मॉडल को सार्वजनिक कर दिया है। यह मॉडल वास्तविक समय में काम करता है और सरलीकृत गेम फ्रेम या मौजूदा वीडियो को लेता है, उन्हें चुने हुए शैली में विस्तृत छवियों में लगातार फिर से प्रस्तुत करता है, जो फोटो-यथार्थवादी से लेकर एनीमे तक भिन्न हो सकती है।
इस रिलीज़ में 5B और 14B आकार के मॉडल वेट्स, वास्तविक समय इन्फेरेंस के लिए कोड, एक तकनीकी रिपोर्ट और एंड-टू-एंड डेमो शामिल हैं। यह ध्यान रखना महत्वपूर्ण है कि EdenLive स्वयं दुनिया का अनुकरण नहीं करता है; इसके बजाय, एक उच्च-स्तरीय प्रोग्राम, जैसे गेम इंजन या कोडिंग एजेंट द्वारा लिखा गया कोड, नियमों का पालन करने, दुनिया की स्थिति को ट्रैक करने और एक मोटे संदर्भ वीडियो को आउटपुट करने के लिए जिम्मेदार होता है।
इस संदर्भ वीडियो को प्राप्त करने के बाद, EdenLive निर्दिष्ट पहले फ्रेम और टेक्स्ट प्रॉम्प्ट का मार्गदर्शन करते हुए रेंडरिंग करता है। VAST का तर्क है कि इस अलगाव से गेम लॉजिक को स्पष्ट और परीक्षण योग्य बनाए रखने की अनुमति मिलती है, जबकि वास्तविक समय में मॉडल की सीमित क्षमताओं को पूरी तरह से बाहरी रूप पर केंद्रित किया जाता है।
इस दृष्टिकोण को पहली बार जून में प्रोजेक्ट ईडन नामक एक बड़े विश्व अनुसंधान के हिस्से के रूप में प्रस्तुत किया गया था। VAST के बयानों के अनुसार, 5B मॉडल एक Nvidia RTX 5090 पर 720p रिज़ॉल्यूशन पर 24 फ्रेम प्रति सेकंड से अधिक की दर पर काम कर सकता है। GitHub पर README फ़ाइल में, लाइटएक्स2V इन्फेरेंस फ्रेमवर्क से त्वरण का उपयोग करते हुए, 1280x704 पिक्सेल रिज़ॉल्यूशन पर लगभग 24.7 FPS के रूप में यह संख्या बताई गई है।
तकनीकी रिपोर्ट एक ही H100 पर समान रिज़ॉल्यूशन पर 29.8 FPS और आठ H100 पर 14B मॉडल के लिए 832x480 रिज़ॉल्यूशन पर 26.8 FPS का आंकड़ा बताती है। VAST का दावा है कि उपयोगकर्ता इनपुट से संबंधित फ्रेम तक कुल विलंबता कुछ सौ मिलीसेकंड है, और सिस्टम कई मिनटों तक लगातार सामग्री उत्पन्न कर सकता है।
दोनों मॉडल Wan2.2-TI2V-5B और Wan2.1-I2V-14B वीडियो मॉडल पर आधारित हैं। इन्फेरेंस कोड और मुख्य डिफ्यूजन, VAE और डिकोडर वेट Apache 2.0 लाइसेंस के तहत वितरित किए जाते हैं, हालांकि सभी घटक इस लाइसेंस के अंतर्गत नहीं आते हैं। विज़ुअल एन्कोडर DINOv3 लाइसेंस का उपयोग करता है, और अनुरोध से गेम तक कार्यक्षेत्र में उपयोग की जाने वाली छवि मॉडल गैर-व्यावसायिक FLUX लाइसेंस के तहत है, जो इस कार्यक्षेत्र के गैर-व्यावसायिक उद्देश्यों के लिए उपयोग को प्रतिबंधित करता है।
VAST ने Game Prototype Turbo भी पेश किया है - एक कौशल जो टेक्स्ट प्रॉम्प्ट को एक मोटे खेलने योग्य गेम में बदल देता है जिसे EdenLive फिर रेंडर कर सकता है। VAST के प्रदर्शनों में एक प्लेटफॉर्मर शामिल है जहां चरित्र आधार बिंदु बनाने के लिए लावा को जमाता है, एक दो-खिलाड़ी फाइटिंग गेम जिसमें स्वास्थ्य बार और राउंड टाइमर को उच्च-स्तरीय प्रणाली द्वारा ट्रैक किया जाता है, और एक वीडियो रेंडरिंग जो नीली पृष्ठभूमि पर फिल्माए गए व्यक्ति को कार्टून चरित्र में बदल देती है। इसके अलावा, मॉडल एम्बोडेड एआई के लिए अतिरिक्त प्रशिक्षण डेटा बनाने हेतु फुटेज में मानव हाथों को रोबोटिक हाथों से बदलने का प्रदर्शन करता है।
VAST отмечает कि वर्तमान में EdenLive कम आवृत्ति की बातचीत के लिए सबसे उपयुक्त है, जैसे दृश्यों का निरीक्षण करना और बक्से धकेलने वाले पहेलियाँ। तेज़, गहन गेमप्ले, कई पात्रों की स्थिरता बनाए रखना, छोटी वस्तुओं पर सूक्ष्म नियंत्रण और लंबी सत्रों में दृश्य स्थिरता अभी भी सुधार की मांग करती है।
