गूगल ने 15 सेकंड तक के वीडियो बनाने के लिए जेमिनी ओमनी 1.2 फ्लैश लॉन्च किया

ओपनजियुवेन, हुआवेई द्वारा समर्थित एक ओपन-सोर्स फ्रेमवर्क, ने अपने एजंटमेमोरी मॉड्यूल के संस्करण 0.2.0 में ओमनीमेम-लेंस जारी किया है - जो एक मल्टीमॉडल मेमोरी फ़ंक्शन है। QbitAI ने 4 नवंबर को बताया कि यह सुविधा AI एजेंटों को निश्चित समय अंतराल के बजाय वास्तविक घटनाओं के आधार पर लंबे वीडियो रिकॉर्ड करने की अनुमति देती है।

टीम का दावा है कि लंबी वीडियो को एक मिनट के सेगमेंट में विभाजित करने और प्रत्येक को अलग से संग्रहीत करने का मानक दृष्टिकोण एजेंट की मेमोरी को दो तरीकों से बाधित करता है। जब एक निरंतर दृश्य विभिन्न विंडो में विभाजित होता है, तो एजेंट केवल आधे सबूत प्राप्त करता है, जिससे मतिभ्रम को बढ़ावा मिलता है। इसके अलावा, प्रमुख क्रिया के कुछ सेकंड, जो मिनटों की अप्रासंगिक सामग्री के साथ मिश्रित होते हैं, शोर में खो सकते हैं, जिससे खोज की सटीकता कम हो जाती है।

घटना विभाजन के अधिकांश तरीके केवल एक प्रकार के डेटा पर निर्भर करते हैं, जिसके कारण वे विषय परिवर्तन को छोड़ देते हैं यदि छवि स्थिर रहती है, या यदि कोई बोल नहीं रहा है तो दृश्य परिवर्तन को छोड़ देते हैं। ओमनीमेम-लेंस दोनों स्ट्रीम को ट्रैक करता है: विज़ुअल ट्रैक दृश्य परिवर्तनों को चिह्नित करता है, जबकि ऑडियो ट्रैक वक्ता द्वारा विषय परिवर्तन का पता लगाने के लिए स्पीच रिकग्निशन का उपयोग करता है, भले ही स्क्रीन न बदली हो। इन दो स्रोतों का क्रॉस-चेकिंग वास्तविक घटनाओं की सीमाओं पर स्लाइस बनाने की अनुमति देता है।

एक उदाहरण में, जहां दो घंटे के उत्पाद अवलोकन को दिखाया गया था, 40 मिनट तक एक ही वास्तुशिल्प योजना प्रदर्शित की गई थी, जबकि वक्ता तीन अलग-अलग विषयों पर प्रकाश डाल रहा था। ऑडियो ट्रैक ने उन्हें तीन यादों में विभाजित किया, जिससे लोड परीक्षण मेट्रिक्स के बारे में बाद के प्रश्न का उत्तर देना संभव हो गया।

मेमोरी तीन स्तरों पर संग्रहीत होती है: L0 मूल वीडियो को सहेजता है, L1 इवेंट स्तर पर यादें रखता है, और L2 सेगमेंट स्तर पर अधिक विस्तृत यादें रखता है। L1 और L2 पूरी तरह से पाठ और वैक्टर में परिवर्तित हो जाते हैं, जिससे उन्हें न्यूनतम परिवर्तनों के साथ मौजूदा जनरेशन स्टैक और मुख्य वेक्टर डेटाबेस में एकीकृत करना संभव हो जाता है। डेटा संगठन का मुख्य कार्य ऑफ़लाइन किया जाता है। क्वेरी के दौरान, सिस्टम अनुरोध को L1 और L2 के साथ मिलाता है, और केवल तभी L0 से सटीक फ्रेम निकालता है जब विज़ुअल विवरण की जांच की आवश्यकता होती है।

Qwen3-VL-8B के विरुद्ध सीधे Qwen3-VL-8B से वीडियो से जानकारी निकालने के परीक्षण में, Video-MME-L पर सूचना निष्कर्षण की सटीकता में 8% और LVBench पर 6.4% की वृद्धि हुई। सबसे बड़ी वृद्धि, 45.7% की, EgoLife-QA पर हासिल की गई, जो पहले व्यक्ति के डेटासेट पर है जो पूरे दिन के दैनिक जीवन को रिकॉर्ड करता है, जहां निश्चित कटिंग अक्सर विफल हो जाती है। LVBench पर ऑनलाइन मोड में प्रतिक्रिया समय 34.5 सेकंड से घटकर 1.72 सेकंड हो गया, जो लगभग 20 गुना तेज है, और टीम अधिकतम विलंबता में 97% की कमी का अनुमान लगाती है।

परियोजना का स्रोत कोड Apache-2.0 लाइसेंस के तहत GitHub पर मिरर के साथ GitCode पर उपलब्ध है। टीम ने बताया कि ओपनजियुवेन वर्कस्वार्म जल्द ही एजंटमेमोरी का समर्थन करना शुरू कर देगा, जिससे दैनिक बातचीत के दौरान साझा किए गए वीडियो को बाद की चर्चाओं के दौरान याद रखना और याद करना संभव होगा।

SenseTime कंपनी ने 2 नवंबर को SenseNova 6.8 Flash का आधिकारिक संस्करण पेश किया, जिससे कार्यालय अनुप्रयोगों और डिजाइन क्षेत्र में अपने मल्टीमॉडल एजेंट की क्षमताओं का विस्तार हुआ।

यह मॉडल एनिमेटेड प्रस्तुतियाँ, पोस्टर, वेबसाइटें, SVG प्रारूप में ग्राफिक्स बनाने में सक्षम है, साथ ही Blender जैसे उपकरणों का उपयोग करके 3डी मॉडलिंग भी कर सकता है।

इसके अलावा, कंपनी दीर्घकालिक स्मृति और विभिन्न संवादों के बीच इंटरैक्शन सुविधाओं पर विशेष ध्यान दे रही है। इन क्षमताओं का उद्देश्य एजेंटों को परियोजना की आवश्यकताओं को याद रखने, पिछली कार्यों से जानकारी जोड़ने और प्रासंगिक डेटा में बदलाव होने पर सुधार सुझाने में मदद करना है।

यह मॉडल SenseTime के Raccoon सहायक और SenseNova Token Plan के माध्यम से उपलब्ध है। QbitAI ने Raccoon क्लाइंट में वेबसाइटों, पोस्टरों और प्रस्तुतियों के निर्माण का प्रदर्शन किया; दीर्घकालिक स्मृति और सक्रिय सहयोग का अलग परीक्षण आंतरिक विकास संस्करण का उपयोग करके किया गया था।

चुनचिन स्थित कंपनी Dawa Technology, जो वर्चुअल फिल्म निर्माण के क्षेत्र से उभरी है, ने Scenes AI - एक वास्तविक समय विश्व मॉडल प्रस्तुत किया है। यह प्रणाली सामान्य कैमरे से शूट किए गए वीडियो को संपादन योग्य और स्थायी दुनिया में बदल सकती है।

इस उत्पाद को 15 अक्टूबर को सूझोउ में NVIDIA स्टार्टअप की मध्यवर्ती घटना में उत्कृष्टता पुरस्कार मिला। इस चरण में 580 से अधिक प्रतिभागियों में से तीस NVIDIA Inception के सदस्य शामिल थे।

अधिकांश वीडियो मॉडल अगले फ्रेम की भविष्यवाणी करने पर केंद्रित होते हैं। हालांकि, Scenes AI दुनिया की निरंतर स्थिति का समर्थन करता है। दृश्य, लोग, कैमरा, प्रकाश व्यवस्था, वस्तुएं और भौतिकी जैसी तत्व अलग-अलग चर के रूप में संग्रहीत होते हैं जिन्हें स्वतंत्र रूप से पढ़ा और संशोधित किया जा सकता है। परिवर्तन होने पर, केवल स्थिति के संबंधित हिस्से को अपडेट किया जाता है, न कि पूरी छवि को फिर से रेंडर किया जाता है।

प्रदर्शनों में, Dawa ने दिखाया कि कैसे एक कमरा हाथ से खींचे गए घास के मैदान में बदल जाता है, जबकि कुर्सी, टेडी बियर और अलमारी अपनी जगह बनाए रखते हैं। दीवार पर लिखे संकेत अपनी जगह पर रहते हैं, और लोग आते-जाते हैं, और मौसम बर्फ से बारिश में बदल जाता है।

सिस्टम में एक जटिल नियंत्रण परत और एक हल्का जनरेटिव परत शामिल है। लेटेंट स्टेज मॉड्यूल के आसपास बनाया गया नियंत्रण परत दृश्य, चरित्र, कैमरा, प्रकाश व्यवस्था, पोशाक और प्रॉप्स को लेटेंट स्पेस में विभाजित करता है, ठोस वस्तुओं, कपड़े, तरल पदार्थ और कणों के लिए भौतिक बाधाओं को लागू करता है। रेंडरिंग परत, LiveStage, केवल बदलने वाले क्षेत्रों का चयन करने के लिए कारण-प्रभाव विरल प्रसार का उपयोग करती है।

मॉडल में कुल 34 बिलियन पैरामीटर हैं, लेकिन प्रत्येक चरण में लगभग 4 बिलियन सक्रिय होते हैं, जो लगभग 11.8% है। Dawa का दावा है कि इससे GPU उपयोग में 40-60% की कमी आती है और पारंपरिक वीडियो डिफ्यूजन की तुलना में आउटपुट तीन से पांच गुना तेज हो जाता है।

एक उपभोक्ता NVIDIA GeForce RTX कार्ड पर, सिस्टम 720p रिज़ॉल्यूशन और 25 फ्रेम प्रति सेकंड की दर पर वास्तविक समय में आउटपुट प्राप्त करता है। निरंतर संपादन परीक्षणों में, कंपनी लक्षित संपादन में 98.2% सफलता और लोगों की पहचान में 93.3% संरक्षण की सूचना देती है। सिस्टम CUDA, TensorRT और NVENC का उपयोग करता है और क्लाउड कंप्यूटिंग के बिना स्थानीय हार्डवेयर पर कार्य करता है।

Dawa का दावा है कि इसके डेटा 84,000 वर्ग मीटर के स्टूडियो स्थान, 300 से अधिक वास्तविक उत्पादन और 180 टीबी विश्व स्थिति डेटा से प्राप्त किए गए हैं। कंपनी के मुख्य उत्पाद अधिकारी, ली ज़ोंगसिन ने दृष्टिकोण को इस प्रकार सारांशित किया: वीडियो समाप्त हो सकता है, लेकिन दुनिया को काम करना जारी रखना चाहिए। प्रस्तुत सभी प्रदर्शन मेट्रिक्स कंपनी द्वारा प्रदान किए गए डेटा हैं।