Tencent Hunyuan का शोध एजेंट Hyra 2.0 प्रोटीन, गणितीय प्रमाण और चिप्स के साथ काम करने के लिए उपकरण स्वयं बनाता है

Tencent Hunyuan ने इंटरैक्टिव वर्ल्ड जनरेशन के लिए अपने ओपन मॉडल Hy-Nomas पर एक तकनीकी रिपोर्ट प्रस्तुत की, साथ ही इंटरैक्टिव वीडियो वर्ल्ड मॉडलों का मूल्यांकन करने के लिए Hy-Nomas-Bench नामक टेस्ट सूट भी जारी किया। यह रिपोर्ट 27 अक्टूबर को arXiv पर पोस्ट की गई थी, जो 21 अक्टूबर को कोड और वज़न जारी किए जाने के बाद हुई थी।

Hy-Nomas एक डिफ्यूजन कोर पर आधारित वीडियो वर्ल्ड मॉडल है जिसमें 8 बिलियन पैरामीटर हैं। उपयोगकर्ता इसे कई पुनरावृत्तियों के दौरान स्वतंत्र पाठ निर्देशों, निरंतर कैमरा नियंत्रण या दोनों तरीकों के संयोजन का उपयोग करके नियंत्रित कर सकते हैं। मॉडल दुनिया को खंड दर खंड उत्पन्न करता है, प्रत्येक नए खंड को वर्तमान इनपुट और संग्रहीत इतिहास के आधार पर कंडीशनिंग करके समय में दृश्य संगति सुनिश्चित करता है।

रिपोर्ट के अनुसार, मुख्य अवधारणा क्रियाओं को ध्यान में रखते हुए संरचित वीडियो कैप्शनिंग को कारण-प्रभाव ध्यान के साथ संरेखित करना है। वर्णनात्मक संदर्भ खंडों के बीच उपलब्ध रहता है, जबकि कार्रवाई से संबंधित निर्देश केवल प्रासंगिक समय विंडो पर लागू होते हैं। दृष्टि और भाषा पर आधारित प्रॉम्प्ट एनहांसर उपयोगकर्ता के प्रश्नों और इंटरैक्शन इतिहास को अगले खंड के लिए संरचित शर्तों में बदल देता है।

प्रशिक्षण प्रक्रिया एक बहु-चरणीय पाठ्यक्रम के माध्यम से होती है। यह कारण जनरेशन से शुरू होता है, फिर टेक्स्ट इंटरैक्शन और कैमरा नियंत्रण में जाता है, जिसके बाद मॉडल उन कहानियों पर प्रशिक्षित होता है जिन्हें उसने स्वयं उत्पन्न किया है, और डिफ़्यूजन डिस्टिलेशन चरण के साथ समाप्त होता है। डिस्टिल्ड मॉडल को केवल चार से आठ नॉइज़ रिडक्शन चरणों की आवश्यकता होती है। मानव मूल्यांकन के दौरान, टीम ने नोट किया कि Hy-Nomas मौजूदा वर्ल्ड मॉडलों से बेहतर प्रदर्शन करता है।

Hy-Nomas-Bench में 280 परीक्षण परिदृश्य शामिल हैं, जो चार कार्यों को कवर करते हैं: मल्टी-स्टेप फ्री टेक्स्ट इंटरेक्शन, कैमरा नेविगेशन, टेक्स्ट और कैमरा नियंत्रण का प्रत्यावर्तन, और स्थानिक स्मृति। यह सूट मॉडल की अनुक्रमिक निर्देशों का पालन करने, भौतिक रूप से विश्वसनीय उत्तर बनाने, कैमरा मूवमेंट को सटीक रूप से निष्पादित करने और दृश्य संगति बनाए रखने की क्षमता का परीक्षण करता है जब कैमरा पहले से देखे गए स्थान पर वापस आता है। इस संग्रह में प्रॉम्प्ट, संरचित कैप्शन, इंटरैक्शन सीक्वेंस और संदर्भ कैमरा ट्रेजेक्टरी शामिल हैं, और इसे Apache 2.0 लाइसेंस के तहत जारी किया गया है।

मॉडल स्वयं भी Apache 2.0 लाइसेंस के तहत वितरित किया जाता है। Tencent INT8 कॉन्फ़िगरेशन प्रदान करता है, जो स्लाइडिंग विंडो इतिहास और सीपीयू ऑफलोडिंग का उपयोग करके एक RTX 4090 पर चलता है, साथ ही Diffusers पाइपलाइन, LoRA फाइन-ट्यूनिंग कोड और एक इंटरैक्टिव वेब डेमो भी प्रदान करता है। जारी किए गए एडेप्टर में सिनेमैटिक LoRA और दो-हाथ वाले रोबोट के वास्तविक डेटा पर प्रशिक्षित रोबोटिक्स LoRA शामिल हैं।

बाहरी इकोसिस्टम डेवलपर्स ने पहले ही SGLang, ComfyUI और WanGP में समर्थन को एकीकृत कर लिया है, और एक सामुदायिक डेमो प्रोजेक्ट ने Google TPUs पर वास्तविक समय में 720p जनरेशन की सूचना दी है।

अलीबाबा की Qwen टीम ने एक व्यक्तिगत एजेंट बनाने की प्रक्रिया का वर्णन किया है, यह दावा करते हुए कि एआई सहायकों के विकास का अगला चरण तीन घटकों: मॉडल, मेमोरी और सेवा पारिस्थितिकी तंत्र के सुसंगत कामकाज पर निर्भर करता है। जियांग गुआनजून, जो अलीबाबा Qwen के व्यावसायिक डिवीजन में एआई एल्गोरिदम विभाग के प्रमुख हैं, ने 22 अक्टूबर को चेंगदू में चाइनीज नेशनल कंप्यूटर कांग्रेस (CNCC) में इस अवधारणा को प्रस्तुत किया।

जियांग ने एआई अनुप्रयोगों के विकास को तीन चरणों में विभाजित किया: चैट, एजेंट और सहायक। चैट चरण में, एआई उपयोगकर्ताओं के प्रश्नों का उत्तर देता है। एजेंट चरण में, सिस्टम सौंपे गए कार्यों को पूरा करता है। सहायक, जहां तक उनका कहना है कि उद्योग जा रहा है, पेशेवर ज्ञान को उपयोगकर्ता के व्यक्तिगत संदर्भ के साथ जोड़ता है, उपयोगकर्ता के लक्ष्यों के आसपास कार्यों की योजना बनाता है और उन जरूरतों की पहचान करता है जिन्हें उन्होंने नोटिस नहीं किया है। उन्होंने इस बात पर जोर दिया कि एक वास्तविक व्यक्तिगत एजेंट को अतिरिक्त मूल्य प्रदान करना चाहिए और सक्रिय, व्यक्तिगत सेवा प्रदान करनी चाहिए।

उन्होंने अनुमान लगाया कि सैद्धांतिक रूप से एक व्यक्तिगत एजेंट काम, अध्ययन और व्यक्तिगत जीवन के क्षेत्र में लगभग सभी रोजमर्रा की समस्याओं को हल करने में सक्षम है। हालांकि, मुख्य बाधा प्रणाली की क्षमता है कि वह प्रत्येक विशिष्ट समस्या को हल करने के इष्टतम मार्ग के साथ अपनी क्षमताओं का मिलान करे।

मॉडल के विकास का दृष्टिकोण

मॉडल के संबंध में, Qwen कार्यों के स्थिर निष्पादन पर केंद्रित है। टीम ने 'उपयोगकर्ता आवश्यकता मानचित्र' विकसित किया है, जिसमें 30 से अधिक प्रमुख उद्योगों को शामिल किया गया है, और इसे मॉडल की क्षमताओं के लिए 8000 से अधिक परमाणु आवश्यकताओं तक विस्तृत किया गया है। इसके अलावा, मॉडल के मूल्यांकन और ट्यूनिंग के लिए उद्योग विशेषज्ञों को शामिल किया गया था।

मेमोरी मैकेनिज्म

जियांग ने उल्लेख किया कि व्यक्तिगत एजेंट को उपयोगकर्ता की दीर्घकालिक समझ सुनिश्चित करनी चाहिए, केवल चैट इतिहास जमा करने से बचना चाहिए, जिससे शोर और कंप्यूटिंग लागत बढ़ जाती है। Qwen घटनाओं की अंतर्संबंधता की डिग्री के आधार पर अपनी मेमोरी का निर्माण करता है, उन्हें विभिन्न स्तरों पर संग्रहीत और पुनर्प्राप्त करता है। उदाहरण के लिए, एक सहायक जो याद रखता है कि एक बुजुर्ग उपयोगकर्ता ने अपनी पेंशन का उल्लेख किया था, वह तब अधिक उपयुक्त सलाह दे सकता है जब वही परिवार बाद में बच्चे की नौकरी खोजने के बारे में पूछता है।

पारिस्थितिकी तंत्र की भूमिका

पारिस्थितिकी तंत्र के संबंध में, जियांग ने कहा कि जैसे-जैसे मॉडल और प्रबंधन विधियाँ परिष्कृत होती जाती हैं, बाहरी सेवाओं को जोड़ने और समन्वयित करने की क्षमता निर्णायक हो जाती है। Qwen एक मॉडल-आधारित ओपन सर्विस सिस्टम बनाता है जो पेशेवर ज्ञान, उपकरणों, उद्योग कौशल और तृतीय-पक्ष एजेंटों को एकीकृत करता है, साथ ही ई-कॉमर्स, स्थानीय सेवाओं, स्वास्थ्य सेवा और शिक्षा से भी जोड़ता है।

उनकी धारणा में, ये तीन तत्व सक्रिय सेवा प्रदान करने के लिए एक साथ आते हैं: मेमोरी व्यक्तिगत जानकारी प्रदान करती है, मॉडल आवश्यकताओं और योजना को निर्धारित करने के लिए विशेषज्ञ ज्ञान का उपयोग करता है, और पारिस्थितिकी तंत्र कार्य करता है, उदाहरण के लिए, रोगी के पुनर्वास कार्यक्रम को ट्रैक करके या उपयोगकर्ता के वित्त में नए जोखिमों के बारे में संकेत देकर। यह रिपोर्ट Qwen Go! के पीछे की तकनीकी अवधारणा का सबसे विस्तृत सार्वजनिक विवरण प्रस्तुत करती है, जिसे अलीबाबा ने इस महीने पंजीकरण के लिए खोला है।

टोंगयान लिंगझी, जो बीजिंग इंस्टीट्यूट ऑफ जनरल आर्टिफिशियल इंटेलिजेंस (BIGAI) के औद्योगिक प्लेटफॉर्म की सहायक कंपनी है, ने व्यक्तिगत एआई की अवधारणा के लिए अपना दृष्टिकोण प्रस्तुत किया है। इस दृष्टिकोण में ऐसे मॉडल बनाना शामिल है जो केवल प्रश्नों और जानकारी की खोज पर निर्भर रहने के बजाय किसी विशिष्ट व्यक्ति, परियोजना या कंपनी के डेटा के आधार पर लगातार सीखते हैं।

आज अधिकांश मौजूदा कॉर्पोरेट एआई सिस्टम बाहरी उपयोगकर्ताओं के अनुकूल होते हैं। वे नियमों को स्थापित करने के लिए प्रश्नों का उपयोग करते हैं, खोज के माध्यम से दस्तावेज़ निकालते हैं, स्थिति को मेमोरी में संग्रहीत करते हैं और पुन: प्रयोज्य चरणों को पैक करते हैं। हालांकि, इंटरैक्शन के बाद मॉडल के वज़न शायद ही कभी बदलते हैं।

टोंगयान लिंगझी का दावा है कि स्थिर आदतें, जैसे टीम के इंजीनियरिंग मानक या निवेश समूह की जोखिम प्रबंधन अनुशासन, को सीधे मॉडल मापदंडों में एकीकृत किया जा सकता है। कंपनी की वास्तुकला सामान्य ज्ञान और तर्क को संसाधित करने के लिए एक सामान्य आधार मॉडल को बनाए रखने का प्रावधान करती है, जिसमें प्रत्येक व्यक्तिगत उपयोगकर्ता, परियोजना या संगठन के लिए हल्के पर्सनल LoRA एडेप्टर जोड़े जाते हैं। कंपनी का कहना है कि ये व्यक्तिगत क्षमताएं आधार मॉडल बदलने की स्थिति में भी बनी रहनी चाहिए।

इन एडेप्टरों को प्रशिक्षित रखने के लिए, टीम रिकर्सिव सेल्फ-इम्प्रूवमेंट (RSI) नामक एक तंत्र विकसित कर रही है। कार्य ट्रैकिंग, मानव द्वारा सुधार और प्राप्त परिणाम सीखने के लिए संभावित डेटा बन जाते हैं। प्रत्येक उपयोगकर्ता या कंपनी के मानकों के अनुरूप सेट एक विशेष मूल्यांकनकर्ता उन संकेतों का चयन करता है जिन्हें वृद्धिशील LoRA अपडेट करने से पहले अध्ययन करने लायक है। फिर अद्यतन मॉडल को पिछले संस्करण के समान कार्यों पर चलाया जाता है, और केवल सुधारों को कार्य वातावरण में जारी किया जाता है, जबकि प्रतिगमन को रद्द कर दिया जाता है।

सीटीओ चू बिनबिन ने जोर देकर कहा कि एक विचलन केवल एक संकेत है, और केवल दोहराए जाने वाले पैटर्न ही प्रशिक्षण डेटा बन सकते हैं। इसके अलावा, कंपनी हजारों ऐसे एडेप्टर को सुलभ बनाने के लिए बुनियादी ढांचा तैयार कर रही है। TIP प्रणाली एक ही GPU पर समानांतर में प्रशिक्षण और अनुमान दोनों करती है, और Paged LoRA एडेप्टर मेमोरी को पेजों में प्रबंधित करता है। आठ Nvidia H800 GPUs और 5.79 जीबी एडेप्टर मेमोरी बजट का उपयोग करके Qwen2.5-72B-Instruct के साथ एक परीक्षण चरण में, Paged LoRA ने फ्लैट लेआउट की तुलना में बेहतर विलंबता और 'टेल' व्यवहार प्रदर्शित किया जब LoRA अनुरोध ट्रैफिक का 1% से 30% थे, हालांकि 50% तक पहुंचने पर प्रदर्शन कम हो गया।

टोंगयान लिंगझी स्वीकार करता है कि काम प्रारंभिक चरण में है। हालांकि RSI का तकनीकी मार्ग और उत्पाद वास्तुकला परिभाषित हैं, और मॉड्यूल डिजाइन चरण में हैं, पूरी तरह से स्वचालित शिक्षण चक्र अभी भी विकास में है। खुले मुद्दों में कैटास्ट्रोफिक फॉरगेटिंग, फीडबैक प्रदूषण और मॉडल ड्रिफ्ट शामिल हैं।