UBTECH ने अपने थिंकर टीम द्वारा विकसित विश्व मॉडल, थिंकर-डब्ल्यूएम का विवरण जारी किया। यह मॉडल RGB वीडियो, मेट्रिक गहराई और रोबोट कार्यों को एक एकीकृत सामान्य प्रतिनिधित्व में एन्कोड करने में सक्षम है। इस विकास पर तकनीकी दस्तावेज arXiv पर उपलब्ध हैं।
कंपनी के बयानों के अनुसार, थिंकर-डब्ल्यूएम ने मूर्त विश्व मॉडलों के लिए तीन बेंचमार्क में पहला स्थान हासिल किया। ये रैंकिंग उस समय उपलब्ध परिणामों पर आधारित हैं जब इसकी घोषणा की गई थी।
मॉडल परीक्षण परिणाम
UBTECH के अनुसार, थिंकर-डब्ल्यूएम मॉडल ने वर्ल्डओलंपियाड पर 0.740 का समग्र स्कोर दिखाया। यह बेंचमार्क वास्तविक रोबोट इंटरैक्शन डेटा पर बनाया गया है और इसमें दस से अधिक रोबोट और कई कैमरा कॉन्फ़िगरेशन शामिल हैं। इसके अलावा, मॉडल ने 3डी सुसंगतता (0.531) और इंटरैक्शन सटीकता (0.765) में उच्चतम व्यक्तिगत प्रदर्शन हासिल किया।
EWMBench प्लेटफॉर्म पर, इसने 4.66 का कुल स्कोर प्रदर्शित किया, जिसमें Qwen-RobotWorld और Sora 2 जैसे मॉडलों को पीछे छोड़ दिया, और गतिशीलता और पथ मिलान मेट्रिक्स पर अग्रणी परिणाम प्राप्त किए। सिमुलेशन बेंचमार्क WorldArena 1.0 Track-1 पर, कंपनी का दावा है कि इसने 12 विभिन्न मूल्यांकन मानदंडों पर नेतृत्व किया।
वास्तुकला और कार्य सिद्धांत
थिंकर-डब्ल्यूएम के विकास का मुख्य तर्क यह है कि कई मौजूदा विश्व मॉडल अलग-अलग हिस्सों से बने होते हैं: वीडियो जनरेशन पिक्सेल के लिए जिम्मेदार होती है, पॉलिसी नेटवर्क कार्यों के लिए जिम्मेदार होता है, और एक अलग मॉड्यूल ज्यामिति की भविष्यवाणी करता है। UBTECH का मानना है कि ऐसा दृष्टिकोण भौतिक रूप से जुड़े संकेतों को विभाजित करता है। इसके बजाय, थिंकर-डब्ल्यूएम प्रत्येक मोडैलिटी को एक सामान्य लेटेंट स्पेस में एक समर्पित एनकोडर के माध्यम से पास करता है और यूनिफाइड डायनेमिक्स ट्रांसफॉर्मर के भीतर उन्हें सह-मॉडल करता है, इससे पहले कि वह वीडियो, गहराई मानचित्र और निष्पादन योग्य कार्यों को डीकोड करे। गहराई को सहायक के बजाय एक अभिन्न आउटपुट सिग्नल माना जाता है।
RoboTwin पर एक ही कार्य के प्रयोगों में दिखाया गया कि गहराई जोड़ने से आधार मॉडल की तुलना में हेरफेर की सफलता दर में 15 प्रतिशत अंकों की वृद्धि हुई, जहां गहराई अनुपस्थित थी।
चूंकि सभी मोडैलिटी एक ही वजन सेट का उपयोग करती हैं, इसलिए मॉडल इनपुट डेटा और उत्पन्न आउटपुट को बदलकर छह विभिन्न मोड में कार्य कर सकता है, जिसमें संयुक्त वीडियो और कार्रवाई पीढ़ी, भविष्य की भविष्यवाणी, नीति निष्कर्ष, वीडियो से कार्रवाई रूपांतरण और रिवर्स डायनेमिक्स शामिल है।
प्रशिक्षण डेटा
कुल प्रशिक्षण डेटा की मात्रा लगभग 30,000 घंटे है। इनमें से लगभग 20,000 घंटे घरेलू सेटिंग्स, खुदरा स्टोर और कारखानों में शूट किए गए फर्स्ट-पर्सन वीडियो हैं; लगभग 10,000 घंटे विभिन्न प्रकार के वास्तविक रोबोट डेटा हैं; और लगभग 1,000 घंटे सिमुलेशन डेटा हैं। सभी रोबोट क्रियाएं कॉर्पस-विशिष्ट टैग के साथ एंड-इफेक्टर पोज़ के रूप में प्रस्तुत की जाती हैं, जिससे विभिन्न मशीनें एक ही जनरेशन स्पेस का उपयोग कर सकती हैं। डेटा फैक्ट्री नामक डेटा पाइपलाइन चयन, बहु-स्तरीय गुणवत्ता जांच और गहराई और वीडियो संरेखण का प्रबंधन करती है।
यह जांचने के लिए कि क्या सामान्य स्थान वास्तव में मोडैलिटी को जोड़ता है, टीम ने एंड-इफेक्टर विस्थापन को पुनर्स्थापित करने के लिए जमी हुई दृश्य विशेषताओं पर एक छोटा प्रायोगिक गति तंत्र प्रशिक्षित किया, जिसे UBTECH क्रॉस-मोडल लिंकिंग के प्रमाण के रूप में प्रस्तुत करता है।