SenseTime कंपनी ने अपने एम्बोडीड एआई मूल्यांकन टूलकिट SenseNova-RoboRSI और 27 बिलियन पैरामीटर वाले मॉडल को सार्वजनिक कर दिया है। यह रिलीज़ एक ऐसे शोध के बाद आया है जिसमें SenseTime ने GPT-6-Astra बड़े मॉडल का परीक्षण बारह सिमुलेटेड बेंचमार्क और आठ वास्तविक रोबोटों पर किया था। प्रस्तुत सभी परिणाम SenseTime के स्वयं के परीक्षणों पर आधारित हैं।
SenseTime ने SenseNova-RoboRSI को एम्बोडीड एआई सिस्टम के मूल्यांकन के लिए एक फ्रेमवर्क के रूप में प्रस्तुत किया, साथ ही SenseNova-RoboRSI-27B-Preview नामक एक एम्बोडीड एआई मॉडल भी पेश किया। इस अध्ययन में GPT-6-Astra बड़े मॉडल का 12 सिमुलेटेड रोबोटिक्स बेंचमार्क और 8 भौतिक रोबोटों पर परीक्षण किया गया था।
GPT-6-Astra के परीक्षण परिणाम
SenseTime के आंकड़ों के अनुसार, जब GPT-6-Astra को प्रशिक्षण प्रदर्शन तक पहुंच मिली और स्टेप लिमिट को आधिकारिक मान का दस गुना बढ़ा दिया गया, तो मॉडल ने LIBERO और SIMPLE बेंचमार्क पर संतृप्ति हासिल की, और RoboDojo पर 81.9% सफलता दर दिखाई। एक मामले में, नौ RoboDojo कार्यों, जो पहले पांच प्रयासों में से किसी में भी कभी सफल नहीं हुए थे, उन्हें मॉडल द्वारा बातचीत जारी रखने की अनुमति दिए जाने के बाद सभी पांच प्रयासों में सफलतापूर्वक पूरा किया गया।
हालांकि, इसकी एक उच्च लागत थी। विस्तारित परीक्षणों में बड़ी बजट के साथ, कटोरे जमा करने में लगभग 131 मिनट लगे और अनुमानित रूप से 19 डॉलर के आउटपुट खर्च का आकलन किया गया, जबकि हैंडल को होल्डर में डालने में 263 मिनट लगे और लगभग 55 डॉलर का खर्च आया। SenseTime ने यह भी पाया कि GPT-6-Astra लंबी अवधि के कार्यों को करने में सबसे अधिक कठिनाई दिखाता है, कार्यों के बीच कौशल स्थानांतरण में समस्याओं का सामना करता है, और वास्तविक रोबोटों पर विकृत वस्तुओं और सूक्ष्म नियंत्रण के साथ संघर्ष करता है।
इसके बाद कंपनी ने धीमी तर्क मॉडल के संयोजन का तेज क्रिया मॉडल के साथ परीक्षण किया। ऐसी संयोजनों में से सर्वश्रेष्ठ ने 42 बंद लूप RoboDojo कार्यों में 54% सफलता प्राप्त की, जो प्रत्येक परिणाम की जांच करता है, हालांकि SenseTime बताता है कि लागत की समस्या बनी हुई है।
ओपन-सोर्स टूलकिट प्रत्येक बेंचमार्क और उसकी निर्भरताओं को एक अलग डॉकर छवि में पैक करता है और वातावरण के साथ इंटरैक्ट करने और मूल मूल्यांकन के लिए एक एकीकृत HTTP एपीआई प्रदान करता है। SenseTime का दावा है कि शोधकर्ता मैन्युअल रूप से प्रत्येक सिम्युलेटर को कॉन्फ़िगर किए बिना कॉन्फ़िगरेशन फ़ाइल का उपयोग करके एंड-टू-एंड मूल्यांकन कर सकते हैं।
27B मॉडल की विशेषताएं
27 बिलियन पैरामीटर वाला मॉडल सत्यापित अनुभव को सीधे मॉडल के भार में शामिल करने के लिए डिज़ाइन किया गया है, जिससे प्रयास और त्रुटि वाली कार्रवाइयों की आवश्यकता कम हो जाती है। SenseTime बताता है कि इस मॉडल ने RoboDojo पर 26.13 अंक प्राप्त किए, जिसमें 20.83% कार्य सफलता दर थी, LIBERO-Pro पर 90 के आंकड़े को पार किया और RoboCasa365 में अपनी सफलता दर को 26.0% से बढ़ाकर 46.5% कर दिया, साथ ही टोकन उपयोग को 73% तक कम कर दिया। कंपनी का दावा है कि यह GPT-6-Astra की तुलना में एक पचासवें हिस्से की लागत पर एम्बोडीड एआई कार्य करता है।
इसके अलावा, SenseTime जोर देता है कि भविष्य के एम्बोडीड एआई बेंचमार्क को वास्तविक मानवीय आवश्यकताओं पर आधारित होना चाहिए, रोबोटों से इंटरैक्शन के माध्यम से सीखने की मांग करनी चाहिए और विचार समय को वैश्विक समय के रूप में ध्यान में रखना चाहिए, क्योंकि मॉडल समाधान पर विचार करते समय केतली गर्म होती रहती है। प्रस्तुत परिणामों में से किसी का भी स्वतंत्र रूप से सत्यापन नहीं किया गया था।