हुआवेई नोआ'स आर्क लैब, यूनिवर्सिटी कॉलेज लंदन और अन्य टीमों के शोधकर्ताओं ने मेमेंटो 3 प्रस्तुत की है - एजेंटों की एक प्रणाली जिसने QbitAI के अनुसार, ARC प्रतियोगिता के इंटरैक्टिव बेंचमार्क ARC में सार्वजनिक सेट ARC-AGI-3 के सभी 25 खेलों और 183 स्तरों को सफलतापूर्वक पूरा किया।
ARC-AGI-3 एक ऐसा वातावरण है जहाँ एजेंट को नियमों, लक्ष्यों या अपनी कार्रवाइयों के विवरण के बिना पिक्सेल शैली के अज्ञात खेलों में रखा जाता है। मेमेंटो 3 ने सार्वजनिक सेट पर काम पूरा करने के लिए 7,518 क्रियाओं का उपयोग किया, जो मानव प्रदर्शन के 17,135 क्रियाओं से काफी कम है, जो कुल मानव क्रियाओं का लगभग 44% है, और इसने RHAE (रिलेटिव ह्यूमन एक्शन एफिशिएंसी) मीट्रिक पर 100 का अधिकतम स्कोर प्राप्त किया।
सार्वजनिक सेट पर पिछला सर्वश्रेष्ठ परिणाम स्वतंत्र डेवलपर सर्गेई रोडियोनोव द्वारा अपने बेस मॉडल का उपयोग करके हासिल किया गया था, जिसने सभी खेलों को हल किया लेकिन 8,347 क्रियाओं का उपयोग करते हुए 99 अंक प्राप्त किए।
हालांकि, इस परिणाम की दो महत्वपूर्ण सीमाएं हैं। पहला, मेमेंटो 3 के पीछे का बेस मॉडल हुआवेई का मॉडल नहीं है; सिस्टम उच्चतम स्तर के तर्क मोड में Claude Opus 5 पर काम करता है, बिना वज़न अपडेट या विशिष्ट खेलों के लिए फाइन-ट्यूनिंग के। दूसरा, यह केवल सार्वजनिक खेलों के बारे में है, और सार्वजनिक सेट पर आदर्श परिणाम यह नहीं दर्शाता है कि सिस्टम छिपे हुए परीक्षण खेलों में कैसा प्रदर्शन करेगा, जहाँ सामान्यीकरण की क्षमता का परीक्षण किया जाता है।
फिर भी, आधिकारिक ARC पुरस्कार तंत्र में वही बेस मॉडल औसत RHAE लगभग 40.7 दिखाता है, इसलिए दक्षता में वृद्धि एजेंट की वास्तुकला के कारण होती है।
एजेंट की वास्तुकला को 'कोड एज़ मॉडल' कहा जाता है। खेल के दौरान, एजेंट प्राकृतिक भाषा में नियमों का एक संग्रह बनाए रखता है, और फिर इसे पायथन कोड में परिवर्तित करता है जो खेल का अनुकरण करता है, जिसके बाद वह अपने स्वयं के सिम्युलेटर के भीतर चालों की योजना बनाता है। यदि वास्तविकता सिमुलेशन का खंडन करती है, तो एजेंट दोनों तत्वों को फिर से लिखता है। एक खेल में, उसने पहले अनुमान लगाया कि विशेष फर्श ले जाया गया पैटर्न दर्शाता है, लेकिन फिर पाया कि वास्तव में पैटर्न घड़ी की दिशा में 90 डिग्री घुमाया गया है। सिस्टम पिछले चालों को पुन: प्रस्तुत करता है और यह सुनिश्चित करने के लिए प्रत्येक 64x64 फ्रेम की तुलना करता है कि कोड हुई घटना को पुन: उत्पन्न करता है। प्रत्येक परिवर्तन को Git में दर्ज किया जाता है, जिससे विफल संशोधनों को वापस लिया जा सकता है।
तीन खेलों में तत्वों को बाहर करने के प्रयोगों में, नियम संग्रह को बनाए रखने से क्रियाओं की संख्या में लगभग 9% की कमी आई। एक खेल में दो प्रतिस्पर्धी विश्व मॉडलों का उपयोग करने पर क्रियाओं की संख्या 899 से घटकर 597 हो गई, हालांकि यह परीक्षण केवल उस विशिष्ट खेल पर किया गया था।
टीम ने सिस्टम का परीक्षण एटारी पोंग पर भी किया। लगभग 9,500 फ्रेम के आधार पर उछाल भौतिकी का अध्ययन करने के बाद, कोड-आधारित नीति ने भाषा मॉडल को कॉल किए बिना तीन मैच 21:0 से जीते। लेखकों का कहना है कि इस शोध के लिए बड़ी मात्रा में टोकन की आवश्यकता होती है, और वास्तविक दुनिया के अधिक जटिल परिदृश्य अभी भी अप्रमाणित हैं।