miHoYo की शोध टीम ने गेमर नामक एक प्रणाली का वर्णन किया है — एक विजन-लैंग्वेज-एक्शन (vision-language-action) पर आधारित फ्रेमवर्क, जो स्क्रीन से अवलोकन और निर्देशों को कीबोर्ड और माउस के लिए कमांड में परिवर्तित करता है। इस कार्य का विवरण 21 नवंबर को चीनी खाते में प्रस्तुत किया गया था; संबंधित प्रीप्रिंट पहली बार 13 नवंबर को अपलोड किया गया था और 18 नवंबर को संपादित किया गया था।
मुख्य प्रायोगिक मॉडल Qwen3-VL-8B पर आधारित है। यह निर्णय लेने के लिए स्क्रीनशॉट, कार्य जानकारी, अवलोकन इतिहास और मेमोरी का उपयोग करता है, बिना किसी आंतरिक गेम इंटरफ़ेस पर निर्भर हुए। परियोजना इंटरैक्शन को एक सामान्य क्रिया प्रारूप के रूप में देखती है, जो मानक ग्राफिकल इंटरफेस और अधिक जटिल त्रि-आयामी गेम वातावरण दोनों को कवर करती है।
प्रशिक्षण गेम इंटरैक्शन ट्रेजेक्टरीज़ पर निरंतर प्री-ट्रेनिंग, निर्देश सेटिंग्स और ऑनलाइन रीइन्फोर्समेंट लर्निंग के माध्यम से किया जाता है। लेखकों ने रिडंडेंट रीजनिंग और मेमोरी जेनरलाइज़ेशन के तंत्र विकसित किए हैं ताकि पिछली इंटरैक्शन सक्रिय संदर्भ से बाहर होने पर भी कार्य की प्रगति को बनाए रखा जा सके, बजाय इसके कि लगातार बढ़ते संवाद को संसाधित किया जाए।
टीम ने लगभग 50 घंटे के मूल्यांकन के दौरान 95% से अधिक मामलों में स्वायत्त संचालन की सूचना दी, जिसमें Honkai: Star Rail गेम की मुख्य कहानी के पांच अध्याय शामिल थे। यह ध्यान रखना महत्वपूर्ण है कि यह स्वायत्तता का आंकड़ा है जिसे लेखकों द्वारा दावा किया गया है, न कि यह दावा कि किसी भी गेम में 95% कार्यों को पूरी तरह से निष्पादित किया गया था या मानव हस्तक्षेप पूरी तरह से समाप्त कर दिया गया था।
लेख में मॉडल द्वारा पहले से सामना किए गए गेम में व्यक्तिगत साइड क्वेस्ट का भी मूल्यांकन किया गया है। दो ऐसे क्वेस्ट में कार्यों को पूरा करते समय 80.0% और 83.6% की सटीकता हासिल की गई थी। इन मेट्रिक्स, जो चेकपॉइंट प्राप्त करने पर आधारित हैं, को शुरुआत से अंत तक क्वेस्ट पूरा करने या पूर्व-प्रशिक्षण के बिना अज्ञात गेम पर कार्य स्थानांतरित करने के निरंतर पूर्णता संकेतकों के साथ भ्रमित नहीं किया जाना चाहिए।
वास्तविक समय में इंटरैक्शन सुनिश्चित करने के लिए, परियोजना स्ट्रीमिंग-vLLM नामक एक क्लाउड-पेरिफेरल सर्विसिंग सिस्टम का वर्णन करती है, जिसमें निरंतर कैशिंग और प्रारंभिक एक्शन सबमिशन शामिल है। इस आर्किटेक्चर का उद्देश्य समानांतर रन और परिनियोजन की प्रतिक्रियाशीलता का समर्थन करना है, हालांकि यह गारंटी नहीं देता है कि पूरी शोध प्रणाली एक सामान्य गेमिंग कंप्यूटर पर स्थानीय रूप से काम करती है।
परियोजना पृष्ठ पर उल्लेख किया गया है कि निरंतर प्री-ट्रेनिंग स्केलिंग अनुसंधान में उपयोग किए जाने वाले चेकपॉइंट जारी किए गए थे, जबकि Honkai: Star Rail डेटा और चेकपॉइंट, जो इन डेटा पर प्रशिक्षित या फाइन-ट्यून किए गए थे, डेटा सुरक्षा कारणों से बंद रहते हैं। इसलिए, सार्वजनिक रूप से उपलब्ध शोध कलाकृतियों को प्रदर्शित गेम प्रणाली का पूर्ण डाउनलोड करने योग्य संस्करण नहीं माना जाना चाहिए।
इस बात पर जोर दिया गया है कि यह एक शोध परियोजना है, न कि एक घोषित उपभोक्ता गेम बॉट या वाणिज्यिक गेम खातों के स्वचालन के लिए प्राधिकरण। प्रदर्शन मेट्रिक्स लेखकों के अनुमान हैं, और उद्धृत सामग्री इन परिणामों के स्वतंत्र पुनरुत्पादन को स्थापित नहीं करती है।



