लेनोवो की Tianxi AI टीम ने एक कोडिंग एजेंट विकसित किया है जिसने SWE-bench-Live प्लेटफॉर्म की Lite रैंकिंग में पहला स्थान हासिल किया है। यह बेंचमार्क आर्टिफिशियल इंटेलिजेंस सिस्टम से GitHub परियोजनाओं से ली गई वास्तविक समस्याओं को हल करने की मांग करता है। TianxiCode एजेंट, जो आधार मॉडल के रूप में DeepSeek-V4.1-Flash का उपयोग करता है, ने 71% कार्यों को हल करने और बेंचमार्क की आधिकारिक जांच पास करने में सफलता प्राप्त की, जैसा कि QbitAI द्वारा 9 अक्टूबर को जारी किए गए लेनोवो के बयान से पता चला।
यह ध्यान रखना महत्वपूर्ण है कि यह परिणाम विशेष रूप से Lite अनुभाग से संबंधित है, न कि पूर्ण या बहुभाषी रैंकिंग तालिकाओं से। सार्वजनिक लीडरबोर्ड के अनुसार, 8 अक्टूबर की प्रविष्टि ने Lite के 300 कार्यों में से 213 कार्यों को हल किया था। इस ही श्रेणी में अगले सत्यापित प्रतिभागी पर बढ़त केवल 0.67 प्रतिशत अंक की है, क्योंकि अगला प्रतिभागी 70.33% के स्तर पर है।
SWE-bench-Live पारंपरिक कोडिंग परीक्षणों से अलग है जो सिंटैक्स या व्यक्तिगत कार्यों का परीक्षण करते हैं। प्रत्येक कार्य GitHub से एक वास्तविक टिकट पर आधारित होता है, और सिस्टम को एक पैच बनाना होता है जो पुनरुत्पादनीय निष्पादन वातावरण में समस्या को ठीक करता है। 'सत्यापित' लेबल प्राप्त करने के लिए, टीमें अपने एजेंट के संपूर्ण कार्य पथ प्रदान करती हैं, जिसके बाद आयोजक मूल्यांकन इनपुट और संदर्भ उत्तरों, परीक्षण उदाहरणों या परिणामों के रिसाव के लिए अलगाव सेटअप की जांच करते हैं।
TianxiCode एजेंट कैसे काम करता है
लेनोवो कार्यात्मक वितरण का वर्णन इस प्रकार करती है: DeepSeek-V4.1-Flash 'इंजीनियर के मस्तिष्क' की भूमिका निभाता है, कोड का विश्लेषण करता है और सुधार प्रस्तावित करता है, जबकि TianxiCode 'आंखें, हाथ, उपकरण और कार्य अनुशासन' प्रदान करता है। कंपनी तीन प्रमुख क्षमताओं पर जोर देती है। फ़ाइलों के बीच बहु-चरणीय जानकारी खोज, संदर्भ को ट्रिमिंग और स्लाइसिंग के साथ मिलकर, एजेंट को बड़े कोडबेस में त्रुटि के मूल कारण का पता लगाने की अनुमति देता है। बहु-चरण टूल कॉल के साथ स्वायत्त योजना उसे डिबगिंग योजना बनाने, टर्मिनल में परीक्षण चलाने, लॉग पढ़ने और परिवर्तनों के इतिहास की तुलना करने, और फिर कठिनाई आने पर दृष्टिकोण बदलने की क्षमता देता है।
परीक्षणों के आधार पर स्व-सुधार के साथ बंद लूप सुधार, एक अलग वातावरण में नए कोड को चलाने और तब तक इसे परिष्कृत करने की अनुमति देता है जब तक कि पैच पास नहीं हो जाता। TianxiCode लेनोवो के Tianxi AI पारिस्थितिकी तंत्र में कोड जनरेशन और सॉफ्टवेयर विकास के लिए एक घटक है। लेनोवो इस कार्य को डेवलपर टूलचेन और अपने एआई-आधारित हार्डवेयर उत्पादों में एकीकृत करने की योजना बना रही है, हालांकि समय सीमा या विशिष्ट उपकरणों की घोषणा नहीं की गई है।
प्राप्त परिणाम एक शक्तिशाली एजेंट तंत्र के साथ लागत प्रभावी फ्लैश क्लास मॉडल की क्षमता को भी प्रदर्शित करता है। लेनोवो ने अन्य मॉडलों पर उसी प्रणाली के अलग-अलग मूल्यांकन प्रकाशित नहीं किए हैं।