yetone का Alma Agent Harness फ्रंटियरहार्नेस v1.1 की मध्यवर्ती रैंकिंग में तीसरे स्थान पर रहा, और अंतिम में छठे स्थान पर

Alma, जो एक स्वतंत्र विशेषज्ञ yetone द्वारा विकसित AI एजेंटों के साथ काम करने के लिए एक प्रणाली है, ने रनटा कंपनी द्वारा आयोजित एजेंट सिस्टम के लिए एक खुला बेंचमार्क, FrontierHarness v1.1 के मध्यवर्ती अवलोकन में तीसरा स्थान हासिल किया। यह मध्यवर्ती रैंकिंग 11 नवंबर को तैयार की गई थी, जब परीक्षण अभी भी जारी था, और तालिका में स्थान प्रतिदिन बदल रहे थे।

जब Pandaily ने 15 नवंबर को पूरी हुई तालिका की जांच की, तो Alma ने सफल निष्पादन प्रतिशत के आधार पर छठा स्थान प्राप्त किया। FrontierHarness पांच खुले मॉडलों और प्रोग्रामिंग इंजीनियरिंग, विज्ञान, डेटा, सिस्टम, मशीन लर्निंग और सुरक्षा के क्षेत्रों में 62 कार्यों का उपयोग करके Claude Code, Codex CLI और OpenCode सहित 21 सिस्टम कॉन्फ़िगरेशन का परीक्षण करता है।

प्रत्येक सिस्टम चार प्रयासों से गुजरता है, प्रत्येक मॉडल के लिए प्रत्येक कार्य पर मूल्यांकन किया जाता है, और केवल पुष्टि किए गए सफल पास ही गिने जाते हैं। 11 नवंबर के चीनी प्रौद्योगिकी प्रकाशन Zhixingxing की रिपोर्ट के अनुसार, Alma ने 72.7% सफलता प्रदर्शित की। इसने इसे Codex CLI (77.9%) और Pi (72.8%) से पीछे रखा, लेकिन Claude Code (70.0%) से आगे निकल गया।

Alma का उपयोग करके एक सफल कार्य को पूरा करने की लागत लगभग 0.80 डॉलर थी, जबकि Claude Code के लिए यह लागत 0.94 डॉलर थी।

अंतिम परीक्षण के परिणाम

अंतिम तालिका में 26,040 मूल्यांकित परीक्षण और समग्र रूप से कम प्रदर्शन दर्शाया गया। Alma का सफल निष्पादन प्रतिशत 59.7% था, जो ZCode (61.9%), Codex CLI (61.1%), KimiCode (60.2%), Grok Build (60.0%) और Hermes Agent (59.9%) से कम था। सभी 21 सिस्टम के सफल निष्पादन प्रतिशत 50.6% से 61.9% की सीमा में थे। डिफ़ॉल्ट रूप से, तालिका की रैंकिंग लागत प्रति पास पर आधारित है। इस मानदंड के अनुसार, Alma ने 13वां स्थान 1.22 डॉलर की लागत के साथ हासिल किया, जबकि Codex CLI की लागत 0.937 डॉलर थी, और Claude Code की लागत 1.55 डॉलर थी। Alma का सर्वश्रेष्ठ परिणाम Kimi-K3 का उपयोग करते हुए 64.1% स्तर पर प्राप्त किया गया।

Alma फ़ाइलों को पढ़ने और संपादित करने, टर्मिनल में कमांड चलाने, इंटरनेट पर जानकारी खोजने और विभिन्न कौशल, MCP और कई मॉडल का समर्थन करने में सक्षम है। इसके अलावा, Zhixingxing की समीक्षा और Alma की वेबसाइट पर दी गई जानकारी के अनुसार, अतिरिक्त सुविधाएँ जोड़ी गई हैं:

रिमोट एक्सेस सुनिश्चित करने के लिए yetone ने Alma Relay का सोर्स कोड खोला है, जिसे Cloudflare Workers या Docker का उपयोग करके तैनात किया जा सकता है। एंड-टू-एंड एन्क्रिप्शन चालू होने पर, जो डिफ़ॉल्ट सेटिंग है, रिले केवल एन्क्रिप्टेड डेटा देखता है और अपने दस्तावेज़ीकरण के अनुसार डिस्क पर कुछ भी संग्रहीत नहीं करता है।

समान कहानियाँ

Baidu ने ERNIE-5.5-Flash-Base मॉडल जारी किया: 14B सक्रिय पैरामीटर वाला 280B MoE

Baidu की ERNIE टीम ने ERNIE-5.5-Flash-Base के जारी होने की घोषणा की है, जो ERNIE 5.5 Flash मॉडल का एक अनप्रोसेस्ड प्री-ट्रेनिंग चेकपॉइंट है। यह रिलीज़ 5 नवंबर को Hugging Face प्लेटफॉर्म पर पोस्ट किया गया था।

विरल आर्किटेक्चर मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) का उपयोग करने वाला यह मॉडल कुल 280 बिलियन मापदंडों का है, जिसमें प्रति टोकन 14 बिलियन पैरामीटर सक्रिय होते हैं। इसे 33.5 ट्रिलियन टोकन पर स्क्रैच से प्रशिक्षित किया गया था, जिसका अधिकतम प्रशिक्षण संदर्भ आकार 128 हजार टोकन है, हालांकि फाइन-ट्यूनिंग और इन्फेरेंस के लिए संदर्भ समर्थन 1 मिलियन टोकन तक पहुंचता है।

Baidu ने जानबूझकर मॉडल को अपूर्ण रूप में जारी किया है। वेट्स प्री-ट्रेनिंग के समापन चरण से प्राप्त किए गए हैं और अभी तक इंटरमीडिएट या बाद के प्रशिक्षण चरणों से नहीं गुजरे हैं। कंपनी का दावा है कि यह डोमेन अनुकूलन, इंस्ट्रक्शन ट्यूनिंग और रीइन्फोर्समेंट लर्निंग में अनुसंधान के लिए एक सामान्य शुरुआती बिंदु बनाता है। टीम ने बताया कि बाद में ERNIE 5.5 Flash का पोस्ट-ट्रेन्ड संस्करण जारी किया जाएगा।

उपलब्ध वेट्स Baidu ERNIE 5.5 Flash Base Model v1.0 लाइसेंसिंग समझौते के अनुसार FP8 और BF16 प्रारूपों में प्रदान किए जाते हैं। इस मॉडल का उपयोग SGLang और vLLM के माध्यम से किया जा सकता है, और NVIDIA Megatron-Bridge रिपॉजिटरी में फाइन-ट्यूनिंग का एक उदाहरण भी शामिल है।

यह 43-परत वाला मॉडल दक्षता पर ध्यान केंद्रित करते हुए डिज़ाइन किया गया है। अधिकांश परतें 'Baidu अत्यधिक संपीड़ित ध्यान' का उपयोग करती हैं, जो प्रत्येक 128 टोकन को एक कैश प्रविष्टि में संयोजित करता है। केवल सात परतों में से एक टोकन स्तर पर पूर्ण संदर्भ तक पहुंच बनाए रखती है, जो टॉप-k पर विरल चयन के साथ मल्टी-हेड लेटेंट अटेंशन के माध्यम से होती है। कुल मिलाकर, 43 में से 37 परतें संपीड़ित अनुक्रम के साथ काम करती हैं, जिससे एक छोटा KV-कैश बनाए रखना संभव होता है। इसके अलावा, डेवलपर्स ने बताया कि लो-रैंक गेटेड अटेंशन डिज़ाइन गेट प्रोजेक्शन मापदंडों को 75% तक कम करता है।

MoE के संबंध में, Baidu ने मानक एकल राउटर को कई स्वतंत्र रूप से आरंभ किए गए राउटर से बदल दिया है जो विशेषज्ञों का सहयोगात्मक मूल्यांकन करते हैं। कंपनी का दावा है कि यह रूटिंग मूल्यांकन और विशेषज्ञ की वास्तविक उपयोगिता के बीच मिलान में सुधार करता है, जबकि सक्रिय विशेषज्ञों की संख्या, कम्प्यूटेशनल शक्ति या संचार को नहीं बदलता है। प्रत्येक MoE परत 512 रूट किए गए विशेषज्ञों में से 10 और एक सामान्य विशेषज्ञ का चयन करती है, जो संपीड़ित लेटेंट स्पेस में काम करती है, जिससे विशेषज्ञ संचार और गणना लगभग आधा हो जाता है। ECHO नामक एक घटक भविष्य के टोकन की भविष्यवाणी करने के लिए मॉडल की अंतिम परत का पुन: उपयोग करता है, बजाय इसके कि एक अलग मल्टी-टोकन भविष्यवाणी मॉड्यूल जोड़ा जाए, और अनुमानित डिकोडिंग के लिए एक ड्राफ्ट मॉडल के रूप में कार्य करता है।

प्री-ट्रेनिंग के लिए हजारों एक्सेलेरेटर पर मिश्रित परिशुद्धता FP8 के साथ Muon ऑप्टिमाइज़र और नए FlashMask-4 अटेंशन कोर का उपयोग किया गया था। Baidu का दावा है कि यह कोर बड़े हेड आकारों पर SM100 क्लास के GPU पर FlashAttention-4 की तुलना में फॉरवर्ड पास में 175% तक तेज चलता है। डेटा मिश्रण में रिपॉजिटरी स्तर पर कोड पर जोर दिया गया था, जिसमें कमिट, मर्ज अनुरोध, कोड समीक्षा और CI द्वारा सत्यापित फिक्स शामिल थे, साथ ही लंबे दस्तावेज़ भी शामिल थे।

Baidu ने एक एकीकृत मूल्यांकन प्रणाली का उपयोग करके 30 बेंचमार्क पर मॉडल का परीक्षण किया, इसकी तुलना DeepSeek-V4-Flash-Base, Hy3-preview-Base और MiMo-V2.5-Base से की। घोषित परिणामों में MMLU-Pro पर DeepSeek-V4-Flash-Base के 69.2 की तुलना में 78.4 अंक और HumanEval+ पर 69.5 की तुलना में 82.3 अंक शामिल हैं। हालांकि, तुलना किए गए मॉडल कुछ परीक्षणों जैसे ChineseSimpleQA, चेन ऑफ थॉट प्रॉम्प्टिंग के साथ BBH और InfiniteBench में आगे थे।

त्सिन्हुआ से बीजगणितीय दुनिया का मॉडल लीन 4 की मदद से ARC-AGI-3 स्तरों को पार करने की असंभवता सिद्ध करता है

त्सिन्हुआ विश्वविद्यालय और झेजियांग विश्वविद्यालय के शोधकर्ताओं ने 'एल्जेब्रिक वर्ल्ड मॉडल' (AWM) प्रस्तुत किया है - एक एजेंट जो न केवल इंटरैक्टिव पहेलियों ARC-AGI-3 को हल करने में सक्षम है, बल्कि यह भी औपचारिक रूप से सिद्ध कर सकता है कि किसी विशेष स्तर को पार करना असंभव है।

arXiv पर 29 अक्टूबर को प्रकाशित और 1 नवंबर को QbitAI द्वारा उजागर किए गए इस कार्य को झेजियांग विश्वविद्यालय के गुआनचेन पान, साथ ही त्सिनहुआ विश्वविद्यालय के सिसिन तान, यान युआन और एंड्रयू ची-ची याओ ने किया था।

AWM तीन चरणों में कार्य करता है। पहले, यह खेल का अन्वेषण करता है और पर्यावरण के व्यवहार के संबंध में पायथन में परिकल्पनाएँ बनाता है, विरोधाभासी अवलोकन प्राप्त होने पर उन्हें समायोजित करता है। फिर इन परिकल्पनाओं को श्रेणी सिद्धांत की अवधारणाओं पर आधारित नियमों, लक्ष्यों और वस्तुओं का वर्णन करने वाले एक संरचित मॉडल में सरल बनाया जाता है। अंतिम चरण इस मॉडल का लीन 4 प्रूफ असिस्टेंट में औपचारिकीकरण है, जहां मशीन स्तर को पार करने की संभावना जैसे कथनों की जांच कर सकती है।

टीम ने बंद स्तरों पर परीक्षण किया, जहां कदम बजट जीत को असंभव बना देता था। AWM ने इन छह स्तरों के लिए लीन का उपयोग करके असंभवता के प्रमाण प्रदान किए, जबकि Claude Opus 5.5 और GPT-6 Astra के 12 रन ऐसा करने में विफल रहे। एक उदाहरण में, जहां न्यूनतम जीत के लिए 19 कदमों की आवश्यकता थी लेकिन बजट 18 था, Astra ने 22 कदमों में समाधान का दावा किया, जबकि AWM ने छह में से चार स्तरों के लिए सही प्रारंभिक सीमाएं स्थापित कीं, Opus 5.5 के लिए एक और Astra के लिए शून्य, प्रतिक्रिया के बाद सभी छह के लिए परिणाम प्राप्त किया।

सभी 25 सार्वजनिक खेलों के 183 स्तरों को लीन के भीतर दोबारा चलाने के दौरान, अध्ययन किए गए मॉडलों ने अनदेखे विन्यासों पर सभी 4160 संक्रमणों की भविष्यवाणी की और गेमप्ले यांत्रिकी में परिवर्तन के बाद सभी 4031 संक्रमणों को अस्वीकार कर दिया। Claude Opus 5 का उपयोग खिलाड़ी के रूप में करते हुए, AWM ने बुनियादी मानव संस्करण में लिए गए 43% कार्यों का उपयोग करते हुए अपना स्कोर 40.7 से बढ़ाकर 99.9 कर दिया।

लेखक एक महत्वपूर्ण सीमा पर प्रकाश डालते हैं: प्रमाण की विश्वसनीयता अध्ययन किए गए मॉडल की गुणवत्ता पर निर्भर करती है, इसलिए असंभवता का परिणाम AWM गेम मॉडल के दायरे में सत्य है, न कि खेल के वास्तविक कोड के संबंध में।

yetone का Alma Agent Harness फ्रंटियरहार्नेस v1.1 की मध्यवर्ती रैंकिंग में तीसरे स्थान पर रहा, और अंतिम में छठे स्थान पर

अंतिम परीक्षण के परिणाम

समान कहानियाँ

Baidu ने ERNIE-5.5-Flash-Base मॉडल जारी किया: 14B सक्रिय पैरामीटर वाला 280B MoE

त्सिन्हुआ से बीजगणितीय दुनिया का मॉडल लीन 4 की मदद से ARC-AGI-3 स्तरों को पार करने की असंभवता सिद्ध करता है

लोकप्रिय