Xiaomi की LLM-Core कंपनी के शोधकर्ताओं ने arXiv (2609.26368) पर एक पेपर में HySparse2 आर्किटेक्चर प्रकाशित किया है। यह तकनीक दो-स्तरीय कुंजी-मूल्य (KV) साझाकरण तंत्र के साथ एक हाइब्रिड विरल ध्यान (sparse attention) का प्रतिनिधित्व करती है और लंबी क्षितिज वाली MiMo-V3 वर्ग के एजेंट कार्यों के साथ काम करने के लिए डिज़ाइन की गई है।
इस विकास के आधिकारिक ब्रांडिंग में Xiaomi, MiMo और HySparse2 शामिल हैं। यह प्रकाशन खुले वजन वाले पिछले MiMo-V2.6 समीक्षाओं से अलग, अनुसंधान आर्किटेक्चर और घोषित प्रदर्शन मेट्रिक्स पर केंद्रित है।
HySparse2 मॉडल के मुख्य भाग को YOCO शैली के सेल्फ-डिकोडर और क्रॉस-डिकोडर में विभाजित करता है। बाहरी स्तर पर, KV ब्रिजिंग तंत्र केवल पूर्ण ध्यान परतों को जोड़ता है, जबकि क्रॉस-डिकोडर के KV कैश को सेल्फ-डिकोडर की छिपी हुई अवस्थाओं से प्रोजेक्ट किया जाता है। आंतरिक स्तर पर, उन्नत KV पुन: उपयोग प्रत्येक हाइब्रिड ब्लॉक के भीतर HySparse शैली में साझाकरण को बनाए रखता है, हालांकि यह ब्लॉक स्तर के चयन से टोकन स्तर के चयन में बदल जाता है। इसके अलावा, स्लाइडिंग विंडो की अलग शाखा के बजाय, विरल चयन में हाल की स्थानीय विंडो को अनिवार्य रूप से शामिल किया जाता है।
इन परिवर्तनों के कारण, प्रीफिल चरण सेल्फ-डिकोडर के बाद समाप्त हो सकता है, क्रॉस-डिकोडर परतों को कैश बनाने के दौरान दरकिनार करते हुए। यह मल्टी-स्टेप एजेंटों के लिए विशेष रूप से उपयोगी है जहां इनपुट टोकन काफी हद तक टूल ऑब्जर्वेशन से बने होते हैं।
समान डेटा और ग्राफ़ पर प्रशिक्षित 80B-A3B आकार के MoE मॉडल का उपयोग करते समय, लेख बताता है कि मामूली फाइन-ट्यूनिंग के बाद HySparse2 क्रमशः MRCR-v2 और RULER-v2 के प्रदर्शन को 11.30 और 19.81 प्रतिशत अंक तक बढ़ाता है, जबकि 256 हजार टोकन के संदर्भ में AgentPPL और LongPPL के निचले मानों को बनाए रखता है। 1 मिलियन टोकन के साथ काम करते समय, विश्लेषण में HySparse की तुलना में प्रीप्रोसेसिंग में FLOPs में 2.92× और Hybrid SWA की तुलना में 5.02× की कमी दिखाई देती है। यह भी नोट किया गया है कि निर्दिष्ट बेस मॉडलों के लिए FP8 KV कैश का आकार क्रमशः 6.72 GB और 12.09 GB की तुलना में लगभग 2.69 GB तक कम हो जाता है।
एब्लेशन विश्लेषण से पता चलता है कि टोकन स्तर का चयन निश्चित ध्यान बजट के साथ अधिक मजबूत खोज को बढ़ावा देता है। 290B-A8B तक स्केल करने पर, KV ब्रिजिंग तंत्र तुलनीय गुणवत्ता बनाए रखता है, साथ ही प्रीप्रोसेसिंग के दौरान प्रारंभिक निकास की अनुमति भी देता है। चीनी LLM सिस्टम के शोध का अध्ययन करने वाले विशेषज्ञों के लिए, HySparse2 MiMo-V3 के प्रदर्शन दावों के पीछे एक वास्तुशिल्प संकेत है, न कि खुले वजन वाला नया रिलीज़।
