Xiaohongshu इंजन टीम ने OSDI 2026 सम्मेलन में HELMSMAN सिस्टम प्रस्तुत किया। यह सिस्टम पूरी तरह से फ्लैश मेमोरी वाले NVMe SSD ऐरे के लिए विशेष रूप से विकसित, अनुमानित निकटतम पड़ोसी खोज (vector approximate nearest neighbor search) के लिए एक लागत प्रभावी उच्च प्रदर्शन समाधान है।
HELMSMAN ने Xiaohongshu के पिछले बुनियादी ढांचे को बदल दिया, जिसमें लगभग 35,000 सीपीयू कोर और 350 टीबी रैम (DRAM) थे, जो केवल 40 पूरी तरह से फ्लैश मेमोरी वाले सर्वर पर था। इसने हार्डवेयर लागत में 90% से अधिक की कमी हासिल करने की अनुमति दी, जबकि कंपनी की खोज, सिफारिशों और विज्ञापन जैसी सेवाओं के लिए मिलीसेकंड स्तर की विलंबता बनाए रखी। ये सेवाएं प्रति सेकंड लाखों अनुरोधों पर सैकड़ों अरब उच्च-आयामी वैक्टर संसाधित करती हैं।
मुख्य विचार यह है कि क्लस्टर्ड ANNS विधियाँ ग्राफ़-आधारित ANNS विधियों के विपरीत, आधुनिक हाई-स्पीड एसएसडी ऐरे के लिए अधिक उपयुक्त वास्तुकला हैं। ग्राफ़ सिस्टम, जो डीराम और एसएसडी का उपयोग करते हैं, जैसे कि DiskANN, अनुक्रमिक इनपुट-आउटपुट पर निर्भरता से पीड़ित होते हैं, क्योंकि एक एसएसडी से पढ़ना अगले विज़िट किए जाने वाले पड़ोसी को निर्धारित करता है, जो एसएसडी थ्रूपुट संतृप्ति में बाधा डालता है। इसके विपरीत, क्लस्टर्ड सिस्टम उम्मीदवार समूहों को समानांतर में पढ़ते हैं, जो एसएसडी की समानांतर इनपुट-आउटपुट क्षमताओं के अनुरूप है।
पारंपरिक SPANN क्लस्टरिंग सिस्टम उत्पादन वातावरण में तीन समस्याओं का सामना करते थे: लिनक्स इनपुट-आउटपुट स्टैक ओवरहेड के कारण अपर्याप्त थ्रूपुट, गैर-अनुकूली खोज रणनीतियाँ जो क्वेरी की जटिलता के आधार पर बहुत अधिक या बहुत कम स्कैन करती थीं, और एक प्रोसेसर पर धीमी इंडेक्स निर्माण जो सैकड़ों अरब वैक्टर तक स्केल नहीं कर सकता था। HELMSMAN इन बाधाओं को तीन नवीनताओं के माध्यम से दूर करता है:
पहला, ANNS के लिए एक विशेष स्टोरेज स्टैक, जो मानक लिनक्स इनपुट-आउटपुट पथों को बायपास करता है, उपयोगकर्ता स्थान में सीधे NVMe कतारों का प्रबंधन करता है। इसने सॉफ्टवेयर ओवरहेड को कम कर दिया, जो पहले कुल विलंबता का 58% लेता था। दूसरा, खोज को छांटने के लिए एक पदानुक्रमित शिक्षण तंत्र लागू किया गया है, जो क्वेरी की जटिलता, टॉप-के आकार और सेंट्रोइड वितरण के आधार पर स्कैन करने के लिए इष्टतम क्लस्टरों की संख्या का अनुकूलन रूप से पूर्वानुमान लगाता है। तीसरा, जीपीयू त्वरण के साथ एक वितरित निर्माण पाइपलाइन पेश की गई है, जो इंडेक्स को कुछ ही घंटों में अरबों वैक्टर के पैमाने पर पुनर्निर्माण करने की अनुमति देती है, जो सिफारिश और विज्ञापन प्रणालियों के लिए मिनटों में मॉडल अपडेट के अनुरूप है।
उत्पादन परीक्षणों ने सिस्टम की प्रभावशीलता का प्रदर्शन किया। HELMSMAN मौजूदा डीराम-एसएसडी सिस्टम, जिसमें DiskANN और SPANN शामिल हैं, की तुलना में 2-16 गुना थ्रूपुट सुधार प्रदान करता है, जो मिलीसेकंड के भीतर औसत और टेल विलंबता के SLA का पालन करते हुए शुद्ध इन-मेमोरी परिनियोजन के 85% थ्रूपुट तक पहुंचता है। 10 अरब वैक्टर के पैमाने पर इंडेक्स को घंटों में पुनर्निर्माण करने की क्षमता HELMSMAN को उन कार्य वातावरणों के लिए व्यावहारिक बनाती है जहां एम्बेडिंग मॉडल और वेक्टर डेटा अक्सर अपडेट होते हैं। Xiaohongshu का परिनियोजन खोज, सिफारिशों, विज्ञापन, सामग्री सुरक्षा और RAG पाइपलाइनों सहित कई व्यावसायिक क्षेत्रों को कवर करता है।
लागत और स्केलेबिलिटी के निहितार्थ Xiaohongshu से परे जाते हैं। वेक्टर खोज बुनियादी ढांचा इंटरनेट प्लेटफॉर्म के लिए सबसे तेजी से बढ़ते लागत केंद्रों में से एक है, क्योंकि एम्बेडिंग-आधारित निष्कर्षण खोज, सिफारिशों और एआई-संचालित सुविधाओं के लिए सार्वभौमिक हो रहा है। डीराम पर निर्भरता लागत वृद्धि का एक संरचनात्मक कारक थी, क्योंकि वैक्टर का पैमाना सालाना दोगुना हो रहा है। HELMSMAN साबित करता है कि मानक फ्लैश स्टोरेज पर उच्च प्रदर्शन वाला ANNS सबसे संवेदनशील ऑनलाइन सेवा परिदृश्यों के लिए भी उत्पादन में व्यवहार्य है, जिससे पूरे उद्योग के लिए बुनियादी ढांचे की अर्थव्यवस्था संभावित रूप से बदल सकती है। यह शोध यह भी सवाल उठाता है कि क्या अन्य एआई घटक, जो मेमोरी से सीमित हैं, केवल डीराम के विस्तार के बजाय स्टोरेज स्टैक के सह-डिज़ाइन से समान लाभ प्राप्त कर सकते हैं।
एक्सपावर टेक्नोलॉजी ने डब्ल्यूएआईसी कार्यक्रम में आरपीपी एई7100ई आर्किटेक्चर चिप्स पेश किए। ये नाखून के आकार के माइक्रोचिप वितरित कंप्यूटिंग का उपयोग करके 400 बिलियन से 1.6 ट्रिलियन मापदंडों तक के मॉडल का समर्थन कर सकते हैं, साथ ही टोकन की न्यूनतम लागत भी सुनिश्चित करते हैं।
डब्ल्यूएआईसी 2026 पर एक्सपावर टेक्नोलॉजी ने एआई कंप्यूटिंग के घरेलू बाजार में एक महत्वपूर्ण खिलाड़ी के रूप में खुद को स्थापित किया। कंपनी ने अपने मालिकाना रीकॉन्फ़िगरेबल पैरेलल प्रोसेसर आरपीपी आर्किटेक्चर पर आधारित अपनी आर्टिफिशियल इंटेलिजेंस एक्सेलेरेटर मैट्रिक्स का प्रदर्शन किया। यह आर्किटेक्चर क्लाउड, एज और एंड कंप्यूटिंग परिदृश्यों को कवर करता है। कंपनी का मुख्य विचार सीधे उद्योग के सामान्य सिद्धांत को चुनौती देता है कि विशाल चिप्स का उपयोग आवश्यक है।
एई7100ई चिप्स, जिनका आकार लगभग नाखून जितना है, को प्रति एक्सेलेरेटर कार्ड पर 12 इकाइयों में एकीकृत किया जा सकता है। यह कॉन्फ़िगरेशन वितरित कंप्यूटिंग के माध्यम से 400 बिलियन से 1.6 ट्रिलियन मापदंडों वाले बड़े भाषा मॉडल को चलाने की अनुमति देता है, जिससे उद्योग के लिए इष्टतम टोकन लागत दक्षता प्राप्त होती है। एक्सपावर के सीईओ, ली युआन ने टिप्पणी की कि प्रशिक्षण-उन्मुख कंप्यूटिंग से इन्फेरेंस-उन्मुख कंप्यूटिंग में बदलाव एक प्रमुख प्रवृत्ति है। उन्होंने इस बात पर जोर दिया कि एआई प्रोग्रामिंग इन्फेरेंस के लिए एक महत्वपूर्ण उपयोग मामला बन गया है, क्योंकि कंपनी के अनुभव से पता चला है कि एआई अब सीपी कंपाइलर विकास कर सकता है, जिसके लिए पहले वर्षों तक एक पेशेवर टीम की आवश्यकता होती थी, और इस क्षमता को विभिन्न कार्यों में तेजी से लागू करने के लिए बढ़ाया जा सकता है।
चूंकि वैश्विक डेटा केंद्रों में मॉडलों के 55% अनुरोध ओपन-सोर्स मॉडल बाजार पर आते हैं, इसलिए इन्फेरेंस बाजार केवल कुछ दिग्गजों के लिए ही नहीं, बल्कि किसी भी उद्यम के लिए सुलभ है, जो इन्फेरेंस के लिए लागत प्रभावी बुनियादी ढांचे की भारी मांग पैदा करता है। मुख्य अवलोकन इन्फेरेंस के दौरान बड़े चिप्स की अक्षमता है: डिकोडिंग के लिए 1:1 कंप्यूट-टू-डेटा अनुपात की आवश्यकता होती है, जबकि जीपीयू 1000:1 का अनुपात प्रदान करते हैं, जिससे थ्रूपुट का नुकसान होता है। एक्सपावर का आरपीपी आर्किटेक्चर वितरित छोटे चिप्स का उपयोग करता है, जो एक ही सर्वर के भीतर सूक्ष्म विशेषज्ञता प्रदान करता है। इसके अलावा, एक्सपावर का दृष्टिकोण महंगी एचबीएम तकनीक को अधिक परिपक्व एलपीडीडीआर से बदलता है, यह दावा करते हुए कि एआई इन्फेरेंस के लिए मौलिक रूप से तीन तत्वों की आवश्यकता होती है: बड़ी क्षमता, पर्याप्त बैंडविड्थ और कम लागत। एलपीडीडीआर तकनीक इन सभी आवश्यकताओं को एचबीएम की तुलना में काफी कम लागत पर पूरा करती है। प्रति कार्ड 12 चिप्स का कॉन्फ़िगरेशन एक ही सर्वर फॉर्म फैक्टर के भीतर चिप्स के बीच मेमोरी के विस्तृत विभाजन और डेटा के समानांतर प्रसंस्करण की अनुमति देता है। यह वितरित सर्वर आर्किटेक्चर एक्सपावर को एनवीडिया ग्रोक् के दृष्टिकोण से अलग करता है, जो भी वितरित मल्टी-चिप संरचनाओं का उपयोग करता है, लेकिन बहुत बड़े क्लस्टर पैमाने पर। आरपीपी आर्किटेक्चर की अंतर्निहित लचीलापन, जो सामान्य और डोमेन-विशिष्ट कंप्यूटिंग के बीच संतुलन बनाती है, एक ही चिप को क्लाउड, एज और एंड डिवाइस पर तैनाती परिदृश्यों के लिए उपयोग करने की अनुमति देती है।
डब्ल्यूएआईसी के दौरान, कंपनी ने अपने उत्पादन लाइन का प्रदर्शन किया, जिसमें एई7100ई चिप से लेकर 8 कार्ड पर उच्च घनत्व वाले सर्वर रैक तक शामिल है। एज कंप्यूटिंग से क्लाउड कंप्यूटिंग में कंपनी का संक्रमण इस रणनीतिक दांव पर है कि इन्फेरेंस बाजार, जिसका एक्सपावर सामान्य रूप से पता लगाने योग्य मूल्य के आधार पर प्रशिक्षण बाजार की तुलना में 10 गुना अधिक आंकता है, सबसे बड़े एकल चिप कंप्यूटिंग शक्ति द्वारा नहीं, बल्कि सबसे अधिक लागत प्रभावी वितरित प्रणालियों द्वारा जीता जाएगा। हालांकि इस परिकल्पना की पुष्टि वास्तविक कार्यान्वयन परिणामों पर निर्भर करेगी, आरपीपी आर्किटेक्चर कंप्यूटिंग के लिए सबसे मौलिक देशी दृष्टिकोणों में से एक का प्रतिनिधित्व करता है, जो बड़े चिप्स के सर्वसम्मति को चुनौती देता है, यह दावा करते हुए कि एआई इन्फेरेंस का भविष्य एकल मोनोलिथिक प्रोसेसर में नहीं, बल्कि समन्वित छोटे चिप्स के समूहों में निहित है।
