Ant Group और vLLM समुदाय ने Zhenwu 810E समर्थन के साथ क्वांटाइज्ड इन्फेरेंस के लिए कोर लाइब्रेरी Humming जारी की

pandaily.com वेबसाइट के मालिक ने अस्थायी रूप से उपयोगकर्ता की संसाधन तक पहुंच को अवरुद्ध कर दिया है। यह प्रतिबंध Cloudflare सेवा का उपयोग करके लागू किया गया है।

इस स्थिति के बारे में अधिक विस्तृत जानकारी के लिए, उपयोगकर्ता HTTP स्थिति कोड पर Cloudflare के आधिकारिक दस्तावेज़ीकरण से संपर्क कर सकते हैं, विशेष रूप से इस लिंक https://developers.cloudflare.com/support/troubleshooting/http-status-codes/cloudflare-1xxx-errors/error-1015/ पर।

कंपनियां 4Paradigm और RiseUnion ने कृत्रिम बुद्धिमत्ता को तैनात करने के लिए एक उत्पादन प्लेटफॉर्म, ModelSphere, को सार्वजनिक रूप से जारी किया है। यह प्लेटफॉर्म Apache 2.0 लाइसेंस के तहत कंप्यूटिंग संसाधनों के प्रबंधन, मॉडल की सेवा और रनटाइम वातावरण को कॉन्फ़िगर करने को एकीकृत करता है। प्रोजेक्ट का कोड GitHub पर modelsphere/modelsphere पर उपलब्ध है, जहां Apache-2.0 लाइसेंस भी निर्दिष्ट है, और इसे लॉन्च के दिन फिर से प्रकाशित किया गया था।

कंपनियों के प्रतिनिधियों ने बताया कि ModelSphere vLLM और SGLang जैसे इंजनों के ऊपर काम करता है। जबकि ये स्टैक एक सर्वर का अधिकतम उपयोग करने पर केंद्रित हैं, ModelSphere क्लस्टर रूटिंग, साझा KV कैश पूल, सेवा स्तर के अनुसार स्वचालित स्केलिंग, फ्रीज से रिकवरी और ऑनलाइन ऑटो-ट्यूनिंग संभालता है।

संयुक्त घोषणा में शामिल अंतर्निहित सुविधाओं में डिप्लॉयमेंट के लिए एक ग्राफ़िकल डैशबोर्ड, इलास्टिक स्केलिंग, प्रीफाइल और डिकोडिंग के साथ सर्विसिंग, थ्री-टियर KV कैशिंग, हाई अवेलेबिलिटी के साथ लोड बैलेंसिंग और सेवा विफलता के बाद स्वचालित पुनरारंभ शामिल हैं।

विषम चिप्स पर विशेष ध्यान दिया गया है। EngineX इन्फेरेंस लेयर के कारण, ModelSphere Huawei Ascend, Iluvatar, Moore Threads और Hygon DCU जैसे संसाधनों को एक ही पूल के भीतर शेड्यूल करने की अनुमति देता है, जिससे टीमों को प्रत्येक एक्सेलेरेटर के लिए निम्न-स्तरीय कोड को फिर से लिखने की आवश्यकता समाप्त हो जाती है। प्रोजेक्ट में पहले से ही DeepSeek-V4 और V4-Flash, Qwen, Kimi, MiniMax और GLM के लिए अनुकूलन शामिल हैं, और नई ओपन मॉडलों के आने के तुरंत बाद उत्पादन के लिए तैयार कॉन्फ़िगरेशन जारी करने की योजना है।

प्रदर्शन के संबंध में, घोषणा में दावा किया गया है कि AutoTune और हार्डवेयर-जागरूक लोड बैलेंसिंग सुविधाओं के कारण, पीक थ्रूपुट आंतरिक बेसलाइन की तुलना में लगभग 285% तक बढ़ सकता है, जिसे चार गुना उछाल के रूप में वर्णित किया गया है। यह ध्यान रखना महत्वपूर्ण है कि यह आंकड़ा कंपनियों का दावा है और इसका स्वतंत्र ऑडिट नहीं हुआ है, इसलिए इसे बाहरी पक्षों द्वारा दोहराए जाने तक एक विपणन मूल्यांकन के रूप में देखा जाना चाहिए।

साझेदारों द्वारा प्रस्तुत स्टैक योजना के अनुसार, नोड इंजन कोर और बैचिंग के लिए जिम्मेदार रहते हैं, जबकि ModelSphere अनुरोध रूटिंग का प्रबंधन करता है, जिसमें कैश स्थानीयता, प्रतिकृतियों के बीच एकीकृत KV पूल, SLO पर आधारित स्केलिंग निर्णय और ऑपरेशनल मॉनिटरिंग शामिल है। मुख्य विचार यह है कि उद्यम जो पहले से ही मिश्रित एक्सेलेरेटर का उपयोग कर रहे हैं, वे शून्य से निजी नियंत्रण प्लेन बनाने की आवश्यकता के बिना LLM के लिए स्थिर API तैनात कर सकते हैं।

यह रिलीज Apache 2.0 लाइसेंस के तहत कॉर्पोरेट उपयोग के लिए मुफ़्त है और इसे फंडिंग या राजस्व की कहानी के बजाय बुनियादी ढांचा सॉफ्टवेयर के रूप में प्रस्तुत किया गया है।

Xiaomi कंपनी ने अपनी Dasheng ऑडियो मॉडल श्रृंखला के एक नए घटक MiDashengLM-Spatial का अनावरण किया है। इस मॉडल को इस तरह से विकसित किया गया है कि यह न केवल ध्वनि की सामग्री को समझ सके, बल्कि उसके स्थानिक मूल को भी समझ सके।

मॉडल के पूर्ण वज़न और इन्फेरेंस के लिए कोड को Apache 2.0 लाइसेंस के तहत कंपनी द्वारा प्रकाशित किया गया है, जो अनुसंधान और वाणिज्यिक दोनों उपयोगों की अनुमति देता है। यह मॉडल MiDashengLM-7B पर आधारित है, जो एक बड़ी ध्वनि समझ मॉडल है जिसे Xiaomi ने पहले ही ओपन सोर्स कर दिया था।

स्थानिक धारणा को लागू करने के लिए मॉडल में Spatial-Dasheng नामक एक स्थानिक ऑडियो एन्कोडर जोड़ा गया है। arXiv पर पोस्ट किए गए तकनीकी रिपोर्ट के अनुसार, इसमें एक पदानुक्रमित सिमेंटिक टू स्पैटियल कंडीशनिंग मॉड्यूल का उपयोग किया जाता है, जो अलग से सिमेंटिक और स्थानिक जानकारी को दर्ज करता है, जिसके बाद उन्हें संयोजित किया जाता है। नतीजतन, एक एकीकृत एंड-टू-एंड मॉडल बनता है जो भाषण, पृष्ठभूमि शोर और संगीत का विश्लेषण कर सकता है, साथ ही ध्वनि स्रोत की दिशा, दूरी और गति के बारे में निष्कर्ष भी निकाल सकता है।

Hugging Face पर मॉडल लगभग 8 बिलियन पैरामीटर के साथ प्रस्तुत किया गया है। स्थानिक संकेत मल्टीचैनल इनपुट पर निर्भर करते हैं; मॉडल के विवरण में उल्लेख किया गया है कि इसे बाइनॉरल टू-चैनल ऑडियो पर प्रशिक्षित किया गया था, हालांकि मोनो-इनपुट का भी समर्थन किया जाता है, लेकिन यह दिशा की जानकारी नहीं रखता है।

Xiaomi का दावा है कि मॉडल की सामान्य ऑडियो क्षमताएं बनी रहती हैं, और शोधकर्ताओं की टीम बताती है कि बुनियादी ऑडियो प्रोसेसिंग कार्यों में प्रदर्शन लगभग 8 बिलियन पैरामीटर वाले बड़े ऑडियो-भाषा मॉडल के बराबर रहता है।

Xiaomi MiDashengLM-Spatial को स्थानिक ऑडियो समझने के लिए उद्योग का पहला ओपन एंड-टू-एंड मॉडल बता रही है। यह ध्यान रखना महत्वपूर्ण है कि यह दावा लेख में 'जहाँ तक हमें पता है' वाक्यांश के साथ किया गया है, और इसकी अभी तक स्वतंत्र रूप से जाँच नहीं की गई है।

पिछले दो वर्षों में, Xiaomi ने अपने मौलिक ध्वनि मॉडल Xiaomi Dasheng और MiDashengLM-7B को ओपन सोर्स किया है। कंपनी बताती है कि Dasheng श्रृंखला की तकनीकें पहले से ही स्मार्ट होम और कार कॉकपिट के लिए उसके उत्पादों में 30 से अधिक ऐप्स में उपयोग की जा रही हैं, जिसमें स्पीच रिकग्निशन, परिवेशीय ध्वनियाँ और संगीत शामिल है। हालांकि, यह संख्या नई MiDashengLM-Spatial मॉडल के बजाय मौजूदा श्रृंखला से संबंधित है।

MiDashengLM-Spatial के संबंध में, Xiaomi इसे धीरे-धीरे स्मार्ट होम और कार कॉकपिट परिदृश्यों में लागू करने की योजना बना रही है, जहाँ आवाज या अलार्म सिग्नल कहाँ से आ रहा है, यह जानना सहायक को अधिक सटीक रूप से प्रतिक्रिया देने की अनुमति देगा। कंपनी ने अभी तक समय-सीमा या विशिष्ट उत्पादों के नाम प्रदान नहीं किए हैं।

इस रिलीज़ में परियोजना का डेमो पेज, arXiv पर तकनीकी रिपोर्ट, GitHub पर मूल्यांकन के लिए कोड और Hugging Face पर मॉडल वज़न शामिल हैं।