MetaX ने FlagOS W8A8 वेट्स का उपयोग करके C सीरीज़ जीपीयू पर Hy4 के लिए समर्थन जोड़ा
और पढ़ें
Pandaily
pandaily.com

MetaX ने FlagOS W8A8 वेट्स का उपयोग करके C सीरीज़ जीपीयू पर Hy4 के लिए समर्थन जोड़ा

MetaX कंपनी ने बताया है कि उसके C सीरीज़ ग्राफिक्स प्रोसेसर ने नवंबर में डाउनलोड करने योग्य वेट्स जारी होने के बाद Tencent Hy4 मॉडल के लिए ज़ीरो-डे अनुकूलन पूरा कर लिया है। इसके अलावा, चिप डेवलपर ने अपने हार्डवेयर के लिए FlagOS पर आधारित W8A8 संस्करण प्रस्तुत किया है, जो एक परिनियोजन विकल्प है न कि किसी नई, विशेष रूप से प्रशिक्षित मॉडल का निर्माण।

यह एकीकरण MetaX के MXMACA सॉफ़्टवेयर स्टैक के माध्यम से प्राप्त किया गया था, जिसमें ड्राइवर, इंटरफेस, MXCC कंपाइलर, ऑपरेटर अनुकूलन और इन्फेरेंस फ्रेमवर्क के साथ कनेक्शन शामिल हैं। घोषणा में उच्च थ्रूपुट, कम विलंबता और स्थिर संचालन जैसे उच्च प्रदर्शन संकेत दिए गए हैं, हालांकि ये दावे विक्रेता के बयान हैं, न कि सभी अनुप्रयोगों में स्वतंत्र रूप से सत्यापित परिणाम।

FlagRelease सार्वजनिक रिपॉजिटरी में safetensors वेट फ़ाइलें शामिल हैं जिन्हें केवल घोषणा या डेमो के बजाय डाउनलोड किया जा सकता है। W8A8 पदनाम आठ-बिट वेट्स और एक्टिवेशन को इंगित करता है। जांच करने पर सूचीबद्ध वेट फ़्रेगमेंट से सफलतापूर्वक 64 बाइट्स प्राप्त किए गए थे; Pandaily ने पूरी मॉडल डाउनलोड नहीं की और न ही परिनियोजन शुरू किया।

संबंधित मॉडल कार्ड चार सर्वरों का वर्णन करता है, जिनमें से प्रत्येक में 64 जीबी क्षमता वाले आठ MetaX C550 जीपीयू लगे हैं, जो कुल मिलाकर 32 जीपीयू बनाते हैं। यादृच्छिक इनपुट के साथ परीक्षण परिदृश्य में प्रति अनुरोध लगभग 4000 इनपुट और 1000 आउटपुट टोकन के साथ 64 समवर्ती अनुरोधों का उपयोग किया गया था। इन परिचालन स्थितियों और हार्डवेयर विशेषताओं को प्राप्त डेटा की व्याख्या करते समय महत्वपूर्ण माना जाता है।

इस परीक्षण के हिस्से के रूप में, अनुशंसित ग्राफ़ डिकोडिंग मोड ने इसके बिना 52.31 टोकन प्रति सेकंड की तुलना में 80.98 टोकन प्रति सेकंड का एकत्रित आउटपुट गति प्रदान की। फिर भी, कतार में प्रतीक्षा सहित पहले टोकन तक औसत समय 220.5 से बढ़कर 227.2 सेकंड हो गया। इसलिए, परिणाम विलंबता के सभी मेट्रिक्स में सुधार के सामान्य दावे का समर्थन नहीं करते हैं।

वही कार्ड अभी भी दो मल्टीमॉडल परीक्षणों को चल रहे के रूप में चिह्नित करता है। इसका परिनियोजन नुस्खा 65,536 टोकन की अधिकतम संदर्भ सेटिंग का उपयोग करता है, जिसे Hy4 की घोषित 1 मिलियन टोकन संदर्भ क्षमता के साथ भ्रमित नहीं किया जाना चाहिए। प्रदर्शन मेट्रिक्स और मूल्यांकन प्रकाशक द्वारा प्रदान किए गए डेटा बने हुए हैं और कॉन्फ़िगरेशन पर निर्भर करते हैं।

लाइसेंसिंग पर भी ध्यान देना आवश्यक है। हालांकि उत्पादन रिपॉजिटरी के मेटाडेटा में Apache-2.0 टैग है, Tencent Hy License 1.0 का मूल लाइसेंस स्पष्ट रूप से बताता है कि यह Apache 2.0 नहीं है और क्वांटाइज्ड वेट्स को व्युत्पन्न कार्य के रूप में शामिल करता है। यह मॉडल को सेवा के रूप में प्रदान करने वाले योग्य उद्यमों के लिए अलग लाइसेंसिंग आवश्यकताएं निर्धारित करता है, कुछ शर्तों का पालन करते हुए आंतरिक उपयोग के लिए अपवाद के साथ।

MetaX की विशिष्ट सेवा पथ और क्वांटाइज्ड वेट्स की उपलब्धता एक उपयोगी अतिरिक्त है। यह MetaX द्वारा Hy4 के पिछले अनुकूलन और Tencent मॉडल की प्रारंभिक घोषणा दोनों से अलग है; उपकरण एकीकरण या रिपॉजिटरी मेटाडेटा मूल मॉडल की वाणिज्यिक शर्तों को रद्द नहीं करते हैं।

समान कहानियाँ

Tencent ने शर्तों के साथ लाइसेंस के तहत फ्लैगशिप मॉडल Hy4 के वज़न जारी किए
और पढ़ें
pandaily.com

Tencent ने शर्तों के साथ लाइसेंस के तहत फ्लैगशिप मॉडल Hy4 के वज़न जारी किए

Tencent कंपनी ने 20 नवंबर को अपने फ्लैगशिप मॉडल Hy4 के डाउनलोड करने योग्य वज़न प्रकाशित किए, जिसमें एक नई सिस्टम मैप भी शामिल थी। यह रिलीज़ 4 नवंबर को सेवा शुरू होने के बाद आई और इस सप्ताह उपलब्ध कराए गए Hy4 के पिछले चेकपॉइंट्स से अलग है।

मॉडल के आधिकारिक कार्ड में 770 बिलियन पैरामीटर वाले भाषाई कोर वाली 'मिश्रण-के-विशेषज्ञों' प्रकार की मल्टीमोडल प्रणाली का वर्णन किया गया है। सक्रियण पर, प्रत्येक टेक्स्ट टोकन के लिए 49 बिलियन पैरामीटर का उपयोग किया जाता है, और संदर्भ विंडो 1,048,576 टोकन तक पहुँच जाती है। ध्यान दें कि कोर की गणना में दृष्टि एन्कोडर, एडाप्टर और DFly2 ड्राफ्टिंग घटक शामिल नहीं हैं।

Tencent ने डेवलपर्स को आगे के प्रशिक्षण या कार्यान्वयन के लिए विभिन्न शुरुआती बिंदु प्रदान किए हैं, जिसमें Hy4, Hy4-FP8 और मूल Hy4 चेकपॉइंट्स शामिल हैं।

Pandaily ने तीनों रिपॉजिटरी में से एक शार्ड वज़न से छोटे बाइट रेंज प्राप्त करने की पुष्टि की। हालांकि, कंपनी ने पूर्ण चेकपॉइंट्स डाउनलोड नहीं किए और न ही इन्फेरेंस किया।

डिप्लॉयमेंट दस्तावेज़ीकरण में आठवे-वे टेंसर पैरेललिज्म का उपयोग करके vLLM और SGLang के लिए रेसिपी शामिल हैं; ये महत्वपूर्ण बुनियादी ढांचा डिप्लॉयमेंट हैं, न कि यह प्रमाण कि फ्लैगशिप मॉडल सामान्य लैपटॉप पर काम करता है।

वज़न Apache 2.0 के बजाय Tencent Hy License 1.0 का उपयोग करते हैं। तीसरे पक्ष को मॉडल का सामान्य-उद्देश्यीय रिमोट आउटपुट या फाइन-ट्यूनिंग प्रदान करने वाले ऑपरेटरों पर अतिरिक्त वाणिज्यिक शर्तें लागू होती हैं। मॉडल के रूप में सेवा के ऐसे ऑपरेटर को अलग लिखित अनुमति प्राप्त करनी होगी यदि उनका कुल वैश्विक सकल राजस्व किसी भी लगातार 12 महीने की अवधि में 50 मिलियन डॉलर से अधिक हो जाता है, भले ही Hy4 ने वह राजस्व उत्पन्न किया हो, या मॉडल का उपयोग 100 मिलियन से अधिक सक्रिय उपयोगकर्ताओं वाले किसी भी कैलेंडर माह में उत्पाद या सेवा में किया गया हो।

लाइसेंस सीमित कार्यक्षमता वाले एंड-यूज़र वर्कफ़्लो और अपने मॉडल को सेवा के रूप में परिभाषित करने से स्वतंत्र रूप से प्रबंधित मॉडल सेवाओं में सरल रिले को बाहर करता है। आंतरिक उपयोग के लिए एक संकीर्ण अपवाद के लिए, मॉडल, उसके व्युत्पन्न या परिणाम तीसरे पक्ष को प्रदान नहीं किए जाने चाहिए। इसलिए, इन थ्रेशोल्ड्स को प्रत्येक वाणिज्यिक उपयोगकर्ता के लिए व्यापक प्रतिबंध के रूप में प्रस्तुत नहीं किया जाना चाहिए।

Tencent साइबर सुरक्षा के लिए दुर्भावनापूर्ण प्रशिक्षण सामग्री के फ़िल्टरिंग और विशेषज्ञों द्वारा आंतरिक सुरक्षा ऑडिट आयोजित करने का भी उल्लेख करती है। ये मूल्यांकन जारीकर्ता से आते हैं, न कि मॉडल के अनुचित उपयोग न होने की स्वतंत्र गारंटी हैं। तैनाती का आकलन करने वाले डेवलपर्स को अभी भी अपने स्वयं के कार्य प्रदर्शन, संसाधन आवश्यकताओं और सुरक्षा उपायों का मूल्यांकन करना होगा।

व्यावहारिक बदलाव फ्लैगशिप मॉडल के आर्टिफैक्ट्स और इसके उपयोग को नियंत्रित करने वाली शर्तों तक पहुंच में है, न कि दृष्टि और कंप्यूटर उपयोग के क्षेत्र में Hy4 की पहले से घोषित क्षमताओं में किसी नई शुरुआत में है।

Tencent ने तीन संस्करणों में Hy4 फ्लैश मॉडल के वज़न जारी किए
और पढ़ें
pandaily.com

Tencent ने तीन संस्करणों में Hy4 फ्लैश मॉडल के वज़न जारी किए

Tencent कंपनी ने Hy4 फ्लैश मॉडल के वज़न जारी किए हैं, जो 16 नवंबर को इस मॉडल के API की घोषणा के बाद उपलब्ध कराए गए थे। इस बारे में IT Home ने 18 नवंबर को जानकारी दी। यह अपडेट तैनाती योग्य चेकपॉइंट्स प्राप्त करने का अवसर प्रस्तुत करता है, न कि उन API विनिर्देशों और मूल्य निर्धारण का पुनरावलोकन, जिनका पहले Pandaily द्वारा उल्लेख किया गया था।

Tencent के आधिकारिक मॉडल कार्ड में तीन संस्करण सूचीबद्ध हैं: Hy4 फ्लैश, जो निर्देश ट्यूनिंग वाला मॉडल है; Hy4 फ्लैश-FP8, इसका निर्देश ट्यूनिंग वाला क्वांटाइज़्ड संस्करण; और Hy4 फ्लैश-बेस, एक पूर्व-प्रशिक्षित आधार मॉडल। आधार चेकपॉइंट चैट के लिए तैयार विकल्पों को बदलने के बजाय आगे के प्रशिक्षण के लिए है।

Pandaily ने Hugging Face पर तीनों आधिकारिक रिपॉजिटरी की जाँच की। वज़न इंडेक्स फ़ाइलें उपलब्ध शार्ड सूचियों को संदर्भित करती थीं, और बाइट रेंज के गुमनाम अनुरोध प्रत्येक संस्करण के लिए वज़न फ़ाइल डेटा लौटाते थे। इन जांचों ने डाउनलोड की उपलब्धता की पुष्टि की, लेकिन ये चेकपॉइंट्स के पूर्ण डाउनलोड या सफल आउटपुट परीक्षण नहीं हैं।

मानक चेकपॉइंट में लगभग 440.5 जीबी टेन्सर डेटा होता है, जबकि FP8 के लिए यह लगभग 287.1 जीबी होता है। ये आकार वज़न डेटा से संबंधित हैं, न कि जीपीयू मेमोरी की न्यूनतम आवश्यकताओं से। क्वांटाइजेशन भंडारण की मात्रा को कम करता है, लेकिन रिलीज़ को छोटे उपभोक्ता उपकरणों के लिए मॉडल में परिवर्तित नहीं करता है।

डिप्लॉयमेंट दस्तावेज़ीकरण इस रिलीज़ का एक महत्वपूर्ण हिस्सा है। Tencent vLLM और SGLang के लिए विशेष कंटेनर इमेज प्रदान करता है, जिसमें आठवे तरीके टेन्सरल पैरलेलिज्म के उपयोग के उदाहरण शामिल हैं। ट्रांसफॉर्मर्स के लिए निर्देश मॉडल के समर्थन के लिए अनुरोध करते हैं, यह मानकर नहीं चलते हैं कि मानक जारी पैकेज पहले से ही इस आर्किटेक्चर का समर्थन करता है।

vLLM रेसिपी को होस्ट रैम की भी आवश्यकता होती है, क्योंकि डिफ़ॉल्ट रूप से एंग्राम टेबल सीपी मेमोरी में डंप की जाती हैं। प्रारंभिक कॉन्फ़िगरेशन 8192 टोकन का संदर्भ लेता है; मॉडल द्वारा दावा की गई 1 मिलियन टोकन की क्षमता यह गारंटी नहीं देती है कि प्रत्येक हार्डवेयर कॉन्फ़िगरेशन इतनी लंबाई को संभाल पाएगा। प्रकाशित मेमोरी संकेत अनुमान हैं, न कि मापे गए न्यूनतम आवश्यकताएं।

चेकपॉइंट Tencent Hy 1.0 लाइसेंस का उपयोग करते हैं, जो स्पष्ट रूप से बताता है कि यह Apache 2.0 नहीं है, भले ही यह उससे व्युत्पन्न हो। खंड 10 उन सेवा ऑपरेटरों के लिए मॉडल के रूप में उपयोग के लिए एक अलग लिखित लाइसेंस की मांग करता है जिसका संचयी वैश्विक राजस्व लगातार 12 महीने की अवधि में 50 मिलियन अमेरिकी डॉलर से अधिक है, या मासिक 100 मिलियन से अधिक सक्रिय उपयोगकर्ताओं वाले उत्पाद या सेवा में मॉडल का उपयोग करने के लिए। आंतरिक उपयोग के लिए एक संकीर्ण रूप से परिभाषित अपवाद लागू होता है, जब मॉडल और उसके परिणाम तीसरे पक्ष को प्रदान नहीं किए जाते हैं।

इस प्रकार, इस रिलीज़ का सबसे अच्छा वर्णन घोषित Tencent शर्तों के अनुसार वज़न के लिए खुला है, न कि असीमित रूप से अनुमत ओपन सोर्स कोड के रूप में। Tencent ने बताया है कि बड़े Hy4 मॉडल के वज़न का जारी होना अभी भी तैयारी में है।

TokenRhythm ने एजेंट-केंद्रित मॉडल NeoHorse-1.5-Flash Preview का सीमित बीटा संस्करण जारी किया
और पढ़ें
pandaily.com

TokenRhythm ने एजेंट-केंद्रित मॉडल NeoHorse-1.5-Flash Preview का सीमित बीटा संस्करण जारी किया

चीन की आर्टिफिशियल इंटेलिजेंस इंफ्रास्ट्रक्चर डेवलपर कंपनी TokenRhythm, जो मल्टी-मॉडल रूटिंग प्लेटफॉर्म का प्रबंधन करती है, ने 5 नवंबर को NeoHorse-1.5-Flash Preview प्रस्तुत किया। कंपनी इस मॉडल को एजेंट-उन्मुख के रूप में पेश करती है, जिसे कार्यों को पूरा करने और सॉफ्टवेयर विकसित करने के लिए डिज़ाइन किया गया है। यह विशेष रूप से एक सीमित बीटा संस्करण के माध्यम से उपलब्ध है, जिसमें भाग लेने के लिए उपयोगकर्ताओं को WeChat पर कंपनी के आधिकारिक खाते के माध्यम से आवेदन करना होगा।

TokenRhythm के आंकड़ों के अनुसार, मॉडल को Qwen3.8-Flash के आधार पर प्रशिक्षित किया गया है और इसमें कुल 180 बिलियन पैरामीटर हैं, जिनमें से सक्रिय रूप से 6 बिलियन का उपयोग किया जाता है। बेस मॉडल की तुलना में, कंपनी ने Agents' Last Exam टेस्ट में 9.23 अंकों और Natural Language to Repository टेस्ट में 5.92 अंकों में समग्र प्रदर्शन में वृद्धि दर्ज की। इसके अलावा, भौतिक विज्ञान के कार्यों में 20 से अधिक अंकों में सुधार हुआ है, साथ ही डेवलपर टूलिंग, परीक्षण, वेब विकास और क्रिप्टोग्राफी और सुरक्षा में भी प्रगति हुई है। यह ध्यान रखना महत्वपूर्ण है कि ये मूल्यांकन कंपनी द्वारा किए गए हैं, और स्वतंत्र परिणाम अभी तक प्रकाशित नहीं किए गए हैं।

इस रिलीज़ को TokenRhythm द्वारा पुनरावर्ती आत्म-सुधार पर काम के दूसरे चरण के रूप में देखा जाता है। सितंबर में NeoHorse-1 जारी होने के बाद, कंपनी ने इस मॉडल को अपने मॉडल पूल में वापस कर दिया, वास्तविक दुनिया के कार्यों के निष्पादन पर प्रतिक्रिया एकत्र की और इसका उपयोग अगले संस्करण को प्रशिक्षित करने के लिए किया। कंपनी की रूटिंग प्रणाली कार्यों के लिए आवश्यक क्षमताओं के संकेत प्रदान करती है, और एक ही कार्य पर कई उन्नत मॉडलों को चलाने से तुलनीय परिणाम मिलते हैं। NeoHorse और इन डेटा के परिणामों के बीच के अंतर का उपयोग प्रशिक्षण संकेतों के रूप में किया जाता है। टीम ने इस प्रक्रिया के मूल में तीन तरीकों का नाम दिया: मल्टी-मॉडल डिफरेंशियल डायग्नोस्टिक्स, एडवर्सियल एनवायरनमेंट का विकास और ऑनलाइन स्वार्म लर्निंग।

यह चक्र TokenRhythm के ओपन-सोर्स उत्पाद OpenSquilla पर भी निर्भर करता है। अपडेट में, जो कार्य के इरादे के आधार पर मॉडल स्तर चुनने के एक दिन बाद जारी किया गया था, कार्य जारी रहने पर चयनित स्तर को बनाए रखा जाता है और पुन: प्रयास करने पर स्तर बढ़ाया जाता है।

GitHub और Hugging Face पर TokenRhythm के सार्वजनिक पृष्ठ पिछले पीढ़ी की उपस्थिति की पुष्टि करते हैं, न कि नए प्रीव्यू संस्करण की। NeoHorse-1 को 7 सितंबर को Apache 2.0 लाइसेंस के तहत Qwen3.5 पर फाइन-ट्यून किए गए 4B और 9B संस्करणों में जारी किया गया था, जिसमें एक तकनीकी रिपोर्ट और क्वांटाइज्ड संस्करण शामिल थे। सितंबर के अंत में, NeoHorse-Jev नामक एक 4B निर्णय लेने वाला मॉडल जारी किया गया था। प्रकाशन के समय, इन पृष्ठों पर NeoHorse-1.5-Flash Preview के लिए डाउनलोड करने योग्य भार, मॉडल कार्ड या लाइसेंस अनुपस्थित थे, इसलिए इसे खुले भार के साथ रिलीज के रूप में नहीं माना जा सकता है।

लोकप्रिय