MetaX कंपनी ने बताया है कि उसके C सीरीज़ ग्राफिक्स प्रोसेसर ने नवंबर में डाउनलोड करने योग्य वेट्स जारी होने के बाद Tencent Hy4 मॉडल के लिए ज़ीरो-डे अनुकूलन पूरा कर लिया है। इसके अलावा, चिप डेवलपर ने अपने हार्डवेयर के लिए FlagOS पर आधारित W8A8 संस्करण प्रस्तुत किया है, जो एक परिनियोजन विकल्प है न कि किसी नई, विशेष रूप से प्रशिक्षित मॉडल का निर्माण।
यह एकीकरण MetaX के MXMACA सॉफ़्टवेयर स्टैक के माध्यम से प्राप्त किया गया था, जिसमें ड्राइवर, इंटरफेस, MXCC कंपाइलर, ऑपरेटर अनुकूलन और इन्फेरेंस फ्रेमवर्क के साथ कनेक्शन शामिल हैं। घोषणा में उच्च थ्रूपुट, कम विलंबता और स्थिर संचालन जैसे उच्च प्रदर्शन संकेत दिए गए हैं, हालांकि ये दावे विक्रेता के बयान हैं, न कि सभी अनुप्रयोगों में स्वतंत्र रूप से सत्यापित परिणाम।
FlagRelease सार्वजनिक रिपॉजिटरी में safetensors वेट फ़ाइलें शामिल हैं जिन्हें केवल घोषणा या डेमो के बजाय डाउनलोड किया जा सकता है। W8A8 पदनाम आठ-बिट वेट्स और एक्टिवेशन को इंगित करता है। जांच करने पर सूचीबद्ध वेट फ़्रेगमेंट से सफलतापूर्वक 64 बाइट्स प्राप्त किए गए थे; Pandaily ने पूरी मॉडल डाउनलोड नहीं की और न ही परिनियोजन शुरू किया।
संबंधित मॉडल कार्ड चार सर्वरों का वर्णन करता है, जिनमें से प्रत्येक में 64 जीबी क्षमता वाले आठ MetaX C550 जीपीयू लगे हैं, जो कुल मिलाकर 32 जीपीयू बनाते हैं। यादृच्छिक इनपुट के साथ परीक्षण परिदृश्य में प्रति अनुरोध लगभग 4000 इनपुट और 1000 आउटपुट टोकन के साथ 64 समवर्ती अनुरोधों का उपयोग किया गया था। इन परिचालन स्थितियों और हार्डवेयर विशेषताओं को प्राप्त डेटा की व्याख्या करते समय महत्वपूर्ण माना जाता है।
इस परीक्षण के हिस्से के रूप में, अनुशंसित ग्राफ़ डिकोडिंग मोड ने इसके बिना 52.31 टोकन प्रति सेकंड की तुलना में 80.98 टोकन प्रति सेकंड का एकत्रित आउटपुट गति प्रदान की। फिर भी, कतार में प्रतीक्षा सहित पहले टोकन तक औसत समय 220.5 से बढ़कर 227.2 सेकंड हो गया। इसलिए, परिणाम विलंबता के सभी मेट्रिक्स में सुधार के सामान्य दावे का समर्थन नहीं करते हैं।
वही कार्ड अभी भी दो मल्टीमॉडल परीक्षणों को चल रहे के रूप में चिह्नित करता है। इसका परिनियोजन नुस्खा 65,536 टोकन की अधिकतम संदर्भ सेटिंग का उपयोग करता है, जिसे Hy4 की घोषित 1 मिलियन टोकन संदर्भ क्षमता के साथ भ्रमित नहीं किया जाना चाहिए। प्रदर्शन मेट्रिक्स और मूल्यांकन प्रकाशक द्वारा प्रदान किए गए डेटा बने हुए हैं और कॉन्फ़िगरेशन पर निर्भर करते हैं।
लाइसेंसिंग पर भी ध्यान देना आवश्यक है। हालांकि उत्पादन रिपॉजिटरी के मेटाडेटा में Apache-2.0 टैग है, Tencent Hy License 1.0 का मूल लाइसेंस स्पष्ट रूप से बताता है कि यह Apache 2.0 नहीं है और क्वांटाइज्ड वेट्स को व्युत्पन्न कार्य के रूप में शामिल करता है। यह मॉडल को सेवा के रूप में प्रदान करने वाले योग्य उद्यमों के लिए अलग लाइसेंसिंग आवश्यकताएं निर्धारित करता है, कुछ शर्तों का पालन करते हुए आंतरिक उपयोग के लिए अपवाद के साथ।
MetaX की विशिष्ट सेवा पथ और क्वांटाइज्ड वेट्स की उपलब्धता एक उपयोगी अतिरिक्त है। यह MetaX द्वारा Hy4 के पिछले अनुकूलन और Tencent मॉडल की प्रारंभिक घोषणा दोनों से अलग है; उपकरण एकीकरण या रिपॉजिटरी मेटाडेटा मूल मॉडल की वाणिज्यिक शर्तों को रद्द नहीं करते हैं।



