Tencent कंपनी ने Hy4 फ्लैश मॉडल के वज़न जारी किए हैं, जो 16 नवंबर को इस मॉडल के API की घोषणा के बाद उपलब्ध कराए गए थे। इस बारे में IT Home ने 18 नवंबर को जानकारी दी। यह अपडेट तैनाती योग्य चेकपॉइंट्स प्राप्त करने का अवसर प्रस्तुत करता है, न कि उन API विनिर्देशों और मूल्य निर्धारण का पुनरावलोकन, जिनका पहले Pandaily द्वारा उल्लेख किया गया था।
Tencent के आधिकारिक मॉडल कार्ड में तीन संस्करण सूचीबद्ध हैं: Hy4 फ्लैश, जो निर्देश ट्यूनिंग वाला मॉडल है; Hy4 फ्लैश-FP8, इसका निर्देश ट्यूनिंग वाला क्वांटाइज़्ड संस्करण; और Hy4 फ्लैश-बेस, एक पूर्व-प्रशिक्षित आधार मॉडल। आधार चेकपॉइंट चैट के लिए तैयार विकल्पों को बदलने के बजाय आगे के प्रशिक्षण के लिए है।
Pandaily ने Hugging Face पर तीनों आधिकारिक रिपॉजिटरी की जाँच की। वज़न इंडेक्स फ़ाइलें उपलब्ध शार्ड सूचियों को संदर्भित करती थीं, और बाइट रेंज के गुमनाम अनुरोध प्रत्येक संस्करण के लिए वज़न फ़ाइल डेटा लौटाते थे। इन जांचों ने डाउनलोड की उपलब्धता की पुष्टि की, लेकिन ये चेकपॉइंट्स के पूर्ण डाउनलोड या सफल आउटपुट परीक्षण नहीं हैं।
मानक चेकपॉइंट में लगभग 440.5 जीबी टेन्सर डेटा होता है, जबकि FP8 के लिए यह लगभग 287.1 जीबी होता है। ये आकार वज़न डेटा से संबंधित हैं, न कि जीपीयू मेमोरी की न्यूनतम आवश्यकताओं से। क्वांटाइजेशन भंडारण की मात्रा को कम करता है, लेकिन रिलीज़ को छोटे उपभोक्ता उपकरणों के लिए मॉडल में परिवर्तित नहीं करता है।
डिप्लॉयमेंट दस्तावेज़ीकरण इस रिलीज़ का एक महत्वपूर्ण हिस्सा है। Tencent vLLM और SGLang के लिए विशेष कंटेनर इमेज प्रदान करता है, जिसमें आठवे तरीके टेन्सरल पैरलेलिज्म के उपयोग के उदाहरण शामिल हैं। ट्रांसफॉर्मर्स के लिए निर्देश मॉडल के समर्थन के लिए अनुरोध करते हैं, यह मानकर नहीं चलते हैं कि मानक जारी पैकेज पहले से ही इस आर्किटेक्चर का समर्थन करता है।
vLLM रेसिपी को होस्ट रैम की भी आवश्यकता होती है, क्योंकि डिफ़ॉल्ट रूप से एंग्राम टेबल सीपी मेमोरी में डंप की जाती हैं। प्रारंभिक कॉन्फ़िगरेशन 8192 टोकन का संदर्भ लेता है; मॉडल द्वारा दावा की गई 1 मिलियन टोकन की क्षमता यह गारंटी नहीं देती है कि प्रत्येक हार्डवेयर कॉन्फ़िगरेशन इतनी लंबाई को संभाल पाएगा। प्रकाशित मेमोरी संकेत अनुमान हैं, न कि मापे गए न्यूनतम आवश्यकताएं।
चेकपॉइंट Tencent Hy 1.0 लाइसेंस का उपयोग करते हैं, जो स्पष्ट रूप से बताता है कि यह Apache 2.0 नहीं है, भले ही यह उससे व्युत्पन्न हो। खंड 10 उन सेवा ऑपरेटरों के लिए मॉडल के रूप में उपयोग के लिए एक अलग लिखित लाइसेंस की मांग करता है जिसका संचयी वैश्विक राजस्व लगातार 12 महीने की अवधि में 50 मिलियन अमेरिकी डॉलर से अधिक है, या मासिक 100 मिलियन से अधिक सक्रिय उपयोगकर्ताओं वाले उत्पाद या सेवा में मॉडल का उपयोग करने के लिए। आंतरिक उपयोग के लिए एक संकीर्ण रूप से परिभाषित अपवाद लागू होता है, जब मॉडल और उसके परिणाम तीसरे पक्ष को प्रदान नहीं किए जाते हैं।
इस प्रकार, इस रिलीज़ का सबसे अच्छा वर्णन घोषित Tencent शर्तों के अनुसार वज़न के लिए खुला है, न कि असीमित रूप से अनुमत ओपन सोर्स कोड के रूप में। Tencent ने बताया है कि बड़े Hy4 मॉडल के वज़न का जारी होना अभी भी तैयारी में है।