Tencent की Hy टीम ने 24 जीबी पर तैनाती के लिए बड़ी मॉडल बनाने की योजनाओं और रोडमैप को प्रस्तुत किया
और पढ़ें
Pandaily
pandaily.com

Tencent की Hy टीम ने 24 जीबी पर तैनाती के लिए बड़ी मॉडल बनाने की योजनाओं और रोडमैप को प्रस्तुत किया

Tencent की Hy टीम ने सार्वजनिक मंच Reddit पर प्रश्नोत्तर सत्र के दौरान बड़े पैमाने पर मॉडल विकसित करने और छोटे आकार के स्थानीय परिनियोजन विकल्पों के संबंध में अपने इरादों को प्रस्तुत किया। यह चर्चा 21 नवंबर की सुबह शंघाई में हुई, इसके एक दिन पहले Hy4 के फ्लैगशिप वेट जारी किए गए थे।

Zhidx द्वारा तैयार किए गए चीनी सारांश के अनुसार, टीम ने घोषणा की कि अगली Hy मॉडल काफी बड़ी होगी, और वे बड़े पैमाने पर सुदृढीकरण शिक्षण में निवेश करना जारी रखेंगे। यह ध्यान रखना महत्वपूर्ण है कि ये केवल विकास के इरादे हैं, न कि नए माइलस्टोन, पुष्टि किए गए पैरामीटर संख्या या निर्धारित रिलीज की तारीख की घोषणा।

छोटे मॉडलों के संबंध में, टीम ने Flash-Lite को नियोजित कार्य के रूप में वर्णित किया और 24 जीबी जीपीयू मेमोरी वाले उपकरणों के लिए डिज़ाइन किए गए मॉडलों पर चर्चा की। रोडमैप में Hy4-mini भी शामिल था, और 24 से 31 बिलियन पैरामीटर की सीमा में एक सघन मॉडल पर विचार किया गया। उत्तरों की गारंटी नहीं है कि ये सभी उत्पाद एक इकाई हैं या कोई भी प्रस्तावित कॉन्फ़िगरेशन वर्तमान में उपलब्ध है।

हार्डवेयर आवश्यकताओं पर समान ध्यान देने की आवश्यकता है। 24 जीबी वीडियो मेमोरी का उल्लेख अपने आप में सिस्टम रैम की कुल मात्रा, क्वांटाइजेशन, संदर्भ लंबाई या प्राप्त गति को परिभाषित नहीं करता है। इन विवरणों की आवश्यकता है इससे पहले कि डेवलपर्स रोडमैप से किसी उत्तर को उपभोक्ता हार्डवेयर के लिए विनिर्देश के रूप में विचार कर सकें जो कार्यान्वयन के लिए तैयार है।

वास्तुकला चर्चा क्वेरी ग्रुप अटेंशन (GQA) और मल्टी-हेड लेटेंट अटेंशन (MLA) के बीच व्यापार-बंद पर केंद्रित थी। जैसा कि Zhidx ने संक्षेपित किया, टीम ने नोट किया कि MLA कुंजी-मूल्य कैश के तुलनीय आकार पर बेहतर मॉडल गुणवत्ता प्रदान करता है, हालांकि इसकी कम्प्यूटेशनल गहनता डीकोडिंग को जटिल बनाती है। स्पार्स अटेंशन तंत्र DSA के कार्यान्वयन ने इस भार को कम किया और टीम के पसंदीदा संतुलन को बदल दिया।

टीम ने यह भी चेतावनी दी कि आर्किटेक्चर में मिश्रण-के-विशेषज्ञों (Mixture-of-Experts) की अत्यधिक विरलता हमेशा परिनियोजन में सुधार नहीं करती है। एक अत्यधिक विरल मॉडल उपलब्ध कम्प्यूटेशनल शक्ति का पूरी तरह से उपयोग किए बिना महत्वपूर्ण जीपीयू मेमोरी स्थान ले सकता है; समग्र आकार को बनाए रखते हुए सक्रिय मापदंडों को कम करने से भी गुणवत्ता पर नकारात्मक प्रभाव पड़ सकता है। ये कथन डिजाइन स्पष्टीकरण हैं, प्रत्येक कार्यान्वयन के लिए सार्वभौमिक बेंचमार्किंग परिणाम नहीं हैं।

खुले प्रारूप में प्रारंभिक AMA पोस्ट ने सत्र के आयोजन और व्यक्तियों की भागीदारी की पुष्टि की, लेकिन उत्तरों का विवरण चीनी संकलन पर आधारित है, न कि स्वयं प्राप्त प्रतिलेखों पर। व्यावहारिक मूल्य अनुसंधान प्राथमिकताओं और इंजीनियरिंग समाधानों की अधिक स्पष्ट प्रस्तुति में निहित है, न कि इस बात की очеред घोषणा में कि Hy4 वेट डाउनलोड के लिए उपलब्ध हो गए हैं।

समान कहानियाँ

Tencent ने मिलियन टोकन कॉन्टेक्स्ट विंडो के साथ Hy4 मॉडल वेट जारी किए
और पढ़ें
technode.com

Tencent ने मिलियन टोकन कॉन्टेक्स्ट विंडो के साथ Hy4 मॉडल वेट जारी किए

Tencent कंपनी ने शुक्रवार को अपने फ्लैगशिप आर्टिफिशियल इंटेलिजेंस मॉडल Hy4 के वेट्स जारी किए, जिससे डेवलपर्स को इस मॉडल को स्वयं डाउनलोड और लागू करने की सुविधा मिली। यह रिलीज़ 4 नवंबर को Hy4 के प्रारंभिक लॉन्च के बाद हुई और फ्लैगशिप मॉडल को Apache 2.0 लाइसेंस के तहत उपलब्ध कराती है, जो वाणिज्यिक उपयोग और संशोधन दोनों की अनुमति देता है।

Hy4 मॉडल पाठ, छवियों और वीडियो को समझने में सक्षम है, जिसमें लगभग एक मिलियन टोकन की संदर्भ विंडो है। इसका 'एक्सपर्ट मिक्सचर' प्रकार का भाषा ढांचा 770 बिलियन पैरामीटर रखता है, जबकि प्रत्येक टोकन को संसाधित करने के लिए 49 बिलियन पैरामीटर सक्रिय होते हैं।

Tencent के बयान के अनुसार, मॉडल का यह संस्करण निर्देशों का पालन करने, लंबे संदर्भ को समझने, उन्नत कार्यों को निष्पादित करने और वैज्ञानिक अनुसंधान जैसे क्षेत्रों में Hy4 के पूर्वावलोकन से बेहतर प्रदर्शन करता है।

मॉडल ग्राफ़िकल इंटरफेस और कमांड लाइन टूल सहित वर्कफ़्लो, फ्रंटएंड विकास, गेम डिज़ाइन और कार्यालय कार्यों को सपोर्ट करता है। Tencent ने vLLM और SGLang के लिए परिनियोजन निर्देश और फाइन-ट्यूनिंग संसाधन और सुरक्षा मूल्यांकन मानचित्र प्रदान किए हैं। फ्लैगशिप मॉडल का यह विमोचन एक छोटी मॉडल Hy4 flash के अलग से जारी होने के बाद हुआ।

Tencent के Hunyuan Hy4 flash मॉडल ने पहले दिन 50 ट्रिलियन टोकन पार किए
और पढ़ें
technode.com

Tencent के Hunyuan Hy4 flash मॉडल ने पहले दिन 50 ट्रिलियन टोकन पार किए

Tencent ने घोषणा की है कि उसके Hunyuan Hy4 flash मॉडल ने 16 नवंबर को लॉन्च होने के बाद पहले ही दिन 50 ट्रिलियन से अधिक टोकन संसाधित किए। यह आंकड़ा Hunyuan श्रृंखला के सभी मॉडलों में पहले दिन का सबसे अधिक था।

Hy4 flash की मजबूत शुरुआत विभिन्न प्लेटफार्मों पर इसके प्रदर्शन में भी परिलक्षित हुई। 17 नवंबर को, इस मॉडल ने OpenRouter पर दैनिक LLM रैंकिंग में पहला स्थान प्राप्त किया।

इसके अलावा, Tencent ने उल्लेख किया कि अपने WorkBuddy प्लेटफॉर्म पर, Hy4 flash ने अपने पूर्ववर्ती, Hy4 preview की तुलना में दस गुना अधिक उपयोग प्रदर्शित किया और 50 मिलियन से अधिक वास्तविक उपयोगकर्ता कार्यों को पूरा करने में मदद की।

Tencent के आंकड़ों के अनुसार, Hy4 flash एक हाइब्रिड सक्रियण वास्तुकला का उपयोग करता है और इसमें कुल 224 बिलियन पैरामीटर हैं, जिसमें 64 बिलियन Engram पैरामीटर शामिल हैं, जबकि इन्फेरेंस के दौरान 12 बिलियन पैरामीटर सक्रिय होते हैं। मॉडल मल्टीमॉडल प्रोसेसिंग और 1 मिलियन टोकन तक के संदर्भ विंडो का समर्थन करता है, और पीढ़ी की गति लगभग 200 टोकन प्रति सेकंड तक पहुंच जाती है।

प्रदर्शन और लागत के बीच संतुलन जो Hy4 flash प्रदान करता है, वह विशेष ध्यान आकर्षित करता है। Tencent की मूल्य निर्धारण के अनुसार, मॉडल की कीमत प्रति मिलियन इनपुट टोकन के लिए केवल 0.5 युआन (0.07 डॉलर) और प्रति मिलियन आउटपुट टोकन के लिए 2 युआन (0.3 डॉलर) है, जबकि कैश किए गए इनपुट टोकन की लागत प्रति मिलियन केवल 0.02 युआन (0.003 डॉलर) है।

Tencent के आंतरिक बेंचमार्क WorkIndex के आधार पर, जो मानक कार्यालय कार्यों का मूल्यांकन करता है, Hy4 flash एक कार्य को पूरा करने के लिए Hy4 preview की तुलना में केवल तेरहवें हिस्से और Hy4 की तुलना में बीसवें हिस्से जितना महंगा है। इसकी लागत उसी श्रेणी के मुख्य हल्के मॉडलों की लागत का भी लगभग एक आठवां हिस्सा है।

ये लाभ मॉडल को प्रस्तुतियों और संपादन, दस्तावेज़ प्रसंस्करण, स्प्रेडशीट पुनर्प्राप्ति, ऑडियो और वीडियो प्रोसेसिंग, और विज़ुअल समझ जैसे अक्सर किए जाने वाले कार्यालय संचालन के लिए विशेष रूप से उपयुक्त बनाते हैं।

यह लॉन्च Hy4 के लिए पिछले मांग उछाल के बाद हुआ था। जब मॉडल पहली बार 4 नवंबर को WorkBuddy पर आया, तो एजेंट क्षमताओं से प्रेरित मांग उम्मीदों से अधिक थी, और कई उपयोगकर्ताओं ने पहले ही दिन उपयोग की सीमा तक पहुंच गए थे। प्रतिक्रिया में, Tencent ने Hy4 क्लस्टर को दस गुना बढ़ा दिया और मुफ्त उपयोग कोटा का विस्तार किया।

हालांकि, इस बार टीम ने संभवतः Hy4 flash के लॉन्च से पहले उच्च प्रतिस्पर्धा के लिए अधिक सावधानीपूर्वक तैयारी की है, और वर्तमान में उपयोग सीमाओं के साथ बड़े पैमाने पर समस्याओं की कोई सूचना नहीं है।

यह विकास कृत्रिम बुद्धिमत्ता उद्योग में प्रतिस्पर्धी माहौल में एक व्यापक बदलाव को भी दर्शाता है। चूंकि चीन में टोकन का दैनिक उपयोग बढ़ता जा रहा है, टोकन एआई अपनाने के माप का एक अधिक महत्वपूर्ण संकेतक बन रहे हैं। इस बीच, देश भर के स्थानीय अधिकारी एआई सेवाओं को अधिक सुलभ बनाने के लिए कंप्यूटिंग शक्ति और मॉडल वाउचर से लेकर टोकन-आधारित वित्त पोषण तक नए उपाय लागू कर रहे हैं।

प्रतिस्पर्धा अब केवल पैरामीटर की संख्या या मॉडल के प्रदर्शन द्वारा निर्धारित नहीं होती है। कम परिचालन लागत बनाए रखते हुए मजबूत परिणाम सुनिश्चित करना उतना ही महत्वपूर्ण हो गया है। 50 ट्रिलियन टोकन के साथ Hy4 flash का डेब्यू एक स्पष्ट संकेत देता है: बाजार को न केवल अधिक शक्तिशाली एआई मॉडल चाहिए, बल्कि ऐसे मॉडल भी चाहिए जो बार-बार दैनिक उपयोग के लिए पर्याप्त रूप से सुलभ हों।

फिर भी, उच्च प्रारंभिक उपयोग और दीर्घकालिक वाणिज्यिक मूल्य के बीच अभी भी एक अंतर मौजूद है। हल्के एआई मॉडल के बीच प्रतिस्पर्धा केवल कीमतों और टोकन उपयोग तक सीमित हो सकती है। वास्तविक चुनौती कम समग्र लागत को बनाए रखते हुए व्यावसायिक आवश्यकताओं के लिए स्थिर और विश्वसनीय समाधान प्रदान करना है। Tencent के लिए Hunyuan के लिए, Hy4 flash की मजबूत शुरुआत एक आशाजनक शुरुआत है, लेकिन शुरुआती उपयोग की गति को उपयोगकर्ताओं के लिए स्थायी मूल्य में बदलने की इसकी क्षमता भविष्य में एक महत्वपूर्ण परीक्षा होगी।

Tencent ने स्थानीय परिनियोजन के लिए Hy4 फ्लैश मॉडल वेट जारी किए
और पढ़ें
technode.com

Tencent ने स्थानीय परिनियोजन के लिए Hy4 फ्लैश मॉडल वेट जारी किए

Tencent कंपनी ने बुधवार को अपने आर्टिफिशियल इंटेलिजेंस मॉडल Hy4 flash के वेट जारी किए। यह रिलीज़ उस समय से दो दिन बाद हुई जब मॉडल को कंपनी के एप्लिकेशन और क्लाउड एपीआई के माध्यम से उपयोगकर्ताओं के सामने पेश किया गया था। अब डेवलपर्स मानक संस्करण, इसके FP8 प्रारूप संस्करण, और आगे के प्रशिक्षण के लिए आधार मॉडल डाउनलोड करने में सक्षम हैं।

यह रिलीज़ Tencent के इस पहले के बयान के अनुरूप है जिसमें इस मॉडल के वेट को सार्वजनिक रूप से उपलब्ध कराने की योजना बताई गई थी। Hy4 flash मॉडल पाठ और ग्राफिक दोनों इनपुट को संसाधित करने में सक्षम है, और इसकी संदर्भ विंडो एक मिलियन टोकन तक पहुँचती है।

इस मॉडल में लगभग 224 बिलियन पैरामीटर हैं, जबकि प्रत्येक टोकन के लिए लगभग 12 बिलियन पैरामीटर सक्रिय होते हैं। Hy4 flash का मुख्य उद्देश्य दस्तावेज़ तैयार करने, अनुसंधान करने और स्प्रेडशीट के साथ काम करने जैसे कार्यों में दैनिक प्रदर्शन को बढ़ाना है। Tencent ने वेट के साथ परिनियोजन के लिए संबंधित सामग्री प्रदान की, जिन्हें Tencent Hy लाइसेंस के तहत वितरित किया जा रहा है।

लोकप्रिय