Tencent की Hy टीम ने सार्वजनिक मंच Reddit पर प्रश्नोत्तर सत्र के दौरान बड़े पैमाने पर मॉडल विकसित करने और छोटे आकार के स्थानीय परिनियोजन विकल्पों के संबंध में अपने इरादों को प्रस्तुत किया। यह चर्चा 21 नवंबर की सुबह शंघाई में हुई, इसके एक दिन पहले Hy4 के फ्लैगशिप वेट जारी किए गए थे।
Zhidx द्वारा तैयार किए गए चीनी सारांश के अनुसार, टीम ने घोषणा की कि अगली Hy मॉडल काफी बड़ी होगी, और वे बड़े पैमाने पर सुदृढीकरण शिक्षण में निवेश करना जारी रखेंगे। यह ध्यान रखना महत्वपूर्ण है कि ये केवल विकास के इरादे हैं, न कि नए माइलस्टोन, पुष्टि किए गए पैरामीटर संख्या या निर्धारित रिलीज की तारीख की घोषणा।
छोटे मॉडलों के संबंध में, टीम ने Flash-Lite को नियोजित कार्य के रूप में वर्णित किया और 24 जीबी जीपीयू मेमोरी वाले उपकरणों के लिए डिज़ाइन किए गए मॉडलों पर चर्चा की। रोडमैप में Hy4-mini भी शामिल था, और 24 से 31 बिलियन पैरामीटर की सीमा में एक सघन मॉडल पर विचार किया गया। उत्तरों की गारंटी नहीं है कि ये सभी उत्पाद एक इकाई हैं या कोई भी प्रस्तावित कॉन्फ़िगरेशन वर्तमान में उपलब्ध है।
हार्डवेयर आवश्यकताओं पर समान ध्यान देने की आवश्यकता है। 24 जीबी वीडियो मेमोरी का उल्लेख अपने आप में सिस्टम रैम की कुल मात्रा, क्वांटाइजेशन, संदर्भ लंबाई या प्राप्त गति को परिभाषित नहीं करता है। इन विवरणों की आवश्यकता है इससे पहले कि डेवलपर्स रोडमैप से किसी उत्तर को उपभोक्ता हार्डवेयर के लिए विनिर्देश के रूप में विचार कर सकें जो कार्यान्वयन के लिए तैयार है।
वास्तुकला चर्चा क्वेरी ग्रुप अटेंशन (GQA) और मल्टी-हेड लेटेंट अटेंशन (MLA) के बीच व्यापार-बंद पर केंद्रित थी। जैसा कि Zhidx ने संक्षेपित किया, टीम ने नोट किया कि MLA कुंजी-मूल्य कैश के तुलनीय आकार पर बेहतर मॉडल गुणवत्ता प्रदान करता है, हालांकि इसकी कम्प्यूटेशनल गहनता डीकोडिंग को जटिल बनाती है। स्पार्स अटेंशन तंत्र DSA के कार्यान्वयन ने इस भार को कम किया और टीम के पसंदीदा संतुलन को बदल दिया।
टीम ने यह भी चेतावनी दी कि आर्किटेक्चर में मिश्रण-के-विशेषज्ञों (Mixture-of-Experts) की अत्यधिक विरलता हमेशा परिनियोजन में सुधार नहीं करती है। एक अत्यधिक विरल मॉडल उपलब्ध कम्प्यूटेशनल शक्ति का पूरी तरह से उपयोग किए बिना महत्वपूर्ण जीपीयू मेमोरी स्थान ले सकता है; समग्र आकार को बनाए रखते हुए सक्रिय मापदंडों को कम करने से भी गुणवत्ता पर नकारात्मक प्रभाव पड़ सकता है। ये कथन डिजाइन स्पष्टीकरण हैं, प्रत्येक कार्यान्वयन के लिए सार्वभौमिक बेंचमार्किंग परिणाम नहीं हैं।
खुले प्रारूप में प्रारंभिक AMA पोस्ट ने सत्र के आयोजन और व्यक्तियों की भागीदारी की पुष्टि की, लेकिन उत्तरों का विवरण चीनी संकलन पर आधारित है, न कि स्वयं प्राप्त प्रतिलेखों पर। व्यावहारिक मूल्य अनुसंधान प्राथमिकताओं और इंजीनियरिंग समाधानों की अधिक स्पष्ट प्रस्तुति में निहित है, न कि इस बात की очеред घोषणा में कि Hy4 वेट डाउनलोड के लिए उपलब्ध हो गए हैं।



