Tencent kompaniyasining Hy jamoasi ochiq forumdagi savol-javob sessiyasi davomida yanada kengroq modellar ishlab chiqish va kichikroq hajmdagi mahalliy joylashtirish variantlari haqidagi niyatlarini taqdim etdi. Ushbu munozara 21-noyabr kuni ertalab Xitoyning Shanghay shahrida boʻlib oʻtdi, bu kun oldingi kuni Hy4 flagman yuklamalari chiqarilganidan soʻng sodir boʻldi.
Zhidx tomonidan tayyorlangan Xitoycha qisqacha javoblar toʻplamiga koʻra, jamoa keyingi Hy modelining sezilarli darajada katta boʻlishini va ular katta miqyosda kuchaytirilgan oʻquvga sarmoya kiritishda davom etishini maʼlum qildi. Muhim jihat shundaki, bu faqat rivojlanishga oid niyatlardir, yangi checkpoint, tasdiqlangan parametr soni yoki belgilangan chiqarish sanasini eʼlon qilmaydi.
Kichikroq modellar qismida jamoa Flash-Lite ni rejalashtirilgan ish sifatida tasvirladi va 24 GB GPU xotirasiga moʻljallangan modellar haqida muhokama qildi. Yoʻl xaritada Hy4-mini ham mavjud edi, shuningdek, 24 dan 31 milliard gacha boʻlgan parametrlarga ega zich model koʻrib chiqildi. Javoblar barcha mahsulotlar bir butunlikni tashkil etishini yoki taklif etilgan konfiguratsiyalarning hozirda mavjudligini kafolatlamaydi.
Apparat taʼminoti talablari ham shu kabi diqqatni talab qiladi. 24 GB video xotira haqidagi tilga olish oʻzi tizim operativ xotirasining umumiy hajmini, kvantizatsiyani, kontekst uzunligini yoki erishiladigan tezlikni aniqlamaydi. Ushbu tafsilotlar ishlab chiquvchilar yoʻl xaritasidagi javobni isteʼmolchi uskunalari uchun spetsifikatsiya sifatida koʻrib chiqishdan oldin zarurdir.
Arxitektura muhokamasi talablar guruhlash mexanizmi (GQA) va koʻp boshli latent diqqat (MLA) oʻrtasidagi kompromislarga tegishli edi. Zhidx umumlashtirganidek, jamoa MLA kalit-qiymat keshining taqqoslanadigan hajmi bilan yaxshiroq model sifatini taʼminlashini, ammo uning hisoblash intensivligi dekodlashni murakkablashtirishini taʼkidladi. DSA tarqalgan diqqat mexanizmining joriy etilishi bu yukni kamaytirdi va jamoaning afzal koʻrgan muvozanatini oʻzgartirdi.
Jamoa shuningdek, Mixture-of-Experts arxitekturasidagi katta tarqalish har doim joylashtirishni yaxshilaydi deb taxmin qilishdan ogohlantirdi. Juda tarqalgan model mavjud hisoblash quvvatlaridan toʻliq foydalanmasdan, GPU xotirasining sezilarli hajmini egallashi mumkin; umumiy hajmni saqlagan holda faol parametrlarni kamaytirish ham sifatga salbiy taʼsir koʻrsatishi mumkin. Bu bayonotlar dizayn tushuntirishlari boʻlib, har bir amalga oshirish uchun universal benchmark natijalari emas.
Ochiq formatdagi dastlabki AMA posti sessiyaning oʻtkazilganligi va ishtirokchilarni tasdiqlaydi, ammo javoblarning batafsil maʼlumotlari mustaqil ravishda olingan transkriptlardan emas, balki Xitoy kompilatsiyasiga asoslangan. Amaliy qiymati Hy4 yuklamalarining yuklab olish uchun mavjudligi haqidagi yana bir eʼlon emas, balki tadqiqot va muhandislik yechimlari ustuvorliklarini yanada aniqroq taqdim etishda namoyon boʻladi.



