Pekin markazidagi sunʼiy intellekt (AI) kompaniyasi HongYun oʻzining katta modellarni birlashtirilgan oʻqitish va inferens uchun platformasi boʻlgan HyperLM V2.5 ning yangi versiyasini taqdim etdi. Bu haqda IT Home va ifeng Tech nashrlari 3-noyabr kuni xabar berdilar. Kompaniya oʻzini Huawei Ascend 950DT chipiga chuqur moslashtirishni amalga oshirgan birinchi kompaniya deb daʼvo qiladi, u havo sovutgichli Atlas 850E SuperPoD tizimi bilan toʻliq mos keladi va Ascend Native uchun Huawei tomonidan texnik sertifikatsiyalangan.
HongYun shuni taxmin qiladiki, model faqat tokenlar oʻrnatilgandan va hosil qilingandan soʻng qoʻllab-quvvatlanishi deb hisoblanganida, qoʻllab-quvvatlashni aniqlash koʻpincha juda noaniq boʻladi. Kompaniyaning maqsadi shundaki, u xususiy joylashtirishlardan foydalanadigan davlat va korporativ mijozlarga yangi tezlatgichlardan maksimal samaradorlikni olishga yordam beradi.
Kompaniya Ascend 950DT ni yuqori tranzit quvvati talab qiladigan vazifalar uchun flagman chip sifatida tasvirlaydi, masalan, chatlarda uzoq muloqot, uzun hujjatlarni qayta ishlash va agentlarning uzluksiz fikrlashi. Bundan tashqari, havo sovutgichli Atlas 850E tizimi infratuzilmani modernizatsiya qilish zarurati boʻlmagan holda mavjud maʼlumotlar bazasi markazlariga integratsiya qilinishi mumkinligi taʼkidlanadi.
HyperLM V2.5 bir nechta darajalarda moslashadi. Ulanishlar darajasida platforma Huawei ning UnifiedBus 2.0 texnologiyasini qoʻllab-quvvatlaydi, bu tizimaro ulanish tranzit quvvatini 13,4 TB/s ga taʼminlab, kartalar orasidagi trafik uzatilishi paytida togʻinlarni oldini oladi, bu uzun kontekstlar yoki oldingi toʻldirish va dekodlash bosqichlarini ajratish uchun muhimdir. Operator darajasida tizim mxFP4 inferensi uchun optimallashtirilgan boʻlib, bitta tugunning 14,2 PFLOPS dan foydalanish imkonini beradi.
Platforma Qwen, GLM va DeepSeek kabi eng soʻnggi ochiq kodli modellarni qoʻllab-quvvatlaydi va uning rejalashtiruvchisi 950DT ning xotira va tranzit quvvati profili hisobga olingan holda qayta qurilgan.
HyperLM V2.5 ning chiqarilishi beshta yangi imkoniyatni oʻz ichiga oladi. Oldingi toʻldirish va dekodlashni ajratish ikkita bosqichni mustaqil resurs puliga ajratish imkonini beradi, shunda ular yuqori yuklanish paytida raqobatlashmaydi. Koʻp darajali KV keshlash tizimaro yoʻl-yoʻriqlar, tez-tez uchraydigan kontekstlar va sessiya uchun fiksatsiya qilingan shablonlarni qayta ishlatib, takrorlanuvchi hisoblash hajmini kamaytiradi. vNPU virtualizatsiyasi Ascend 950DT, 910C va 910B chiplarini segmentatsiya qiladi, AI Core va HBM xotirasi uchun granulli kvotalar va izolyatsiyani taʼminlaydi, shuningdek, uskuna nosozligida issiq migratsiya va avtomatik qayta rejalashtirishni qoʻllab-quvvatlaydi.
Shuningdek, OpenAI protokoli bilan mos keladigan birlashtirilgan shlyuz modeli qoʻshildi, u marshrutlash, tezlikni cheklash, beta-chiqishlar va A/B-testlashni boshqaradi. Butun stekni kompleks monitoring yuklanish, xotira ishlatilishi, tranzit quvvati, kechikish va QPS ni kuzatib boradi, ogohlantirishlar va nosozliklarning avtomatik lokalizatsiyasini taʼminlaydi.
Davlat boshqaruvi, energiya, transport va moliya kabi tartibga solingan sohalar uchun platforma administrator, xavfsizlik xizmati va auditor rollarini ajratishni, koʻp darajali tasnif nazoratini va toʻliq operatsiya jurnalini nazarda tutadi, shuningdek, hisoblash quvvatlarini hisobga olish, modellarni chaqiruvlarni audit qilish va har bir loyiha boʻyicha foydalanish statistikasi.
HongYun Xitoy Fanlari Akademiyasi Tasbiqiy hisoblash texnologiyalari guruhida inkubatorlangan boʻlib, uning asosiy jamoasi Tasbiqiy hisoblash texnologiyalari instituti va Sugon xodimlaridan tashkil topgan. 2020 yilda kompaniya Huawei Ascend dasturi hamkorlik dasturiga qoʻshildi. Kompaniya Ascend va Hygon DCU apparat merosiga asoslanib rivojlanishni davom ettirishni rejalashtirmoqda, bunda heterogen rejalashtirish, inferensni tezlashtirish, keshlash va agentlar ilovalariga alohida eʼtibor qaratiladi.
