Huawei kompaniyasi Shanghayda 22-oktabrda boʻlib oʻtgan Advanced Storage Conference (ASC) konferensiyasida katta modellar natijasini cheklaydigan muammoni hal qilish yechimini taqdim etdi: KV Cache ni hisoblash bloklari, saqlash va tarmoq oʻrtasida koʻchirish. Konferensiya Open Data Center Committee (ODCC) tomonidan tashkil etilgan edi.
Sunʼiy intellektning yangi yuklariga uchun saqlash va tarmoqni birlashtirish haqidagi maʼruza doirasida Huawei muammoni tasvirlab berdi va laboratoriya sinovlari natijalarini taqdim etdi. KV Cache diqqatning vaqtinchalik natijalarini saqlash uchun ishlatiladi, bu modelga avvalgi tokenlarni qayta hisoblashdan qochish imkonini beradi. Biroq, juda uzun kontekstlar va koʻp bosqichli oʻzaro aloqalarni talab qiladigan agentlik ilovalari rivojlanishi bilan ushbu kesh hajmi tezda oshib bormoqda.
Huawei taʼkidlaydiki, bir soʻrov uchun keshning umumiy hajmi, xotirada qoʻllab-quvvatlanadigan kesh hajmi va tugunlar orasidagi trafik jami KV Cache klasterining umumiy hajmini petabayt miqyosiga yaqinlashtiradi. Keshning tugunlararo trafikidagi paydo boʻladigan piklar markaziy protsessorlar tarmoq infratuzilmasiga qoʻshimcha yukni keltirib chiqaradi.
Huawei koʻrayotgan uch toʻsiq
Kompaniya bu cheklovni uchta toʻsiq orqali belgilaydi. Hisoblash nuqtai nazaridan, akselerator yadrolar kiritish-chiqarish (I/O) boʻyicha zaif samaradorlikka ega va I/O bilan ishlash qimmatli hisoblash resurslarini olib tashlaydi. Kechikishlar borasida, maʼlumotlarni qatlamlar orasida uzatish koʻplab protokollar va semantika oʻzgarishlari orqali amalga oshiriladi, bu esa uzoq tarmoq kechikishlari bilan ogʻirlashadi. IOPS darajasida anʼanaviy dasturiy steklar backend-saqlash tizimining oʻz tabiiy samaradorligiga erishishiga toʻsqinlik qiladi.
Huawei yechimi uch bosqichni qamrab oladi. Akseleratorlar tomonida kompaniya protsessorlarning kesh I/O operatsiyalarini bevosita boshlashiga intiladi, toʻgʻridan-toʻgʻri AI CPU va vektor yadrolaridan yuqori darajadagi SIMT darajasidagi I/O operatsiyalariga oʻtish. Maʼlumotlarni saqlash tomonida, operatorlarni deyarli saqlashga yaqin vektor akseleratsiyaga tushirish taklif etiladi. Tarmoq darajasida esa Stellar AI Fabric doirasida Hyper-Converged Fabric (HCF) arxitekturasi ishlatiladi, bunda KV Cache trafiki uchun maxsus sozlanadigan, yakuniy tarmoq bilan muvofiqlashtirilgan AI QoS rejalashtirish amalga oshiriladi. Huawei taʼkidlaydiki, faqat tarmoq darajasi saqlash I/O samaradorligini 30% dan ortiq oshirishga qodir.
Asosiy raqamlar Huawei ning oʻz laboratoriya sinovlari davomida olingan. Kompaniyaning maʼlumotlariga koʻra, GLM-5.2 modeli ssenariysida KV Cache ni toʻgʻridan-toʻgʻri yuklash anʼanaviy xotira asosidagi yondashuvga qaraganda 7,3 baravar yuqori chiqish tranzaksiyalari (TPS) samaradorligini taʼminladi. Saqlash va tarmoq oʻrtasida I/O operatsiyalarini muvofiqlashtirish orqali chiqish samaradorligini qoʻshimcha 20% yaxshilash erishildi. Shu bilan birga, Huawei eʼlonida sinovlarning toʻliq konfiguratsiyasini oshkor qilmagan.
Stellar AI Fabric va HCF arxitekturasi sentyabr oyidagi HUAWEI CONNECT 2026 tadbirida taqdim etilgan. ASC dagi maʼruza yangi mahsulotni ishga tushirmaydi; uning qiymati ushbu konstruksiya bilan bogʻliq KV Cache boʻyicha birinchi maʼlumotlar toʻplamini va AI klasterlari uchun umumiy kontekst xotirasini saqlash boʻyicha Huawei OceanStor ishini taqdim etishdir.