Koʻp yillar davomida katta modellar inferensiya tizimlarini optimallashtirish yuqori oʻlchamli tensorlar, masalan, ogʻirliklar, aktivatsiyalar va KV Cache kabi maʼlumotlarning grafik protsessorlarda samaradorligini oshirishga qaratilgan edi. Biroq, modellar miqyosining kattalashishi, kontekst uzunliklarining ortishi va koʻp bosqichli agentlik ilovalari paydo boʻlishi bilan infratuzilma yangi muammo bilan duch keldi: tensor holatlarini koʻplab tizimli komponentlar orasida — elastik miqyoslashda terabayt hajmdagi tarqatilgan ogʻirliklardan tortib, instansiyalar orasida migratsiya qiladigan gigabayt hajmdagi KV Cache gacha — qanday moslashuvchan boshqarish kerak.
Turli tizimlar oʻxshash vazifalarni hal qilishadi, ammo ularda yagona abstraksiya yetishmaydi. Bu boʻshliqni toʻldirish uchun Peking Universiteti, StepFun va Peking Post va Telekommunikatsiya universiteti hamkorlikda TensorCastni ishlab chiqdilar. Bu tensorlar hayot siklini boshqarishning birlashtirilgan, dasturlash mumkin boʻlgan abstraksiyasi boʻlib, u hisoblash dvigatellari, tarmoqlar va omborlar oʻrtasida ishlaydi. TensorCast model ogʻirligi va KV Cache kabi tensor holatlarini aniq tizimlardan ajratib turadi, bu esa yuklanmalarga umumiy boshqaruv imkoniyatlaridan foydalanish imkonini beradi.
TensorCast maxsus tizimlarga teng keladigan samaradorlikka erishadi, shu bilan birga yangi komponentlararo oʻzaro aloqa strategiyalarini joriy etadi, bu esa yuqori raqobatbardosh koʻp bosqichli agentlar ssenariylarida birinchi tokengacha boʻlgan vaqtni (time-to-first-token) 93,2% gacha qisqartirish imkonini beradi.
Zamonaviy katta modellar infratuzilmasi aslida velosipedni ixtiro qilmoqda. Har bir vazifa uchun alohida tizim mavjud: biri modelni yuklash va ogʻirliklarni tarqatish uchun, ikkinchisi KV Cache ni saqlash va migratsiya qilish uchun, va uchinchilisi checkpoint orqali holatni tiklash uchun. Garchi bu yechimlar sezilarli darajada samaradorlik oshirishni taʼminlasa-da, ular maʼlum freymvorklar, tarmoq texnologiyalari va saqlash backendlariga juda bogʻliq. Asosan, ular barchasi oʻxshash operatsiyalarni bajaradi: tensor identifikatsiyasini aniqlash, tensorlarni joylashtirish, ularni tugunlar orasida koʻchirish, sxemalarni oʻzgartirish va mantiqiy holatlarni hisoblanadigan maʼlumotlarga materializatsiya qilish. Ushbu imkoniyatlar izolyatsiyalangan vertikal steklarda mavjud, bu esa ishlab chiqish xarajatlarini oshiradi va komponentlararo optimallashtirishga toʻsqinlik qiladi.
TensorCastning ikkita asosiy gʻoyasi quyidagilardir: tensorlar mustaqil identifikatsiya va hayot sikliga ega tizim obʼektlariga aylanadi, bu ogʻirliklar, KV Cache va oʻrta holatlarni ishlab chiquvchilarning tensor qayerda ekanligiga aralashmasdan bir xil boshqarishni taʼminlaydi; shuningdek, tensor hayot sikli dasturlash mumkin boʻladi, chunki umumiy operatsiyalar tarkibiy primitivlarga abstrakt qilinadi. KV Cache migratsiyasi ssenariysi buni tushuntiradi: sessiya yuklama nomutanosibligi tufayli instansiyalar orasiga oʻtishni talab qilishi mumkin, bu anʼanaviy ravishda soʻrov rejalashtiruvchisini, KV backendini va inferensiya dvigatelini oʻzgartirishni talab qiladi, ammo TensorCast buni oddiy hayot sikli dasturi yordamida amalga oshiradi.
TensorCast arxitekturasi boshqaruv va maʼlumotlarni ajratadi: Global Ombor klaster metadatalarini saqlaydi, maʼlumotlarni uzatishda ishtirok etmaydi, shu bilan birga Ishchi tugunlar RDMA va nol nusxa bilan uzatishdan foydalanib hayot sikli operatsiyalarini bajaradi.
Eksperimentlar ham samaradorlikni, ham dasturlash qobiliyatini tasdiqlaydi. vLLM va SGLang ga integratsiya qilingan TensorCast, Qwen3-235B-A22B modelidan foydalanib, keng tarqalgan tarqatilgan fayl tizimlariga qaraganda, instansiyani ishga tushirishda elastik miqyoslashni 228,6 martagacha tezlashtiradi. Tensorlar holatini dinamik boshqarish uchun u SGLang HiCache dagi Mooncake KV Cache maxsus tizimiga mos keladi. TensorCast API dan foydalanib, koʻp bosqichli agentlar ssenariylari uchun soʻrov rejalashtiruvchisi instansiyaning yuklamasiga qarab soʻrovlar taqsimotini dinamik ravishda tartibga soladi, oʻrtacha TTFT ni 93,2% gacha pasaytiradi. Maqolada agentlar, koʻp bosqichli fikrlash va uzluksiz oʻrganish tizimlarni yanada dinamikroq yoʻnaltirishi bilan, tugunlar, komponentlar va bosqichlar orasidagi tensorlarni boshqarish keyingi avlod infratuzilmasining markaziy muammosi boʻlishi aytiladi.
