Xiaohongshu Engine jamoasi OSDI 2026 konferensiyasida HELMSMAN tizimini taqdim etdi. Ushbu tizim to'liq flash-xotka NVMe SSD massivlari uchun maxsus ishlab chiqilgan, yaqin qo'shnilarni taxminiy qidirish (vector approximate nearest neighbor search) uchun iqtisodiy jihatdan samarali yuqori samarali yechimdir.
HELMSMAN Xiaohongshu ning avvalgi infratuzilmasini almashtirdi, u taxminan 35 000 ta protsessor yadrolari va 350 TB operativ xotira (DRAM) dan iborat bo'lgan, to'liq flash-xotkali atigi 40 ta serverdan iborat edi. Bu kompaniya uchun qidiruv, tavsiyalar va reklama kabi xizmatlar uchun millisekund darajasidagi kechikishni saqlab qolgan holda, apparat xarajatlarini 90% dan ortiq kamaytirishga imkon berdi. Ushbu xizmatlar soniyalab millionlarda so'rovlarda yuzlab milliard o'lchamli vektorlarni qayta ishlaydi.
Asosiy g'oya shundaki, ANNS ning klasterlash usullari, ANNS ning grafik usullaridan farqli o'laroq, zamonaviy yuqori tezlikdagi SSD massivlari uchun ko'proq mos keladigan arxitekturadir. DRAM va SSD dan foydalanadigan DiskANN kabi grafik tizimlar ketma-ket kirish-chiqishga bog'liqlikdan aziyat chekadi, chunki bitta SSD dan o'qish keyingi tashrif buyuriladigan qo'shnini belgilaydi, bu esa SSD quvvatlanishiga to'la yetib borishga to'sqinlik qiladi. Aksincha, klasterlash tizimlari nomzodlar klasterlarini parallel ravishda o'qiydi, bu esa SSD ning parallel kirish-chiqish imkoniyatlariga mos keladi.
An'anaviy SPANN klasterlash tizimlari ishlab chiqarish muhitida uchta muammo bilan duch keldi: Linux kirish-chiqish stekining qo'shimcha yuklari tufayli yetarli bo'lmagan quvvat, so'rov murakkabligiga qarab juda ko'p yoki juda oz skanerlaydigan moslashuvchan bo'lmagan qidiruv strategiyalari, shuningdek, yuzlab milliard vektorlarga miqyoslana olmaydigan bitta protsessor ustida sekin indeks qurilishi. HELMSMAN bu to'siqlarni uchta yangilik orqali bartaraf etadi:
Birinchidan, bu ANNS uchun maxsus saqlash stekidir, u standart Linux kirish-chiqish yo'llarini chetlab o'tib, NVMe navbatlarini bevosita foydalanuvchi fazasida boshqaradi. Bu avval umumiy kechikishning 58% ni iste'mol qilgan dasturiy qo'shimcha yuklarni kamaytirdi. Ikkinchidan, so'rov murakkabligi, top-k hajmi va markazoidlar taqsimoti asosida optimal skanerlash uchun klasterlar sonini moslashuvchan bashorat qiluvchi ierarxik o'quv mexanizmi amalga oshirildi. Uchinchi, GPU bilan tezlashtirilgan tarqatilgan qurilish konveyerining joriy etilishi milliardlab vektorlar miqyosida indekslarni bir necha soat ichida qayta qurish imkonini beradi, bu esa tavsiya va reklama tizimlari uchun daqiqalar ichida modellar yangilanishiga mos keladi.
Ishlab chiqarish sinovlari tizimning samaradorligini namoyish etdi. HELMSMAN DiskANN va SPANN kabi mavjud DRAM-SSD tizimlariga nisbatan 2–16 barobar quvvat oshirishni ta'minlaydi, SLA (o'rtacha va oxirgi kechikish millisekundlar doirasida) ga rioya qilgan holda, toza in-memory joylashuvning 85% quvvatiga erishadi. Indekslarni 10 milliard vektorlar miqyosida soatlar ichida qayta qurish imkoniyati HELMSMANni embedding va vektor ma'lumotlari tez-tez yangilanadigan ish muhitlari uchun amaliy qiladi. Xiaohongshu ning joylashuvi qidiruv, tavsiyalar, reklama, kontent xavfsizligi va RAG konveyerlari kabi ko'plab biznes yo'nalishlarini qamrab oladi.
Xarajatlar va miqyoslanishga ta'sirlar Xiaohongshu dan tashqariga chiqadi. Vektorli qidiruv infratuzilmasi internet platformalari uchun eng tez o'sayotgan xarajat markazlaridan biridir, chunki embedding asosidagi ajratish qidiruv, tavsiyalar va sun'iy intellektga asoslangan funksiyalar uchun universal bo'lib qolmoqda. DRAM ga bog'liqlik xarajatlar o'sishining tuzilmaviy omili edi, chunki vektorlar miqyosi har yili ikki barobar oshib bormoqda. HELMSMAN yuqori samarali ANNS ning standart flash-saqlashda hatto eng kechikishga sezgir onlayn xizmat ko'rsatish ssenariylari uchun ham ishlab chiqarishda hayotiy ekanligini isbotlaydi, bu butun sanoat uchun infratuzilma iqtisodiyotini potentsial ravishda o'zgartirishi mumkin. Tadqiqot shuningdek, boshqa AI komponentlari, xotira bilan cheklanganlar, shunchaki DRAM ni kengaytirish o'rniga saqlash stekini birgalikda loyihalashdan o'xshash foyda olishi mumkinmi degan savollarni ko'taradi.
