Ant Group va vLLM jamoasi Just-In-Time (JIT) kompilyatsiya usulidan foydalangan holda katta til modellarining (LLM) kvantlangan modellari inferensi uchun moʻljallangan GEMM yadrolari kutubxonasi boʻlgan Hummingni eʼlon qildi.
Bu loyiha Ant Groupning inclusionAI tashkiloti orqali Apache 2.0 litsenziyasi ostida chiqarilgan va vLLM loyihasida aks ettirilgan. Humming kvantlangan xizmat koʻrsatish sohasidagi umumiy muammoni hal qiladi, bu esa har bir bit kengligi kombinatsiyasi, faollik formati, miqyoslash sxemasi, zich yoki Mixture-of-Experts (MoE) joylashuvi tuzilmasi va GPU generatsiyasi uchun maxsus yadroni yaratish zarurati bilan bogʻliq.
Kutubxona qoʻllab-quvvatlanadigan eksport formatlarini umumiy kvantlash tavsifiga aylantiradi, soʻngra berilgan maqsadli shakl, qurilma va hisoblash opsiyalari uchun qayta ishlatiladigan CUDA komponentlaridan JIT-kompilyatsiya yordamida yadrolarni bajaradi.
Loyihaning tavsifiga koʻra, bitta arxitektura INT1 dan INT8 gacha boʻlgan butun sonli vaznlar va FP4 dan FP8 gacha boʻlgan oʻnlik nuqtali vaznlarni FP16, BF16, FP8, FP4, INT8 yoki INT4 faolliklari bilan birlashtirib qoʻllab-quvvatlaydi, agar formatlar mos kelsa. U zich GEMM va MoE GEMM ikkalasini ham qoʻllab-quvvatlaydi va Turing arxitekturasidan boshlab NVIDIA grafik protsessorlariga yoʻnaltirilgan.
Kutubxona bogʻliqliklari PyTorch va NVCC bilan cheklangan, va pip paketi hajmi taxminan 100 KB ni tashkil etadi. Muhim jihati NVIDIAdan tashqaridagi apparat qoʻllab-quvvatlashni kengaytirishdir: Humming CUDA bilan mos keladigan T-Head Zhenwu 810E AI akseleratorini toʻliq qoʻllab-quvvatlaydi, bu shu qurilmadan bir xil yadrolar va sozlash yoʻllaridan foydalanish imkonini beradi. T-Head Alibaba tarkibiy qismidir, va Zhenwu 810E avval Xitoydagi AI joylashtirishlarida ishlatilgan.
Umumiy eʼlonda keltirilgan samaradorlik natijalari oʻz mikro benchmarklari va xizmat koʻrsatish testlariga asoslangan. Kichik batch hajmlarida, zich W4A16 bir nechta qurilmalarda cuBLAS ga nisbatan taxminan 3–4 barobar oshishni namoyish etdi. B300 da W4A8 ning bazaviy DeepGEMM ga nisbatan nisbati baʼzi hollarda kichik va oʻrta batch hajmlari bilan taxminan 1,6 barobar baholanadi.
DeepSeek-V4.1-Flash ning sakkizta H20 GPU ustida toʻliq sinovida, MoE Marlin W4A16 dan Humming W4A8 ga oʻtish chiqish tranzmissiyasini taxminan 14%–43% ga oshirdi va birinchi tokengacha boʻlgan oʻrtacha vaqtni 25%–32% ga qisqartirdi, eng katta oshish yuqori parallelizmda kuzatildi. Bu natijalar hali mustaqil tekshirilmagan.
vLLM 0.29.0 versiyasidan boshlab, CUDA bilan vLLM oʻrnatmalari Hummingni bogʻliqlik sifatida oʻz ichiga oladi. Operatorlar uni --linear-backend humming va --moe-backend humming bayroqlari yordamida faollashtirishi mumkin. Eʼtiborga loyiqki, Humming Ant Group va vLLM jamoasining birgalikdagi loyihasi boʻlib, faqatgina Ant Group mahsuloti emas.
>