Ant Digital Technologies tezkorporativ qarorlar qabul qilish uchun LingDT-Decision-1.0 modelini chiqardi
Batafsil
Pandaily
pandaily.com

Ant Digital Technologies tezkorporativ qarorlar qabul qilish uchun LingDT-Decision-1.0 modelini chiqardi

Korporativ texnologiyalarga ixtisoslashgan Ant Group tarkibiy qismi boʻlgan Ant Digital Technologies LingDT-Decision-1.0 modelini taqdim etdi. Ushbu model erkin matn yaratish uchun emas, balki biznes qarorlarini tizimli ravishda qabul qilish uchun maxsus ishlab chiqilgan. Model ikkita versiyada mavjud — 4B va 27B parametrli — va kompaniyaning DTMaaS platformasida joylashtirilgan boʻlib, bu yerda ishlab chiquvchilar uni cheklangan muddat davomida bepul sinab koʻrishi mumkin.

Asosiy gʻoya umumiy katta til modellarining keng doirasidan maʼlum bir turdagi vazifalarni ajratib olish edi. Koʻpgina korporativ operatsiyalar oldindan maʼlum variantlardan tanlashga asoslanadi. Misol tariqasida, Ant Digital Technologies mijozlarni xizmat koʻrsatish ssenariysini keltirdi: uch kun ichida buyurtma joʻnatilmaganligi haqidagi xabar tizimdan quyidagilarni aniqlashni talab qiladi: bu mablagʻ qaytarish soʻrovi, eslatma yoki shikoyatmi, uning shoshilinchligi qanday, uni qaysi boʻlim qayta ishlashi kerak va inson aralashuvi talab qilinadimi.

Oddiy katta til modellarida odatda bitta token boʻyicha fikrlash, matn yaratish va keyin qaror olish uchun parslash orqali ishlaydi. Kompaniya bu jarayon uzoq va xarajatli, shuningdek, xatoliklarga koʻproq moyil ekanligini taʼkidlaydi. Qaror qabul qilish uchun moʻljallangan model belgilangan opsiyalar toʻplami doirasida variantlarni bevosita baholash uchun loyihalashtirilgan. Bu uni agentlarning ish jarayonidagi yuqori chastotali bosqichlar uchun mos qiladi, masalan, maqsadni aniqlash, vositani tanlash, qoidalarni tasniflash va baholash.

Ant Digital Technologies tomonidan mijozlarni xizmat koʻrsatish, xavflarni nazorat qilish va moliyaviy ssenariylarda oʻtkazilgan sinovlarga koʻra, LingDT-Decision-1.0 oʻxshash vazifalarni bajarishda katta til modellariga nisbatan token isteʼmolini 90% dan ortiq kamaytirdi. Bundan tashqari, u 10 baravar tezroq javob berdi va yaxshiroq natijalar namoyish etdi. Oddiy «ha» yoki «yoʻq» hukmlaridan, bitta variantni tanlashdan, tasniflash va reyting berishdan tashqari, kompaniya ushbu modelning nativ koʻp tanlov va yoʻnaltirilgan siklsiz graf (DAG) shaklida tashkillashtirilgan ketma-ket qarorlarni qoʻllab-quvvatlovchi birinchi model ekanligini taʼkidlaydi, bu esa koʻp bosqichli biznes jarayonlariga mos keladi.

Ochiq kodli 23 ta benchmarklarda kompaniya LingDT-Decision-1.0 ning Microsoft-Decision-1 va Jev 1.13 kabi boshqa qaror qabul qilish modellaridan ustun kelganini maʼlum qildi, shu bilan birga 27B versiyasi oʻz hajmidagi modellar orasida eng yuqori aniqlikka erishdi. Shuni taʼkidlash kerakki, bu natijalar kompaniya tomonidan oʻzi amalga oshirilgan va mustaqil tekshirilmagan.

Ushbu modelni chiqarish umumiy katta til modellaridan foydalanishni bekor qilmaydi. Buning oʻrniga, model ular bilan parallel ishlash uchun moʻljallangan boʻlib, korporativ agentdagi koʻplab kichik, takrorlanuvchi hukmlarni oʻz zimmasiga oladi, toki kattaroq modellar erkin shakldagi generatsiya va fikrlashga eʼtibor qaratishi mumkin. Katta miqyosda agentlar yaratayotgan jamoalar uchun bunday ajratish xarajat va kechikishga sezilarli taʼsir koʻrsatishi mumkin.

Oʻxshash hikoyalar

Ant Group va vLLM jamoasi Hummingni ochdi — Zhenwu 810E qoʻllab-quvvatlash bilan kvantlangan inferens uchun yadrolar kutubxonasi
Batafsil
pandaily.com

Ant Group va vLLM jamoasi Hummingni ochdi — Zhenwu 810E qoʻllab-quvvatlash bilan kvantlangan inferens uchun yadrolar kutubxonasi

Ant Group va vLLM jamoasi Just-In-Time (JIT) kompilyatsiya usulidan foydalangan holda katta til modellarining (LLM) kvantlangan modellari inferensi uchun moʻljallangan GEMM yadrolari kutubxonasi boʻlgan Hummingni eʼlon qildi.

Bu loyiha Ant Groupning inclusionAI tashkiloti orqali Apache 2.0 litsenziyasi ostida chiqarilgan va vLLM loyihasida aks ettirilgan. Humming kvantlangan xizmat koʻrsatish sohasidagi umumiy muammoni hal qiladi, bu esa har bir bit kengligi kombinatsiyasi, faollik formati, miqyoslash sxemasi, zich yoki Mixture-of-Experts (MoE) joylashuvi tuzilmasi va GPU generatsiyasi uchun maxsus yadroni yaratish zarurati bilan bogʻliq.

Kutubxona qoʻllab-quvvatlanadigan eksport formatlarini umumiy kvantlash tavsifiga aylantiradi, soʻngra berilgan maqsadli shakl, qurilma va hisoblash opsiyalari uchun qayta ishlatiladigan CUDA komponentlaridan JIT-kompilyatsiya yordamida yadrolarni bajaradi.

Loyihaning tavsifiga koʻra, bitta arxitektura INT1 dan INT8 gacha boʻlgan butun sonli vaznlar va FP4 dan FP8 gacha boʻlgan oʻnlik nuqtali vaznlarni FP16, BF16, FP8, FP4, INT8 yoki INT4 faolliklari bilan birlashtirib qoʻllab-quvvatlaydi, agar formatlar mos kelsa. U zich GEMM va MoE GEMM ikkalasini ham qoʻllab-quvvatlaydi va Turing arxitekturasidan boshlab NVIDIA grafik protsessorlariga yoʻnaltirilgan.

Kutubxona bogʻliqliklari PyTorch va NVCC bilan cheklangan, va pip paketi hajmi taxminan 100 KB ni tashkil etadi. Muhim jihati NVIDIAdan tashqaridagi apparat qoʻllab-quvvatlashni kengaytirishdir: Humming CUDA bilan mos keladigan T-Head Zhenwu 810E AI akseleratorini toʻliq qoʻllab-quvvatlaydi, bu shu qurilmadan bir xil yadrolar va sozlash yoʻllaridan foydalanish imkonini beradi. T-Head Alibaba tarkibiy qismidir, va Zhenwu 810E avval Xitoydagi AI joylashtirishlarida ishlatilgan.

Umumiy eʼlonda keltirilgan samaradorlik natijalari oʻz mikro benchmarklari va xizmat koʻrsatish testlariga asoslangan. Kichik batch hajmlarida, zich W4A16 bir nechta qurilmalarda cuBLAS ga nisbatan taxminan 3–4 barobar oshishni namoyish etdi. B300 da W4A8 ning bazaviy DeepGEMM ga nisbatan nisbati baʼzi hollarda kichik va oʻrta batch hajmlari bilan taxminan 1,6 barobar baholanadi.

DeepSeek-V4.1-Flash ning sakkizta H20 GPU ustida toʻliq sinovida, MoE Marlin W4A16 dan Humming W4A8 ga oʻtish chiqish tranzmissiyasini taxminan 14%–43% ga oshirdi va birinchi tokengacha boʻlgan oʻrtacha vaqtni 25%–32% ga qisqartirdi, eng katta oshish yuqori parallelizmda kuzatildi. Bu natijalar hali mustaqil tekshirilmagan.

vLLM 0.29.0 versiyasidan boshlab, CUDA bilan vLLM oʻrnatmalari Hummingni bogʻliqlik sifatida oʻz ichiga oladi. Operatorlar uni --linear-backend humming va --moe-backend humming bayroqlari yordamida faollashtirishi mumkin. Eʼtiborga loyiqki, Humming Ant Group va vLLM jamoasining birgalikdagi loyihasi boʻlib, faqatgina Ant Group mahsuloti emas.

>
pandaily.com saytiga Cloudflare yordamida kirish cheklandi
Batafsil
pandaily.com

pandaily.com saytiga Cloudflare yordamida kirish cheklandi

pandaily.com veb-saytining egasi foydalanuvchining resursga kirishini vaqtincha blokladi. Ushbu cheklov Cloudflare xizmati yordamida amalga oshirilgan.

Bu vaziyat haqida batafsil maʼlumot olish uchun foydalanuvchilar Cloudflarening rasmiy hujjatlariga, yaʼni https://developers.cloudflare.com/support/troubleshooting/http-status-codes/cloudflare-1xxx-errors/error-1015/ havolasiga murojaat qilishlari mumkin.

Mashhur