Nvidia Groq 3 LPX raqamini ishlab chiqarishni boshladi va uni bu yil ichida Nebius neocloudiga joylashtirishni rejalashtirmoqda. Ushbu texnologiya kompaniya tomonidan Groq aktivlarini 20 milliard AQSh dollari miqdorida sotib olishdan soʻng joriy etildi, bu Nvidia tomonidan amalga oshirilgan eng katta xarid hisoblanadi.
Bu joriy etishning asosiy maqsadi past kechikishli inferensiyaga eʼtibor qaratish boʻlib, bu foydalanuvchi tomonidan soʻrov yuborilgan va sunʼiy intellekt tizimining javobi olinguncha vaqtni kamaytirish imkonini beradi. Bu funksionallik ayniqsa dasturlash kontekstlarida muhimdir, chunki har qanday kechikish darhol sezilishi mumkin.
Nebiusdagi Groq 3 LPX raqamlarida uskunalar Vera protsessorlari va Rubin GPUlari yoniga joylashtiriladi. Nvidianing katta direktori Dion Harris bu qurilmalar bu yil ichida mavjud boʻlishini tasdiqladi.
Groq tomonidan ishlab chiqilgan arxitektura chipning oʻzida yuqori tezlikdagi 500 MB SRAM xotirasini oʻz ichiga oladi. Shu tariqa, texnologiya AI modellarini ishga tushirish paytida xotiraga kirish tufayli yuzaga keladigan toʻsiqlarni bartaraf etishni maqsad qilgan.
Har bir raqam 256 ta Groq 3 chiplaridan tashkil topgan. Nvidia tomonidan taqdim etilgan maʼlumotlarga koʻra, tizim sekundiga 3400 token gacha tezlikka erishadi, bu Artificial Analysis tomonidan oʻtkazilgan samaradorlik sinovi natijasida olingan raqamdir.
Groq chiplarining aniq vazifasi
Groq texnologiyasi yanada ixtisoslashgan rol oʻynaydi. Uning chiplari asosan inferensiya ning «dekodlash» bosqichiga yoʻnaltirilgan, bu esa modelning yakuniy javobini tashkil etuvchi tokenlarni yaratish uchun masʼuldir.
GPUlar esa oʻquv va inferensiya jarayonlarida ham oʻz qoʻllanilishini saqlab qoladi, turli modellar va texnologiyalarni boshqarish uchun yuqori koʻp qirrali imkoniyatlar beradi. Harris fikricha, bir texnologiyani ikkinchisiga ustun qilish zaruriyati yoʻq; bu har bir ish talabi qismi uchun mos va toʻgʻri narxdagi protsessorlardan foydalanish demakdir.
Shunday qilib, taklif etilgan strategiya vazifalarni har bir protsessor turining oʻziga xos xususiyatlariga muvofiq taqsimlashni nazarda tutadi.
Bozorda Nvidia AI javoblarini tezlashtirishni maqsad qilgan boshqa kompaniyalar bilan raqobatlashmoqda. AMD Cerebras chiplari bilan raqamlar miqyosida tizimlarini integratsiya qilish rejalarini eʼlon qildi, bu kompaniya yaqinda aksiyadorlar uchun jamoatchilik taklifini amalga oshirdi. OpenAI ham bu raqobatda ishtirok etib, sekundiga 750 token vaʼda qiladigan va «Cerebras tomonidan quvvatlangan» Ultrafast rejimini taqdim etdi.
Vera Rubin tizimlarining kengayishi
Shu bilan birga, Nvidia avval boshlangan ishlab chiqarishga ega boʻlgan Vera Rubin tizimlarining joʻnatmalarini oshirmoqda. Mart oyida Vera Rubin va Groq 3 LPX tizimlarini ishga tushirish tadbirida Jensen Huang dasturlash ilovalari uchun moʻljallangan markazlar maydonining chorakini Groq chiplariga ajratishini eʼlon qildi.
Huang oʻsha paytda taʼkidlagan edi: «Mening markazimning qolgan qismi 100% Vera Rubin». Groq kiritilishi bilan Nvidia inferensiyaning aniq bir bosqichini tezlashtirish uchun maxsus imkoniyatga ega boʻldi. GPUlar tizimlarining poydevori boʻlib qoladi, shu bilan birga yangi raqamlar javob berish vaqti hal qiluvchi omil boʻlgan joylarda masʼuliyatni oʻz zimmasiga oladi.