एनवीडिया ने ग्रोक 3 एलपीएक्स रैक का उत्पादन शुरू कर दिया है और इस वर्ष ही नियोक्लाउड नेबियस में इसे चालू करने की योजना बना रहा है। यह तकनीक ग्रोक की संपत्ति के अधिग्रहण के बाद कंपनी में शामिल की गई थी, जो 20 अरब अमेरिकी डॉलर में हुई थी, जो एनवीडिया द्वारा अब तक की सबसे बड़ी खरीद है।
इस कार्यान्वयन का मुख्य उद्देश्य कम विलंबता वाले अनुमान पर ध्यान केंद्रित करना है, जिससे उपयोगकर्ता द्वारा अनुरोध भेजने और आर्टिफिशियल इंटेलिजेंस सिस्टम से प्रतिक्रिया प्राप्त करने के बीच लगने वाले समय को कम किया जा सके। यह कार्यक्षमता विशेष रूप से प्रोग्रामिंग संदर्भों में महत्वपूर्ण है, जहां किसी भी देरी पर तुरंत ध्यान दिया जा सकता है।
नेबियस में स्थापित ग्रोक 3 एलपीएक्स रैक में, उपकरणों को वेरा प्रोसेसर और रुबिन जीपीयू के बगल में रखा जाएगा। एनवीडिया के वरिष्ठ निदेशक डियोन हैरिस ने पुष्टि की कि ये डिवाइस इस वर्ष तक उपलब्ध होंगे।
ग्रोक द्वारा विकसित वास्तुकला में सीधे चिप में 500 एमबी उच्च गति वाली एसआरएएम मेमोरी शामिल है। इस प्रकार, यह तकनीक एआई मॉडल के निष्पादन के दौरान मेमोरी एक्सेस के कारण होने वाली बाधाओं को कम करने का लक्ष्य रखती है।
प्रत्येक रैक में 256 ग्रोक 3 चिप्स होते हैं। एनवीडिया द्वारा प्रदान किए गए आंकड़ों के अनुसार, यह प्रणाली प्रति सेकंड 3,400 टोकन तक की दर हासिल करती है, जो आर्टिफिशियल एनालिसिस द्वारा किए गए प्रदर्शन परीक्षण के माध्यम से प्राप्त किया गया एक आंकड़ा है।
ग्रोक चिप्स का विशिष्ट कार्य
ग्रोक तकनीक एक अधिक विशिष्ट भूमिका निभाती है। इसके चिप्स मुख्य रूप से अनुमान के 'डिकोड' चरण के लिए लक्षित हैं, जो अंतिम प्रतिक्रिया बनाने वाले टोकन उत्पन्न करने के लिए जिम्मेदार है।
दूसरी ओर, जीपीयू प्रशिक्षण और अनुमान दोनों में अपना उपयोग बनाए रखते हैं, जो विभिन्न मॉडलों और तकनीकों से निपटने के लिए अधिक बहुमुखी प्रतिभा प्रदान करते हैं। हैरिस के लिए, एक तकनीक को दूसरी के पक्ष में खत्म करने की कोई आवश्यकता नहीं है; यह प्रत्येक कार्य मांग के प्रत्येक भाग के लिए उपयुक्त और सही लागत वाला प्रोसेसर का उपयोग करने के बारे में है।
इसलिए, प्रस्तावित रणनीति प्रत्येक प्रोसेसर के अंतर्निहित विशेषताओं के अनुसार कार्यों को वितरित करना है।
बाजार में, एनवीडिया अन्य कंपनियों के साथ प्रतिस्पर्धा करता है जो एआई प्रतिक्रिया पीढ़ी को तेज करने की कोशिश कर रही हैं। एएमडी ने अपने सिस्टम को सेरेब्रास चिप्स के साथ रैक पैमाने पर एकीकृत करने की योजना की घोषणा की है, जो हाल ही में सार्वजनिक रूप से सूचीबद्ध हुई है। ओपनएआई ने भी इस प्रतिस्पर्धा में भाग लिया, अपने अल्ट्राफास्ट मोड प्रस्तुत किया, जो प्रति सेकंड 750 टोकन का वादा करता है और 'सेरेब्रास द्वारा संचालित' है।
वेरा रुबिन सिस्टम का विस्तार
इसके समानांतर, एनवीडिया वेरा रुबिन सिस्टम की शिपमेंट बढ़ा रही है, जिसका उत्पादन पहले ही शुरू हो चुका था। मार्च में, वेरा रुबिन और ग्रोक 3 एलपीएक्स सिस्टम के लॉन्च इवेंट के दौरान, जेनसेन हुआंग ने घोषणा की कि वह प्रोग्रामिंग अनुप्रयोगों के लिए डेटा सेंटर स्थान का एक चौथाई हिस्सा ग्रोक चिप्स को समर्पित करेगा।
हुआंग ने उस अवसर पर जोर देकर कहा: 'मेरे डेटा सेंटर का शेष भाग 100% वेरा रुबिन है'। ग्रोक के परिचय के साथ, एनवीडिया अनुमान के एक विशिष्ट चरण को तेज करने के लिए एक समर्पित विकल्प प्राप्त करती है। जीपीयू अपने सिस्टम की नींव बने रहते हैं, जबकि नए रैक उन जिम्मेदारियों को संभालते हैं जहां प्रतिक्रिया समय एक निर्णायक कारक है।