GPUWorks, जो आर्टिफिशियल इंटेलिजेंस इन्फेरेंस के लिए एक हल्का एंटरप्राइज प्लेटफॉर्म है, को 4 नवंबर को Apache-2.0 लाइसेंस के तहत ओपन सोर्स के रूप में जारी किया गया था। इस बारे में जानकारी IT Home प्रकाशन द्वारा प्रकाशित की गई थी। कोड FlitAI संगठन पर GitHub पर उपलब्ध है, जिससे उद्यम और डेवलपर्स इसे उपयोग कर सकते हैं, संशोधित कर सकते हैं या इन्फेरेंस और चिप अनुकूलन टेम्पलेट्स में योगदान दे सकते हैं।
यह प्लेटफॉर्म विभिन्न निर्माताओं और स्रोतों से एक्सेलेरेटर को एक एकीकृत प्रबंधित पूल में जोड़ता है। यह हार्डवेयर के साथ मॉडल का मिलान करता है, GPU मेमोरी आवश्यकताओं का आकलन करता है, और टेम्पलेट से मॉडलों को डिप्लॉय करता है, जिसके बाद उन्हें OpenAI के साथ संगत API के माध्यम से एक्सेस प्रदान किया जाता है। समर्थित चिप्स में NVIDIA और AMD के अलावा Huawei Ascend, T-Head PPU और Hygon DCU शामिल हैं।
बेयर-मेटल सर्वर, वर्चुअल मशीन और क्लाउड कंटेनर एक ही क्लस्टर में काम कर सकते हैं, चाहे वे कंपनी के अपने डेटा सेंटर में हों, निजी क्लाउड में हों या सार्वजनिक क्लाउड में हों।
प्लेटफॉर्म की विशेषताएं और प्रदर्शन
डेवलपर्स समाधान की कॉम्पैक्टनेस पर विशेष जोर देते हैं: इंस्टॉलर का वजन 40 एमबी से थोड़ा अधिक है, यह लगभग 60 सेकंड में एक कमांड से स्थापित हो जाता है और इसके लिए Kubernetes का उपयोग करने की आवश्यकता नहीं होती है। आंतरिक नेटवर्क के उपयोगकर्ता ऑफ़लाइन मोड में इंस्टॉलर, मॉडल फ़ाइलें और रनटाइम इमेज डाउनलोड कर सकते हैं। कैटलॉग में लगभग 400 मॉडलों के लिए एक हजार से अधिक कॉन्फ़िगरेशन शामिल हैं, जिसमें प्रत्येक मॉडल और चिप संयोजन के लिए एक इमेज, इन्फेरेंस इंजन, वेट संस्करण और लॉन्च ध्वज पैक किए जाते हैं।
एक AI-आधारित सहायक विफलताओं का निदान करने में मदद करता है, और शेड्यूलर प्रत्येक निर्णय को समझाता है जो प्लेसमेंट के बारे में लिया गया है। टीम के स्वयं के परीक्षणों के अनुसार, एक GPUWorks सर्वर 1003 GPU सर्वरों का प्रबंधन कर सका और चार मिनट में 500 से अधिक इन्फेरेंस प्रतिकृतियां शुरू कर सका। इस दौरान, केवल नौ सीपीयू कोर और 1.6 जीबी मेमोरी का उपयोग करते हुए, आउटपुट प्रति सेकंड 69,000 टोकन तक पहुंच गया। डीपसीक-V4.1-फ्लैश के डिप्लॉयड होने का समय केवल 3.6 सेकंड था।
जागने की सुविधा कई बड़े मॉडलों को एक ही GPU का बारी-बारी से उपयोग करने की अनुमति देती है। पहले स्तर का स्लीप मोड मॉडल वेट को होस्ट मेमोरी में सहेजता है, जिससे इंजन को पुनरारंभ करने या स्टोरेज से वेट को फिर से लोड करने की आवश्यकता समाप्त हो जाती है। आठ NVIDIA H20 कार्डों पर परीक्षण के दौरान, जहां तीन बड़े मॉडल सभी आठ कार्डों पर वितरित थे, NFS स्टोरेज से कोल्ड स्टार्ट में 16 से 17.5 मिनट लगते थे, जबकि मेमोरी से जागने के बाद सेवा की बहाली में लगभग चार सेकंड लगे, जो लगभग 200 गुना सुधार दर्शाता है। व्यवस्थापक प्राथमिकता नीतियों, निष्क्रियता पर रिलीज या अनुसूचित रोटेशन को कॉन्फ़िगर करने में सक्षम हैं।
अधिक बड़े वर्कलोड के लिए, प्लेटफॉर्म मल्टी-नोड पैरेललिज्म, एकाधिक प्रतिकृतियां और प्रीप्रोसेसिंग और डिकोडिंग के विभाजन का समर्थन करता है, जिससे RDMA नेटवर्किंग या Ascend HCCS चैनलों को कॉन्फ़िगर करना संभव होता है। स्केलिंग से पहले थ्रूपुट और विलंबता की जांच के लिए अंतर्निहित लोड परीक्षण भी प्रदान किए जाते हैं। सिस्टम प्रत्येक API कुंजी, मॉडल और डिप्लॉयमेंट के लिए टोकन उपयोग और कैश हिट्स, साथ ही मिलियन आउटपुट टोकन प्रति कार्ड घंटे और अप्रयुक्त GPU को ट्रैक करता है। नोड के रखरखाव के दौरान, प्लेटफॉर्म पुराने को हटाना शुरू करने से पहले प्रतिकृतियां जोड़ता है, और यदि मशीन विफल हो जाती है तो स्वचालित रूप से दूसरे उपयुक्त नोड पर सेवाओं को पुनर्स्थापित करता है।
