हानझोउ में, चीनी ऑपरेटर चाइना टेलीकॉम, कंपनी ZTE और झोंगहाओ शिनिंग ने देश का पहला TPU क्लस्टर तैनात किया है, जिसमें 1024 चिप्स हैं और यह 400 PFLOPS का प्रदर्शन प्रदान करता है।
विकास के चरण और तकनीकें
झोंगहाओ शिनिंग द्वारा विकसित पहले TPU संस्करण, चाना TPU, को कार्यान्वयन के पहले चरण में उपयोग किया जा रहा है। दूसरे पीढ़ी के TPU Xuyu का उपयोग करके सिस्टम का विस्तार 10 हजार PFLOPS तक करने की योजना है। यह नया चिप 896 TFLOPS आउटपुट देने में सक्षम है, जो ऊर्जा की खपत 50% कम होने पर भी चाना TPU के प्रदर्शन से तीन गुना अधिक है।
दूरसंचार ऑपरेटरों के लाभ
दूरसंचार कंपनियाँ घरेलू एआई चिप्स के परीक्षण के लिए महत्वपूर्ण मैदान बन रही हैं। क्लाउड प्रदाताओं के विपरीत, जो विशिष्ट जीपीयू मॉडल के लिए कार्य को अनुकूलित कर सकते हैं, दूरसंचार ऑपरेटर विविध कॉर्पोरेट ग्राहकों को सेवा प्रदान करते हैं जिन्हें व्यापक मॉडल संगतता की आवश्यकता होती है। हांग्जोउ टेलीकॉम की रिपोर्ट के अनुसार, क्लस्टर शुरू होने के बाद टोकन आउटपुट दक्षता दस गुना से अधिक बढ़ गई है, और एक मिलियन टोकन की लागत लगभग 100 युआन से घटकर 10 युआन से भी कम हो गई है।
क्लस्टर की वास्तुशिल्प विशेषताएं
इस तरह की प्रगति प्रीफिल-डीकोड विभाजन के नियोजन का उपयोग करके संभव हुई है। यह पद्धति इनपुट डेटा प्रोसेसिंग और आउटपुट जनरेशन को अलग करती है, जिससे विभिन्न प्रकार के वर्कलोड के लिए उपकरण के उपयोग को अनुकूलित किया जा सकता है। TPU आर्किटेक्चर मूल रूप से पीडी विभाजन का समर्थन करता है, जबकि जीपीयू पर समकक्ष प्रदर्शन प्राप्त करने के लिए महत्वपूर्ण सॉफ्टवेयर संशोधन की आवश्यकता होती है।
रणनीति और साझेदारी
झोंगहाओ शिनिंग के सीईओ यांग गुन्यीफन, जिन्होंने पहले गूगल टीपीयू टीम में काम किया था, अपनी कंपनी को चीन में टीपीयू आर्किटेक्चर के प्रति समर्पित कुछ कंपनियों में से एक के रूप में प्रस्तुत करते हैं। सिस्टोलिक सरणियों और बड़े पैमाने पर मैट्रिक्स गुणन ब्लॉकों पर आधारित टीपीयू आर्किटेक्चर स्वाभाविक रूप से ट्रांसफार्मर लेयर्स की कम्प्यूटेशनल लॉजिक के लिए अनुकूलित होता है, जो बड़े भाषा मॉडल में प्रमुख पैटर्न है। दूसरा चिप Xuyu पीडी-विभाजन के नेटिव प्लानिंग का समर्थन करता है, जिससे सॉफ्टवेयर अनुकूलन की लागत काफी कम हो जाती है।
क्लस्टर को तैनात करते समय, एक सुपरनोड सीधे 2048 चिप्स को जोड़ सकता है, जिससे इंटर-चिप संचार में बॉटलनेक की समस्या हल होती है, जो हजारों कार्डों तक स्केल करने पर महत्वपूर्ण हो जाता है, जहां बैंडविड्थ की आवश्यकता टेराबाइट स्तर तक पहुंच जाती है। घरेलू चिप्स को स्तर 100 पर अनुकूलन की आवश्यकता होती है, जबकि विदेशी चिप्स को केवल स्तर 10 की आवश्यकता होती है, क्योंकि मॉडल और चिप्स स्प्रिंटर गति से एक साथ अपडेट होते हैं। चाइना टेलीकॉम चिप्स को 'काम करने में सक्षम' स्थिति से 'अच्छी तरह से काम करने' की स्थिति में लाने के लिए वास्तविक डेटा सेंटर स्थान, वास्तविक कार्यभार और वास्तविक बिलिंग प्रदान करता है। झोंगहाओ शिनिंग-ZTE-चाइना टेलीकॉम साझेदारी कंप्यूटिंग सिस्टम की एक ऊर्ध्वाधर एकीकृत राष्ट्रीय आपूर्ति श्रृंखला बनाती है, और 10 हजार PFLOPS तक नियोजित विस्तार अल्ट्रा-लार्ज मॉडल को प्रशिक्षित करने के लिए है।
