मानव और कृत्रिम बुद्धिमत्ता (एआई) जानकारी को जिस तरह से संसाधित करते हैं, वह काफी अलग है। जबकि मनुष्य मानसिक रूप से संग्रहीत शब्दावली का उपयोग करके पढ़ते हैं, मशीनें टोकन नामक छोटी इकाइयों की व्याख्या करती हैं, जो अनिवार्य रूप से संख्यात्मक लेबल वाले ब्लॉक होते हैं।
टोकन बड़े भाषा मॉडल (एलएलएम), जैसे चैटजीपीटी, क्लॉड और जेमिनी द्वारा समझी जाने वाली भाषा का निर्माण करते हैं। मानव भाषा को मशीन भाषा में बदलने की प्रक्रिया को टोकनाइजेशन कहा जाता है, और इसके विपरीत, टोकन को समझने योग्य चीज़ में बदलने की प्रक्रिया को डीटोकनाइजेशन कहा जाता है।
यह अवधारणा प्लेटफॉर्म की सदस्यता लागतों से सीधे जुड़ी हुई है, क्योंकि इन ब्लॉकों को संसाधित करने के लिए ऊर्जा और कम्प्यूटेशनल क्षमता की खपत होती है। कंपनियां सिस्टम की लागत निर्धारित करने, प्रत्येक मॉडल की मेमोरी सीमा स्थापित करने और सेवा के लिए शुल्क लेने के लिए उपयोग किए गए टोकन की गिनती — अनुरोध और एआई प्रतिक्रिया दोनों में — का उपयोग करती हैं।
ताकि एआई किसी संदेश को समझ सके, चाहे वह पाठ, ऑडियो या छवि हो, उसे इसे ब्लॉकों, या टोकन में विभाजित करना होगा। अलुरा के प्रोग्राम मैनेजर फैब्रिसियो कैरारो के अनुसार, एक टोकन को उपशब्द के रूप में समझा जा सकता है। वह उदाहरण देते हैं कि 'खुश', 'दुखी' और 'विभाज्य' जैसे शब्द व्यक्तिगत टोकन हो सकते हैं।
उन्हें उपशब्द कहने का कारण संयुक्त शब्दों में निहित है; उदाहरण के लिए, 'अखुश' या 'अविभाज्य' में, 'in' टोकन का उपयोग किया जाता है। इस 'in' टोकन का मॉडल की शब्दावली में एक विशिष्ट संख्या होती है, ठीक वैसे ही जैसे 'खुश' टोकन (संख्या 352) का होता है। एक साथ, 'in' टोकन और 'खुश' टोकन मिलकर 'अखुश' शब्द बनाते हैं।
एआई के मूल में, एलएलएम, यह क्रमांकित ब्लॉकों (प्रॉम्प्ट) की एक श्रृंखला प्राप्त करता है और यह अनुमान लगाने के लिए जटिल गणनाएँ करता है कि आउटपुट ब्लॉक (एआई का उत्तर) क्या होने चाहिए। हालांकि, जब उपयोगकर्ता चैटजीपीटी जैसे प्लेटफार्मों के साथ इंटरैक्ट करता है, तो वह सीधे इंजन तक नहीं पहुंचता है, बल्कि एक बाहरी सॉफ्टवेयर परत तक पहुंचता है जिसे हार्नेस कहा जाता है।
हार्नेस एलएलएम के लिए एक दिशा प्रणाली के रूप में कार्य करता है, जो टोकनाइजेशन और डीटोकनाइजेशन के प्रवाह का समन्वय करता है। कैरारो बताते हैं कि यह घटक उपयोगकर्ता के प्रश्न को लेता है और उत्तर तैयार करने के लिए संभावित द्वितीयक प्रश्नों में तोड़ता है। तत्काल उत्तर देने के बजाय, यह आंतरिक रूप से इन उप-प्रश्नों को उत्पन्न और हल करता है, और केवल इस आंतरिक तर्क को पूरा करने के बाद ही अंतिम उत्तर उपयोगकर्ता को प्रस्तुत किया जाता है, जिस क्षण टोकन खर्च होता है।
एआई के साथ इंटरैक्शन में एक अन्य प्रासंगिक कारक संदर्भ विंडो है, जो टोकन से आंतरिक रूप से जुड़ा हुआ है। इस विंडो की तुलना काम करने की मेज के स्थान से की जा सकती है, जो एआई की 'अल्पकालिक स्मृति' का प्रतिनिधित्व करती है, और टोकन उस मेज पर बिखरी हुई जानकारी वाले कागजात होंगे।
अधिक तकनीकी रूप से, संदर्भ विंडो अधिकतम टोकन की संख्या निर्धारित करती है (इनपुट प्रॉम्प्ट और एआई आउटपुट प्रतिक्रियाओं को जोड़ते हुए) जिसे मॉडल एक साथ संसाधित कर सकता है। यदि बातचीत इस सीमा के भीतर रहती है, तो एआई पूरी बातचीत को याद रखता है। यदि सीमा पार हो जाती है, तो कुछ जानकारी खो जाती है।
हालांकि टोकन एआई सदस्यता लागतों से जुड़ा हुआ है, जैसे चैटजीपीटी के गो प्लान और जेमिनी का प्लस, यह स्वयं एआई की मुद्रा नहीं है। यह डेटा प्रोसेसिंग की माप की इकाई है, जो खपत का मीट्रिक के रूप में कार्य करती है। कंपनियां इनपुट (प्रॉम्प्ट) और आउटपुट (उत्तर) टोकन की मात्रा के आधार पर कम्प्यूटेशनल प्रयास और परिचालन लागत का मूल्यांकन करती हैं।
उदाहरण के लिए, क्लॉड फेबल 5 में, एंथ्रोपिक इनपुट टोकन के दस लाख के लिए $10 और आउटपुट टोकन के दस लाख के लिए $50 चार्ज करता है। कैरारो इस बात पर जोर देते हैं कि यद्यपि दस लाख टोकन बड़ी संख्या लगती है, प्रोग्रामिंग समस्या के लिए, यह जटिलता के आधार पर केवल कुछ प्रॉम्प्ट में खर्च किया जा सकता है। वह जोड़ते हैं कि उपयोग किए जाने वाले अधिकांश कोडबेस के लिए, यह मात्रा अधिक नहीं है, लेकिन आउटपुट लागत तेजी से बढ़ सकती है।