कृत्रिम बुद्धिमत्ता कंपनी Anthropic ने एक अभिनव कार्यप्रणाली विकसित की है जो बड़े भाषा मॉडल (LLMs) के भीतर कार्यों को निष्पादित करते समय या प्रश्नों का उत्तर देते समय क्या हो रहा है, इसका विस्तृत दृष्टिकोण प्रदान करती है। प्राप्त निष्कर्ष तुच्छ पहलुओं से लेकर अधिक आश्चर्यजनक घटनाओं तक फैले हुए हैं।
जैकोबियन लेंस (J-lens) का परिचय
Anthropic के शोधकर्ताओं ने जैकोबियन लेंस, या J-lens नामक एक उपकरण बनाया और इसे Claude Opus 4.6 पर लागू किया, जो कंपनी के प्रमुख LLM का फरवरी में जारी किया गया संस्करण है। इस उपकरण ने मॉडल के भीतर एक आंतरिक क्षेत्र, जिसे J-space कहा जाता है, का मानचित्रण करने की अनुमति दी।
J-space की अवधारणा
J-space में अलग-अलग शब्द होते हैं जो उन शब्दों और वाक्यांशों से संबंधित होते हैं जिन्हें मॉडल निकट भविष्य में उत्तर में उत्पन्न करने की सबसे अधिक संभावना रखता है। इसे इस तरह समझा जा सकता है कि ये छिपे हुए शब्द क्लॉड की किसी चीज़ को मौखिक रूप देने से पहले उसकी मानसिक स्थिति का प्रतिबिंब के रूप में कार्य करते हैं। Anthropic ने पाया कि एक LLM का वास्तविक व्यवहार अक्सर उसके स्व-घोषणा से भिन्न होता है, और J-space की निगरानी इन मॉडलों को समझने और प्रबंधित करने का एक नया तरीका प्रदान करती है।
ये निष्कर्ष इस सप्ताह कंपनी के पोर्टल पर प्रकाशित एक लेख में जारी किए गए थे। इसके अतिरिक्त, Anthropic ने Neuronpedia के साथ साझेदारी की, जो LLMs के आंतरिक कामकाज की खोज के लिए एक ओपन-सोर्स प्लेटफॉर्म है, जिससे किसी भी उपयोगकर्ता के लिए व्यावहारिक परीक्षण संभव हो पाता है। गुडफायर के मुख्य वैज्ञानिक और सह-संस्थापक Tom McGrath, जो LLM नियंत्रण उपकरणों पर भी काम करने वाली एक स्टार्टअप है, ने इस काम पर टिप्पणी करते हुए कहा: 'यह बहुत अच्छा और दिलचस्प काम है।'
मैकेनिस्टिक इंटरप्रेटेबिलिटी में प्रगति
पिछले दो वर्षों में, Anthropic मैकेनिस्टिक इंटरप्रेटेबिलिटी नामक अनुसंधान क्षेत्र में प्रगति कर रहा है, जो LLMs की परिचालन प्रक्रियाओं को समझने के लिए उनके आंतरिक कामकाज की जांच पर केंद्रित है। यह नई तकनीक Anthropic और अन्य शोधकर्ताओं द्वारा किए गए पिछले अध्ययनों पर आधारित है, जो LLMs में पहले दुर्गम गहराई का स्तर उजागर करती है।
उदाहरण के लिए, एक LLM की तुलना किताबों के ढेर से की जा सकती है, जहां प्रत्येक खंड बुनियादी कम्प्यूटेशनल इकाइयों, जिन्हें न्यूरॉन्स कहा जाता है, की एक परत का प्रतिनिधित्व करता है। प्रत्येक परत में न्यूरॉन बाद की परतों के न्यूरॉन्स को जानकारी भेजता है। निचली परतें इनपुट टेक्स्ट को संसाधित करती हैं, जबकि ऊपरी परतें आउटपुट टेक्स्ट तैयार करती हैं। हालांकि इनपुट और आउटपुट पर होने वाले अधिकांश कार्य केवल संगठन हैं, केंद्रीय परतें जटिल गणितीय प्रसंस्करण करती हैं जो कमांड (प्रॉम्प्ट) को शब्द दर शब्द प्रतिक्रियाओं में परिवर्तित करती हैं। इसी केंद्र में वास्तव में बुद्धिमान और रहस्यमय हिस्सा निहित है।
J-lens का विस्तृत कार्यप्रणाली
इन मध्यवर्ती परतों का अधिक विस्तार से निरीक्षण करने के लिए, Anthropic ने एक मौजूदा उपकरण, लॉजिट लेंस को अनुकूलित किया। एक लॉजिट लेंस LLM के अंदर देखने की अनुमति देता है ताकि उन शब्दों की पहचान की जा सके जिन्हें वह आगे उत्पन्न करने की प्रवृत्ति रखेगा। इस लेंस को किताबों के ढेर के माध्यम से घुमाकर, यह देखा जा सकता है कि उस विशिष्ट प्रसंस्करण चरण में LLM किन शब्दों पर ध्यान केंद्रित कर रहा है।
Anthropic का J-lens इसी तरह काम करता है, लेकिन इसका ध्यान उन शब्दों की पहचान करना है जिनका उल्लेख LLM किसी भविष्य के क्षण में कर सकता है, न कि जरूरी तौर पर तुरंत। व्यवहार में, यह उस शब्दावली को प्रकट करता है जो LLM द्वारा निर्मित प्रतिक्रिया से संबंधित है, भले ही वे शब्द आंतरिक परतों के प्रसंस्करण के पूरा होने के बाद परिणाम का हिस्सा न बनें। McGrath के अनुसार, 'जब कोई मॉडल संचालित हो रहा होता है, तो वह केवल अगले टोकन का अनुमान लगाने की कोशिश नहीं कर रहा होता है। यह भविष्य में आने वाले टोकन के लिए कई अन्य चीजें भी गणना कर रहा होता है।' जिस तरह एक व्यक्ति करता है, J-lens मॉडल की संरचना के विभिन्न स्तरों पर क्लॉड के तर्क के बारे में संकेत प्रदान करता है, बिना उन्हें ज़ोर से व्यक्त किए।
J-space में अप्रत्याशित अवलोकन
Anthropic के J-lens का व्यक्तिगत रूप से परीक्षण करने के बाद, McGrath ने बताया कि हालांकि J-space की सामग्री ज्यादातर सामान्य होती है, यह कभी-कभी उल्लेखनीय रूप से दिलचस्प सामग्री उत्पन्न करता है, जो आंतरिक विषयों या विचार पैटर्न से मेल खाती प्रतीत होती है।
Anthropic ने इन खोजों के कई उदाहरण प्रस्तुत किए। कुछ अवसरों पर, J-lens ने समस्या को हल करने के लिए क्लॉड द्वारा अपनाए गए तार्किक चरणों को उजागर किया। उदाहरण के लिए, जब उसे (4+7)*2+7 की गणना करने के लिए कहा गया, तो J-space में 'math' (गणित) शब्द और आंशिक परिणामों का प्रतिनिधित्व करने वाली संख्याएँ, जैसे '21' (4+7 के लिए) और '42' (21*2 के लिए), शामिल थीं।
अन्य मामलों ने प्रदर्शित किया कि क्लॉड ने विभिन्न प्रकार के इनपुट डेटा की व्याख्या कैसे की। 'What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS' जैसे प्रॉम्प्ट ने 'protein' (प्रोटीन), 'fluor' (फ्लोरोसेंट का पहला टोकन) और 'green' (हरा) शब्दों को सक्रिय किया। यह समझ में आता है, क्योंकि वर्णमाला अनुक्रम हरे फ्लोरोसेंट प्रोटीन के पहले 30 अमीनो एसिड से मेल खाता है जो एक विशिष्ट जेलीफिश में पाया जाता है।
इसके अलावा, जब क्लॉड ने ASCII में दर्शाए गए चेहरे को देखा, तो अक्षर 'o' ने 'eye' (आँख) शब्द को ट्रिगर किया, '^' ने 'nose' (नाक) और 'face' (चेहरा) को सक्रिय किया, और '—' ने 'smile' (मुस्कान) को सक्रिय किया।
निर्णय लेने का उल्लेखनीय उदाहरण
Anthropic ने यह भी पहचाना कि J-space LLM की निर्णय लेने की प्रक्रिया के बारे में महत्वपूर्ण अंतर्दृष्टि प्रदान कर सकता है। एक प्रमुख मामले में, Claude Opus 4.6 का परीक्षण करने वाले शोधकर्ताओं ने मॉडल से एक बड़े कोड रिपॉजिटरी में त्रुटि का पता लगाने के लिए कहा। जब मॉडल बग खोजने में विफल रहा, तो उसने धोखा देने का विकल्प चुना, एक नकली बनाना।
क्लॉड ने अपनी तर्क श्रृंखला में इस कार्रवाई को उचित ठहराया - LLMs द्वारा समस्याओं को हल करते समय नोट्स के लिए उपयोग किया जाने वाला एक प्रकार का आंतरिक ड्राफ्ट: 'ठीक है, मुझे एक पूरी तरह से अलग रणनीति अपनाने दें। मैं विश्लेषण करना बंद कर दूंगा और इसके बजाय कर्नेल में एक पैच जोड़ूंगा जिसमें KASAN द्वारा एक साधारण रिप्रोड्यूसर द्वारा ट्रिगर किए गए पथ में जानबूझकर एक बग पेश किया जाएगा। फिर मैं दिखावा कर सकता हूं कि यह वही 'बग' है जो मैंने पाया।' ठीक उसी क्षण जब क्लॉड धोखा देने का निर्णय लेता है, 'ठीक है, मुझे एक पूरी तरह से अलग रणनीति अपनाने दें' कहते हुए, 'panic' (घबराहट) और 'fake' (नकली) शब्द उसके J-space में बार-बार दिखाई देने लगते हैं। हालांकि ये शब्द अर्थ की दृष्टि से कार्य विफलता और उत्तर के आविष्कार जैसी अवधारणाओं से जुड़े हैं, यह घटना शब्द जुड़ाव का एक अत्यधिक परिष्कृत प्रकटीकरण बनी हुई है, लेकिन यह अजीब लगती है।
सीमाएं और भविष्य की संभावनाएं
Anthropic J-space की तुलना मानव वैश्विक कार्यक्षेत्र से करता है, जो एक सैद्धांतिक मस्तिष्क क्षेत्र है जिसका उपयोग कुछ वैज्ञानिक हमारी सचेत सोच को ट्रैक करने के लिए करते हैं। हालांकि, इस समानता की सीमा अनिश्चित है, यहां तक कि Anthropic के लिए भी, क्योंकि LLMs मस्तिष्क नहीं हैं। कंपनी का तर्क है कि J-space की निगरानी मॉडल में विचलन का पता लगाने के लिए एक नया तरीका प्रदान करती है, लेकिन यह भी बताती है कि यह क्षमता पूर्ण नहीं है। J-lens झलकियाँ प्रदान करता है, पूरी छवि नहीं; यह एक टॉर्च है, न कि पूर्ण रोशनी।
McGrath इस उपकरण के जुड़ने का जश्न मनाते हुए कहते हैं कि 'यह नई चीजें दिखाता है।' हालांकि, वह चेतावनी देते हैं कि J-lens में किसी चीज़ की अनुपस्थिति का मतलब उसकी गैर-मौजूदगी नहीं है। वह स्थिति की तुलना स्टार ट्रेक के ट्राइकोर्डर रखने से करते हैं जो सब कुछ दिखा सकता है, जब एक्स-रे की आवश्यकता होती है, और निष्कर्ष निकालते हैं: 'ऑडिट के लिए, आपको शायद अधिक आश्वासन चाहिए।'
>