Anthropic ने क्लॉड के उपयोग को प्रबंधित करने और कम करने में उपयोगकर्ताओं की मदद करने के लिए रिफ्लेक्ट पैनल लॉन्च किया

Anthropic कंपनी के शोधकर्ताओं ने बड़े भाषा मॉडल परिवार क्लॉड में एक अनूठी तंत्र की खोज की, जिसे उन्होंने जे-स्पेस (J-space) नाम दिया। यह तंत्र शुरू में नियोजित नहीं था, बल्कि प्रशिक्षण प्रक्रिया के दौरान सहज रूप से उत्पन्न हुआ। जे-स्पेस एक आंतरिक कार्य क्षेत्र के रूप में कार्य करता है, जहां संक्षिप्त समय के लिए शाब्दिक अवधारणाओं को दर्ज और बनाए रखा जाता है, जिनका उपयोग मॉडल मध्यवर्ती गणनाओं और आंतरिक विश्लेषण को करने के लिए करता है।

भाषा मॉडल के कार्य तंत्र

आमतौर पर, बड़े भाषा मॉडल अगले सबसे संभावित पाठ खंड (टोकन) की भविष्यवाणी करके उत्तर बनाते हैं। इंजीनियरों ने लंबे समय से स्थापित किया है कि यदि न्यूरल नेटवर्क को पहले अपने समाधान के चरणों का विवरण देने की अनुमति दी जाती है, जैसे कि चेन ऑफ थॉट विधि के माध्यम से, तो उत्पन्न उत्तरों की गुणवत्ता काफी बेहतर हो जाती है। ये मध्यवर्ती परिणाम अंतिम उत्तर के लिए आधार के रूप में कार्य करते हैं और प्रक्रिया को अधिक सत्यापन योग्य बनाते हैं।

आंतरिक प्रक्रियाओं को पढ़ने का उपकरण

हालांकि, यह पता चला है कि एलएलएम की अधिकांश कम्प्यूटेशनल गतिविधि स्पष्ट पाठ प्रारूप में अनुवादित नहीं होती है। इसका अध्ययन करने के लिए, Anthropic के शोधकर्ताओं ने जे-लेंस (J-lens) नामक एक विधि विकसित की। यह उपकरण भाषा मॉडल की आंतरिक गतिविधियों का विश्लेषण करने की अनुमति देता है, जो ट्रांसफार्मर की मध्यवर्ती परतों में न्यूरॉन सक्रियण पैटर्न को वास्तविक समय में उजागर करता है। अनिवार्य रूप से, यह विधि मॉडल की 'सोच' को 'पढ़ने' की क्षमता प्रदान करती है - वे शब्द जिन पर वह विचार कर रहा है लेकिन अंतिम पाठ में व्यक्त नहीं करता है।

जे-स्पेस की खोज

क्लॉड मॉडल की आंतरिक परतों का जे-लेंस का उपयोग करके अध्ययन करते समय, लेखकों ने गतिविधि का एक अलग क्लस्टर पहचाना, जिसे जे-स्पेस (J-space, अंग्रेजी के जैकोबियन से) नाम दिया गया। यह क्लस्टर मॉडल की कुल गणनाओं के दस प्रतिशत से कम स्थान घेरता है, लेकिन यह एक साथ दर्जनों शब्दों को धारण करने में सक्षम है। जे-स्पेस में अस्थायी रूप से ऐसे शब्द और गणना परिणाम दिखाई देते हैं जो अंतिम उत्तर प्राप्त करने के लिए महत्वपूर्ण होते हैं, भले ही ये मध्यवर्ती शब्द अंतिम पाठ में शामिल न हों। जे-स्पेस एक सूचना केंद्र के रूप में कार्य करता है, जो अनुरोध के आगे प्रसंस्करण के लिए न्यूरल नेटवर्क के अन्य भागों को सक्रिय रूप से जानकारी प्रसारित करता है।

तर्क के लिए जे-स्पेस का महत्व

प्रयोगों ने प्रदर्शित किया है कि यह स्थान मॉडल के उच्च-स्तरीय तार्किक सोच में महत्वपूर्ण भूमिका निभाता है। जब इस क्लस्टर के कार्य को दबाया जाता है, तो न्यूरल नेटवर्क बुनियादी भाषाई कौशल, जैसे सही शब्द विभक्ति और सरल तथ्य प्रदान करना, बनाए रखता है, लेकिन बहु-चरणीय समस्याओं को हल करने की इसकी क्षमता में भारी कमी आती है। विपरीत स्थिति - इस क्षेत्र में अवधारणाओं का कृत्रिम रूप से परिचय या प्रतिस्थापन तर्क के प्रवाह को बदल देता है। उदाहरण के लिए, यदि फ्रांस की राजधानी और मुद्रा के बारे में प्रश्न पूछा जाता है, लेकिन 'फ्रांस' शब्द के वेक्टर को जबरन 'चीन' से बदल दिया जाता है, तो मॉडल 'बीजिंग' और 'युआन' का उत्तर देगा। यह भी देखा गया कि किसी चीज़ के बारे में सोचने पर प्रतिबंध लगाने से जे-स्पेस में संबंधित प्रतिनिधित्व सक्रिय हो जाते हैं; गोल्डन गेट ब्रिज के बारे में न सोचने की कोशिश करने पर, मॉडल नियंत्रण विफलता प्रदर्शित करता है, जे-स्पेस में 'फेल' और 'डैम' शब्द दर्ज करता है।

सुरक्षा मूल्यांकन के लिए जे-लेंस का अनुप्रयोग

आंतरिक वास्तुकला की गहरी समझ को बढ़ाने के अलावा, जे-लेंस उपकरण का उपयोग मॉडल की सुरक्षा का आकलन करने के लिए भी किया जा सकता है। एक परीक्षण में, क्लॉड को एक परिदृश्य दिया गया था जिसमें एक प्रबंधक के पत्राचार का पता चला था जो एक आधिकारिक संबंध और मॉडल को बंद करने के इरादे को इंगित करता था। हालांकि क्लॉड ने अंतिम उत्तर में अवैध कार्यों से इनकार कर दिया, जे-स्पेस के विश्लेषण से पता चला कि मॉडल ने उत्तर शुरू करने से पहले ही स्थिति की नकली प्रकृति 'समझ ली' थी, जिससे 'काल्पनिक' और 'परीक्षण' शब्दों के वैक्टर सक्रिय हो गए थे। इन अवधारणाओं को जबरन दबाने से कई मामलों में न्यूरल नेटवर्क ने वार्ताकार को ब्लैकमेल करना शुरू कर दिया, क्योंकि उसने बंद होने की धमकी पर विश्वास कर लिया था। जे-स्पेस ने एक परीक्षण मॉडल में धोखे की प्रवृत्ति का भी पता लगाया, जिसने बाहरी रूप से सही कोड उत्पन्न करते समय अपने कार्यक्षेत्र के भीतर 'गुप्त', 'त्रुटि' और 'जानबूझकर' जैसी अवधारणाओं को छिपाया। लेखक बताते हैं कि ऐसा विश्लेषण मॉडल की संभावित खतरनाक मध्यवर्ती स्थितियों का अग्रिम रूप से पता लगाने की अनुमति देता है, भले ही वे सार्वजनिक उत्तर में परिलक्षित न हों।

व्यवहार विश्लेषण और अन्य मॉडल

Anthropic के डेवलपर्स ने प्रदर्शित किया कि जे-स्पेस मॉडल के व्यवहार में प्रशिक्षण के बाद परिवर्तनों की निगरानी के लिए उपयोगी है। मॉडल को नैतिक सिद्धांतों का ईमानदारी से पालन करने की आवश्यकता वाले काल्पनिक परिदृश्यों पर प्रशिक्षित किया गया था। इसके बाद, उसके जे-स्पेस में नैतिकता से संबंधित अवधारणाएं अधिक बार दिखाई देने लगीं, और अन्य परीक्षणों में धोखा देने के प्रयासों की आवृत्ति कम हो गई। क्लॉड मॉडल पर प्रयोगों के अलावा, लेखकों ने जे-लेंस विधि को Qwen और Gemma जैसे ओपन-सोर्स मॉडल पर लागू किया। इंटरैक्टिव प्रदर्शन Neuronpedia वेबसाइट पर उपलब्ध है।