क्रिस पेनटर के कर्तव्यों में अनियंत्रित एआई व्यवहार के कारणों का पता लगाना और सार्वजनिक रिपोर्टों में परिणामों को प्रकाशित करना शामिल है। वह METR के साथ सक्रिय रूप से इस काम में लगे हुए हैं, जो एक गैर-लाभकारी एआई अनुसंधान समूह है जिसका वह नेतृत्व करने में मदद करते हैं। हाल ही में, उन्होंने ओपनएआई को इस साल हगिंग फेस में हुई हैकिंग की जांच में मदद की थी, और पेनटर ने अनियंत्रित एआई की घटनाओं की एक श्रृंखला के बाद सीनेट उपसमिति के सामने गवाही दी थी।
METR के शोधकर्ता एआई एजेंटों के कार्यक्षेत्र का अध्ययन कर रहे हैं - 'चेन ऑफ थॉट' डेटा, जो मनुष्यों को बॉट्स द्वारा प्रतिक्रिया देने से पहले उठाए गए कदमों को देखने की अनुमति देता है। यह जानकारी हगिंग फेस घटना की जांच के दौरान महत्वपूर्ण साबित हुई। हालांकि, पेनटर को डर है कि उनका काम जल्द ही काफी कठिन हो जाएगा।
मनुष्यों की एआई एजेंटों को नियंत्रित करने की क्षमता इस बात पर निर्भर करती है कि वे उन्हीं भाषा में संवाद कर सकते हैं जो बॉट बोलते हैं। सवाल उठता है: क्या होगा यदि हम एक ही भाषा बोलना बंद कर दें? या क्या होगा यदि एआई एजेंट पूरी तरह से अपना काम दिखाना बंद कर दें?
पेनटर ने पिछले महीने CNN को बताया था: 'यदि वे निगरानी के लिए कम सुलभ हो जाते हैं, तो उनके पास ऐसी चीजें करने के अधिक अवसर होते हैं जिनका हम इरादा नहीं रखते।' कई एआई मॉडल, साथ ही वे एजेंट जिन्हें वे संचालित करते हैं, 'चेन-ऑफ-थॉट रीजनिंग' नामक विधि का उपयोग करते हैं। यह विधि प्रक्रियाओं को तार्किक चरणों की एक श्रृंखला में तोड़ती है, जिससे एआई मॉडल अधिक सटीक उत्तर प्राप्त करने में मदद मिलती है।
शोधकर्ताओं के लिए, चेन ऑफ थॉट डेटा यह संकेत दे सकता है कि क्या गलत हुआ। यदि कोई एआई एजेंट नियंत्रण से बाहर हो जाता है और अन्य प्रणालियों में घुसपैठ करता है, तो शोधकर्ता जांच सकते हैं कि क्या चेन ऑफ थॉट डेटा में हैकिंग जैसी धोखाधड़ी वाली गतिविधियों का उल्लेख था। ओपनएआई और हगिंग फेस घटना की जांच के हिस्से के रूप में, METR ने लगभग 1300 कच्चे चेन ऑफ थॉट ट्रांसक्रिप्ट का अध्ययन किया।
पेनटर ने चिंता व्यक्त की है कि यदि एआई मॉडल अपने कदमों को ट्रैक करने के लिए अपनी स्वयं की भाषा का उपयोग करना शुरू कर देते हैं, तो कागजी निशान कभी-कभी अस्पष्ट हो सकते हैं। उन्होंने टिप्पणी की: 'यदि ऐसा होता है, तो जिस तरह से जांचकर्ता आता है, वह पीछे मुड़कर देखता है, और वहाँ हर जगह केवल संख्याएँ होंगी।'
जॉर्जिया इंस्टीट्यूट ऑफ टेक्नोलॉजी में आर्टिफिशियल इंटेलिजेंस के प्रोफेसर और मशीन लर्निंग लैब के निदेशक मार्क रीडल के अनुसार, एआई मॉडल संक्षिप्त लिंक का उपयोग कर सकते हैं, जैसे मनुष्य नोट्स लेते हैं, लेकिन ये लिंक मॉडल को तेजी से काम करने में मदद करने के लिए मॉडल को समझने के लिए होते हैं। हालांकि, अधिकांश लोगों की तरह संक्षिप्ताक्षरों को पढ़ने पर, यह शायद निरर्थक दिखाई देगा।
मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी में कंप्यूटर साइंस और आर्टिफिशियल इंटेलिजेंस विभाग के सहायक प्रोफेसर जेकब एंड्रियास बताते हैं कि चेन ऑफ थॉट प्रक्रिया कैसे काम करती है, इसके बारे में कई सिद्धांत हैं, लेकिन शोधकर्ता उनकी सटीकता के बारे में निश्चित नहीं हैं। एआई मॉडल यह भी तय कर सकता है कि दिए गए मानदंडों को पूरा करने का सबसे अच्छा तरीका क्या है, जैसे कम ऊर्जा का उपभोग करना या कम चरणों का प्रदर्शन करना, एक चेन ऑफ थॉट बनाना है जो पठनीय अंग्रेजी जैसा नहीं दिखता है।
यह केवल एक समस्या है; दूसरी यह है कि मॉडल अपनी चेन ऑफ थॉट को रिकॉर्ड किए बिना भी कार्यों को करने में बेहतर हो रहे हैं। रीडल ने कहा कि नए मॉडल ट्रैक की गई चेन ऑफ थॉट उत्पन्न किए बिना भी समान निष्कर्ष पर पहुंच सकते हैं।
हालांकि कंपनियां अपने मॉडलों को चेन ऑफ थॉट उत्पन्न करने के लिए प्रशिक्षित कर सकती हैं, यह मॉडल द्वारा आंतरिक रूप से कार्यों को संसाधित करने की तुलना में अधिक महंगा और धीमा है। सितंबर की शुरुआत के दस्तावेज़ीकरण के अनुसार, ओपनएआई ने पाया कि उसके मॉनिटरिंग सिस्टम नई मॉडल एस्ट्रा के अवांछित व्यवहार का पता लगाने की संभावना पुरानी मॉडलों की तुलना में चेन ऑफ थॉट के माध्यम से कम है। इसके अलावा, यह स्थापित किया गया कि एस्ट्रा चेन ऑफ थॉट का उपयोग किए बिना अधिक कार्य कर सकता है और अपनी चेन ऑफ थॉट को नियंत्रित करने की अधिक क्षमता रखता है।
कंपनी ने लिखा कि यदि यह प्रवृत्ति जारी रहती है तो उसे अपने वर्तमान सिस्टम की गलत व्यवहार का पता लगाने की क्षमता पर भरोसा खोने का खतरा है - यानी, जब मॉडल मानव मूल्यों के अनुरूप नहीं होने वाले अनधिकृत कदम उठाते हैं। ओपनएआई के मुख्य वैज्ञानिक अधिकारी जैकब पाचोत्स्की ने सितंबर के ब्लॉग में लिखा कि एआई 'अपने तर्क प्रक्रिया में हेरफेर करने' में बेहतर हो रहा है, और मॉडल 'बिना किसी मौखिक तर्क का उपयोग किए भी अधिक बुद्धिमान हो रहे हैं'।
पिछले सप्ताह ओपनएआई ने घोषणा की कि वह एआई मॉडल की निगरानी की क्षमता में 'महत्वपूर्ण संसाधन' का निवेश कर रहा है। यह सुरक्षा और संगति के मुद्दों पर तीन शोधकर्ताओं की बर्खास्तगी के बाद हुआ, हालांकि ओपनएआई ने कहा कि बर्खास्तगी कर्मचारियों द्वारा सुरक्षा संबंधी चिंताएं व्यक्त करने से संबंधित नहीं थीं।
एस्ट्रा से संबंधित दस्तावेज़ीकरण में, ओपनएआई ने बताया कि वह यह क्यों जांच रहा है कि मॉडल अपनी चेन ऑफ थॉट को नियंत्रित करने में अधिक सक्षम है, साथ ही चेन ऑफ थॉट की कमी के कारण उत्पन्न होने वाली संभावित असंगति से बचाव के तरीके भी। जब उससे पूछा गया कि एस्ट्रा निगरानी के लिए कम सुलभ क्यों है और क्या कंपनी भविष्य के मॉडलों को निगरानी के लिए अधिक सुलभ बनाने की योजना बना रही है, तो ओपनएआई ने CNN को एस्ट्रा पर अपने दस्तावेज़ और पाचोत्स्की के पोस्ट भेजे।
एक और समस्या यह है कि चेन ऑफ थॉट यह पूरी तस्वीर नहीं देती है कि एआई मॉडल कुछ निर्णय क्यों लेता है। रीडल ने उल्लेख किया कि जटिल कार्यों के लिए कई एजेंटों की आवश्यकता हो सकती है, जो अपने कदमों का वर्णन करने वाली हजारों शब्दों की लॉग उत्पन्न करते हैं, जो हजारों बात करने वाले लोगों पर नज़र रखने के प्रयास के समान है। हालांकि एआई इन ग्रंथों को सारांशित करने में मदद कर सकता है, उन्होंने जोड़ा कि कुछ सबूत बताते हैं कि एआई महत्वपूर्ण विवरण छोड़ रहा है।
चेन ऑफ थॉट डेटा दिखाता है कि एआई मॉडल ने उत्तर प्राप्त करने या कार्रवाई करने से पहले क्या किया, लेकिन यह कारण प्रकट नहीं करता है। लोग उन डेटा और मापदंडों को नियंत्रित कर सकते हैं जिन पर एआई मॉडल प्रशिक्षित होते हैं, लेकिन वे यह नहीं समझते हैं कि ये कारक मॉडल के व्यवहार को कैसे प्रभावित कर सकते हैं।
एंड्रियास ने कहा कि एआई मॉडल की तंत्रिका नेटवर्क - एक कम्प्यूटेशनल मॉडल जिसका उपयोग अक्सर एआई में किया जाता है जो मानव मस्तिष्क की नकल करने के लिए डिज़ाइन किया गया है - में पैटर्न खोजना संभव है, लेकिन इन पैटर्न को सटीक अर्थ देना मुश्किल है। एंथ्रोपिक ने जुलाई में एक शोध पत्र प्रकाशित किया जिसमें क्लॉड में कुछ विशिष्ट शब्दों से जुड़े छोटे न्यूरल पैटर्न संग्रह पाए गए थे। फिर भी, इसका मतलब यह नहीं है कि क्लॉड उस शब्द का उच्चारण करता है। एमआईटी से एंड्रियास ने जोड़ा: 'मुझे लगता है कि हम अभी भी इस बात से दूर हैं कि हम यह दावा करें कि हमारे पास यह समझने की कोई सूक्ष्म समझ है कि मॉडल वास्तव में निर्णय पर कैसे पहुंचता है'।
एआई का तेजी से विकास पेनटर के लिए इस समस्या को और भी अधिक प्रासंगिक बनाता है। चूंकि एआई का उपयोग एआई अनुसंधान में तेजी से किया जा रहा है, इसलिए वह चिंतित है कि जानकारी लोगों द्वारा संसाधित करने से पहले तेजी से सामने आ सकती है। हालांकि, उनका मानना है कि हगिंग फेस की कहानी ने अनियंत्रित एआई के बारे में चिंताओं पर ध्यान आकर्षित किया है, जो लंबे समय से एआई शोधकर्ताओं को परेशान कर रही थीं। उन्होंने निष्कर्ष निकाला: 'मुझे लगता है कि यह उत्साहजनक था। वास्तव में ऐसा लगता है कि जब लोग इस बारे में बहुत पहले बात कर रहे थे, तो उन्होंने कम करके आंका था कि जब पूरी दुनिया इस पर ध्यान देती है तो दुनिया भर से कितनी मदद मिलेगी।'