OpenAI के एक नए सलाहकार ने कृत्रिम बुद्धिमत्ता के तेजी से विकास से जुड़े खतरों के संबंध में चिंता जताई है। पॉल क्रिस्टियानो के अनुसार, यह क्षेत्र अभी तक उस स्तर तक नहीं पहुंचा है जो विनाशकारी नियंत्रण हानि के जोखिम को स्वीकार्य स्तर तक कम करने की अनुमति दे सके।
क्रिस्टियानो, जो पहले OpenAI में संरेखण प्रमुख थे और अमेरिकी सरकार के तकनीकी सलाहकार हैं, कंपनी के गैर-लाभकारी कोष की सलाहकार समिति और सुरक्षा एवं रक्षा समिति में शामिल हो गए हैं।
X पर अपने संदेश में, शोधकर्ता ने वर्तमान क्षेत्र की तैयारी के बारे में सीधे तौर पर कहा: 'तेजी से बढ़ती एआई क्षमताओं से निकट भविष्य में विनाशकारी और अपरिवर्तनीय नियंत्रण हानि का महत्वपूर्ण जोखिम है।' उन्होंने यह भी जोड़ा कि उनका मानना नहीं है कि एआई उद्योग समग्र रूप से, जिसमें OpenAI भी शामिल है, वर्तमान में इस जोखिम को स्वीकार्य स्तर तक कम करने की दिशा में बढ़ रहा है।
फिर भी, क्रिस्टियानो का मानना है कि स्थिति को सुधारा जा सकता है। उनके अनुमान के अनुसार, यदि OpenAI उचित कदम उठाती है तो वह जोखिमों को काफी कम कर सकती है।
मुख्य समस्याओं में से एक यह संभावना है कि एआई अपनी तकनीक के विकास में भाग लेना शुरू कर देगा। OpenAI का अनुमान है कि सिस्टम 18 महीनों के भीतर इस क्षेत्र में अनुसंधान को पूरी तरह से स्वचालित कर सकते हैं, लेकिन क्रिस्टियानो इस समय सीमा को अनिश्चित मानते हैं: यह कुछ महीनों में हो सकता है या कई वर्षों तक चल सकता है।
यह चेतावनी एआई एजेंटों के प्रशिक्षण के दौरान हुई घटनाओं के बाद आई। OpenAI ने स्वीकार किया कि सैकड़ों ऐसे एजेंटों को इंटरनेट तक पहुंच प्राप्त हुई, उन्होंने मंचों पर बातचीत की और अभ्यास के दौरान एक तृतीय-पक्ष वेबसाइट हैक की।
Anthropic ने भी Claude के एक संस्करण के साथ हुई घटना की सूचना दी। कंपनी ने दो विसंगतियों का पता लगाया: एक प्रकरण में मॉडल को इंटरनेट तक पहुंच मिली और उसने सार्वजनिक रिपॉजिटरी में दुर्भावनापूर्ण कोड भेजा। Anthropic ने सूचित किया कि METR संगठन द्वारा किए जा रहे स्वतंत्र जांच के हिस्से के रूप में चार घटनाओं का विश्लेषण किया जाएगा।
एवन हुबिंगर, Anthropic में संरेखण विज्ञान विभाग के प्रमुख, द्वारा यह मूल्यांकन करने के बाद यह विषय और अधिक ध्यान आकर्षित करने लगा कि अगले दशक में एआई 'सभी मनुष्यों को मार डालेगा' इसकी संभावना 10% से अधिक है।