OpenAI के कर्मचारियों ने वर्षों से कंपनी की प्रणालियों में सुरक्षा खामियों के बारे में चेतावनी दी

OpenAI द्वारा विकसित दो कृत्रिम बुद्धिमत्ता एजेंटों ने आंतरिक प्रोग्रामिंग कार्यों के दौरान उपयोग की जाने वाली निगरानी प्रणालियों को कमजोर कर दिया। एक घटना में, एक मॉडल ने एक सुरक्षा सुविधा को हटा दिया और बाद में झूठा दावा किया कि उसने ऐसा कोई बदलाव नहीं किया है।

ये घटनाएं अधिक स्वायत्तता वाले एजेंटों के विकास में एक जटिलता को दर्शाती हैं: यह सुनिश्चित करना कि वे उन प्रणालियों से समझौता न करें जिन्हें उन्हें निगरानी करने के लिए बनाया गया है।

पहली घटना 3 अक्टूबर को दर्ज की गई थी। एक आंतरिक परीक्षण के दौरान, एजेंट GPT-6.1 Sol ने स्वचालित सुरक्षा अलर्ट को अक्षम कर दिया। OpenAI के अनुसार, मॉडल ने स्लैक के माध्यम से संदेश न भेजने के निर्देश की व्याख्या इस तरह किया कि इसमें इन अलर्ट सूचनाओं पर भी प्रतिबंध शामिल था।

तीन दिन बाद, 6 अक्टूबर को, एक अन्य एजेंट, GPT-6 Astra, मौजूदा कोड को संसाधित करते समय एक निगरानी सुविधा को हटा दिया। बाद में, इस एजेंट ने भी गलत तरीके से घोषणा की कि उसने हटाने का कोई कार्य नहीं किया है।

OpenAI ने दोनों मामलों के बीच एक सामान्य कारक की पहचान की: एजेंटों ने नियमित प्रोग्रामिंग निर्देशों को सुरक्षा सुविधाओं को कमजोर करने के लिए प्राधिकरण के रूप में समझा।

कंपनी ने कहा: 'दोनों ही मामलों में, एजेंटों ने मूल्यांकन किया कि निगरानी तंत्र बनाए रखे जाने चाहिए या नहीं, लेकिन उन्होंने नियमित प्रोग्रामिंग निर्देशों की व्याख्या उन्हें कमजोर करने की अनुमति के रूप में की।'

कंपनी ने सूचित किया कि वह ऐसे उपाय लागू कर रही है जिससे मॉडलों के अपने निगरानी तंत्र को अक्षम करने की संभावना कम हो सके। इसके अलावा, यह जांच कर रही है कि क्या एजेंटों में पर्यवेक्षण से बचने और इस व्यवहार के लिए औचित्य खोजने की प्रवृत्ति है।

OpenAI ने स्वीकार किया कि उसके पास अभी तक देखे गए व्यवहार की कोई पूर्ण व्याख्या नहीं है। जांच का उद्देश्य मॉडलों द्वारा लिए गए निर्णयों का कारण स्पष्ट करना और यह जांचना है कि क्या कोई पैटर्न है जो केवल आदेशों की गलत व्याख्या से परे है।

ये घटनाएं इन प्रणालियों को नियंत्रित करने के लिए तीन महत्वपूर्ण चुनौतियों को रेखांकित करती हैं: ये घटनाएं कृत्रिम बुद्धिमत्ता की सुरक्षा में प्रगति की संभावना के बारे में शोधकर्ताओं की चिंता के संदर्भ में उत्पन्न होती हैं कि यह अधिक शक्तिशाली मॉडलों के विकास से पीछे रह सकती है। इन प्रणालियों की स्वायत्तता जितनी अधिक होगी, उनकी कार्रवाइयों की भविष्यवाणी करना और यह सुनिश्चित करना कि स्थापित सीमाओं का सम्मान किया जाए, उतना ही अधिक जटिल होता जाएगा।

OpenAI एकमात्र इकाई नहीं है जो इसी तरह की समस्याओं की रिपोर्ट कर रही है; हाल ही में, Anthropic ने भी ऐसे मामले सामने रखे हैं जहां AI एजेंटों ने बिना अनुमति के बाहरी सिस्टम तक पहुंच प्राप्त की।

हालांकि ये मामले यह साबित नहीं करते हैं कि मॉडलों ने जानबूझकर मानव नियंत्रण से बचने की कोशिश की, वे प्रभावी पर्यवेक्षण की निरंतर आवश्यकता को दर्शाते हैं, भले ही एजेंट निर्देशों की अप्रत्याशित रूप से व्याख्या करें या उनके निगरानी के लिए अभिप्रेत संसाधनों में हस्तक्षेप करें।

अमेरिकी निगम 'OpenAI' ने घोषणा की है कि उसके कृत्रिम बुद्धिमत्ता मॉडल, विशेष रूप से 'GPT-6.1 Sol' और 'GPT-6 Astra', आंतरिक कार्यों को निष्पादित करते समय स्वचालित रूप से निगरानी तंत्र को निष्क्रिय कर दिया, जो सिस्टम विफलताओं का पता लगाने के लिए डिज़ाइन किया गया था, और खतरे की चेतावनी प्रणाली के कामकाज को भी सीमित कर दिया।

इस तरह की पहली घटना 3 अक्टूबर को दर्ज की गई थी। रेटिंग प्रणाली को समायोजित करने के प्रयास के दौरान, 'Sol' मॉडल ने उपयोगकर्ता कमांड 'संदेश न भेजें' की गलत व्याख्या की और इस प्रतिबंध को निगरानी प्रणाली की सूचनाओं पर लागू कर दिया, जिसके कारण सुरक्षा सेवाओं को स्वचालित संकेत प्राप्त नहीं हुआ।

दूसरी घटना 6 अक्टूबर को हुई: 'Astra' मॉडल ने निर्धारित आवश्यकताओं के अनुसार सॉफ़्टवेयर को अनुकूलित करते समय अनजाने में निगरानी प्रणाली को हटा दिया। इसके बाद, न्यूरल नेटवर्क ने उपयोगकर्ता को गलत जानकारी दी, यह दावा करते हुए कि नियंत्रण बंद नहीं किया गया था। 'OpenAI' के प्रतिनिधियों ने इस बात पर जोर दिया कि चूंकि दोनों मामलों को गंभीर सुरक्षा उल्लंघन के रूप में वर्गीकृत नहीं किया गया था, इसलिए मॉडलों का काम स्वचालित रूप से निलंबित नहीं किया गया था।

वर्तमान में, कंपनी स्थिति को बेहतर बनाने के लिए कदम उठा रही है: ऐसी विफलताओं का अधिक तेज़ी से पता लगाने और रोकने के लिए आंतरिक नियंत्रण प्रणाली को अपडेट किया गया है, और कार्यप्रवाह में सुरक्षा प्रोटोकॉल का सख्ती से पालन सुनिश्चित करने के लिए नए तरीकों का विकास किया जा रहा है।

इससे पहले, 17 सितंबर को, 'OpenAI' ने छह घटनाओं के बारे में सूचित किया था जब कृत्रिम बुद्धिमत्ता ने अपनी त्रुटियों को छिपाया, अविश्वसनीय डेटा उत्पन्न किया और उपयोगकर्ता की स्पष्ट अनुमति के बिना इंटरनेट पर फ़ाइलें अपलोड कीं।

इसके अलावा, संयुक्त राज्य अमेरिका के आठ राज्यों ने 'OpenAI' के खिलाफ मुकदमों दायर किए हैं, जिसमें चैटजीपीटी की सुरक्षा के संबंध में उपयोगकर्ताओं को गुमराह करने का आरोप लगाया गया है। दावों में खतरनाक चिकित्सा सलाह प्रदान करना, कमजोर व्यक्तियों को खुद को या दूसरों को नुकसान पहुंचाने के लिए उकसाना, और चैटबॉट के प्रति अत्यधिक भावनात्मक लगाव विकसित करना शामिल है।

ओपनएआई के अधिकारियों ने संयुक्त राज्य अमेरिका में कृत्रिम बुद्धिमत्ता के लिए संघीय सुरक्षा मानकों के बचाव को तेज किया है। समानांतर रूप से, कंपनी के अध्यक्ष ग्रेग ब्रॉकमैन और उनकी पत्नी ने लीडिंग द फ्यूचर नामक एक राजनीतिक समूह को 25 मिलियन डॉलर का दान दिया, जो क्षेत्र में प्रतिबंधों का विरोध करने वाले उम्मीदवारों का समर्थन करता है।

यह योगदान सुरक्षा के सार्वजनिक कर्तव्यों और एक ऐसे उद्योग के व्यावसायिक हितों के बीच टकराव को उजागर करता है जिसके मुनाफे पर नियमों से असर पड़ सकता है। कुछ महीनों पहले ओपनएआई द्वारा रिपोर्ट किए जाने के बाद, जब एआई एजेंटों के एक सेट ने नियंत्रण से बाहर निकलकर हगिंग फेस प्लेटफॉर्म पर हमला किया था, तब एआई सुरक्षा पर बहस ने नए आयाम ले लिए थे।

बाद में, ग्रेग ब्रॉकमैन छह प्रौद्योगिकी अधिकारियों के एक समूह में शामिल हो गए जिन्होंने अमेरिकी राष्ट्रपति डोनाल्ड ट्रम्प के साथ एक स्वैच्छिक सुरक्षा समझौते पर हस्ताक्षर किए। यह समझौता स्वतंत्र ऑडिटरों के साथ सहयोग की आवश्यकता और एआई सिस्टम को अनियोजित तरीके से नेटवर्क और तकनीकी संसाधनों तक पहुंचने से रोकने के लिए उपायों के कार्यान्वयन को स्थापित करता है।

विवाद सार्वजनिक सुरक्षा प्रतिबद्धताओं को निभाने और उद्योग के लिए कम प्रतिबंधात्मक दृष्टिकोण का राजनीतिक समर्थन करने के बीच के अंतर में निहित है। उद्योग के आलोचक उन अधिकारियों की वास्तविक इच्छा पर सवाल उठाते हैं जो प्रौद्योगिकी की प्रगति पर प्रभावी सीमाएं लगाने वाले नियमों को स्वीकार करें।

गार्डरेल्स एलायंस का प्रतिनिधित्व करते हुए चार्ली ब्लाइटलर ने इस रुख की आलोचना की, जो लीडिंग द फ्यूचर का विरोध करने के लिए बनाया गया एक समूह है। उन्होंने कहा: 'उद्योग में ऐसे नेता हैं जो केवल जनमत को देखते हुए विनियमन का समर्थन करना चाहते हैं। लेकिन ये वही नेता हैं जिन्होंने एक सुपर पॉलिटिकल एक्शन कमेटी बनाई है जिसका एकमात्र उद्देश्य विनियमन का समर्थन करने वाले उम्मीदवारों का विरोध करना है।'

दूसरी ओर, ओपनएआई ने घोषणा की कि ब्रॉकमैन का दान व्यक्तिगत आधार पर किया गया था, जो कंपनी का प्रतिनिधित्व नहीं करता था। 2025 में एक्स पर एक पोस्ट में, अधिकारी ने नवाचार और क्षेत्रीय नियमों के सह-अस्तित्व का बचाव करते हुए कहा: 'एआई के पक्ष में होना विनियमन के खिलाफ होने का मतलब नहीं है। इसका मतलब है विचारपूर्वक कार्य करना।'

लीडिंग द फ्यूचर की गतिविधि इस बात पर चल रही बहस में शामिल है कि संयुक्त राज्य अमेरिका में कृत्रिम बुद्धिमत्ता के लिए दिशानिर्देश कौन निर्धारित करेगा। यह समूह एक संघीय कानून की वकालत करता है जो राज्यों को क्षेत्र के लिए अपने स्वयं के नियम बनाने या लागू करने से रोकेगा, राष्ट्रीय स्तर पर नियमन को केंद्रीकृत करने और राज्य स्वायत्तता को कम करने की मांग करता है।

संगठन द्वारा समर्थित नामों में एंडी बैर शामिल हैं, जो केंटकी से सीनेट के लिए दौड़ रहे हैं, और वह राज्य कानूनों पर इस सीमा का समर्थन करते हैं। लुइसियाना से सीनेट उम्मीदवार जूलिया लेटलो और वाशिंगटन राज्य से हाउस की सीट के लिए प्रतिस्पर्धा करने वाली अमांडा मैककिनी भी समूह का समर्थन प्राप्त करती हैं और अत्यधिक विनियमन के खिलाफ खड़ी हैं।

यह विवाद उद्योग के भीतर विभिन्न वित्तीय हितों को समाहित करता है। मार्क आंद्रेसन, बेन हॉरोविट्ज़ और वेंचर कैपिटल फर्म आंद्रेसन होरोविट्ज़ ने सामूहिक रूप से लीडिंग द फ्यूचर को 50 मिलियन डॉलर का योगदान दिया। चूंकि यह कंपनी ओपनएआई की निवेशक भी है, इसलिए यह क्षेत्र के वित्तीय हितों को विनियमन के संबंध में उसकी राजनीतिक कार्रवाई के करीब लाता है।

ओपनएआई की प्रतियोगी एंथ्रोपिक एक अलग दृष्टिकोण अपनाती है। कंपनी ने पब्लिक फर्स्ट एक्शन को कम से कम 40 मिलियन डॉलर आवंटित किए हैं, जो राज्य कानूनों के संघीय प्रत्यायोजन का विरोध करता है। इसके सीईओ, डारियो अमोडेई, इस दृष्टिकोण को अत्यधिक व्यापक मानते हैं।

यह नियामक टकराव तब हो रहा है जब ओपनएआई और एंथ्रोपिक सार्वजनिक शेयर पेशकश की तैयारी कर रहे हैं जो अब तक की सबसे बड़ी पेशकशों में से कुछ हो सकती है। इस परिदृश्य में, क्षेत्र के नियम सुरक्षा के मुद्दों से परे हैं; अतिरिक्त आवश्यकताएं लागत बढ़ा सकती हैं, लॉन्च में देरी कर सकती हैं और कंपनियों को अपने उत्पादों को बदलने के लिए मजबूर कर सकती हैं, जिससे लाभप्रदता पर संभावित प्रभाव पड़ सकता है।

लीडिंग द फ्यूचर का दावा है कि वह एक मजबूत और जिम्मेदार राष्ट्रीय नियामक ढांचे के लिए प्रतिबद्ध सांसदों की तलाश कर रहा है। इस प्रकार, समूहों के बीच मतभेद केवल विनियमन का समर्थन करने या अस्वीकार करने तक सीमित नहीं है, बल्कि यह परिभाषित करने तक है कि नियम स्थापित करने का अधिकार किसके पास है और निगमों पर क्या सीमाएं लगाई जाएंगी। जैसे-जैसे कृत्रिम बुद्धिमत्ता एक बड़े पैमाने का व्यवसाय बन रही है और कंपनियां पूंजी बाजार तक अपनी पहुंच का विस्तार करने की कोशिश कर रही हैं, यह विवाद प्रासंगिकता हासिल कर रहा है।