ओपनएआई के वैज्ञानिकों के प्रमुख ने आर्टिफिशियल इंटेलिजेंस की प्रगति पर सावधानी बरतने का आग्रह किया
और पढ़ें
Olhar Digital
olhardigital.com.br

ओपनएआई के वैज्ञानिकों के प्रमुख ने आर्टिफिशियल इंटेलिजेंस की प्रगति पर सावधानी बरतने का आग्रह किया

जकुब पाचोकी, ओपनएआई के मुख्य वैज्ञानिक ने पिछले रविवार (6) को एक निबंध जारी कर आर्टिफिशियल इंटेलिजेंस (एआई) के विकास की गति पर चेतावनी दी और तर्क दिया कि तेजी से परिष्कृत प्रणालियों के विकास में अधिक विवेक बरता जाना चाहिए। ओपनएआई के पोर्टल पर प्रकाशित लेख में संकेत दिया गया है कि तकनीकी प्रगति एक ऐसे बिंदु तक पहुंच सकती है जहां मशीनें अपनी ही निर्माण प्रक्रिया में सक्रिय रूप से भाग लेना शुरू कर देंगी।

आंतरिक डेटा के आधार पर, पाचोकी इस बात की बड़ी उम्मीद व्यक्त करते हैं कि वर्तमान विकास की गति उस चीज़ तक जारी रह सकती है जिसे पुनरावर्ती स्व-सुधार (RSI) के रूप में जाना जाता है। इस परिदृश्य में, एआई सिस्टम अपने स्वयं के विकास में तेजी लाना शुरू कर देंगे। वैज्ञानिक के लिए, यह मार्ग सुनिश्चित करने के लिए व्यापक हस्तक्षेप की मांग करता है कि तकनीकी प्रगति मानवीय निगरानी के अधीन बनी रहे।

निबंध में, वह 2023 से देखे गए एक परिवर्तन का विस्तार से वर्णन करते हैं, जब RLSlow अनुसंधान परियोजना के परिणामों ने टीम को यह विश्वास दिलाया कि तर्क मॉडल के प्रशिक्षण का विस्तार करना संभव है। उनके अनुसार, इस मील के पत्थर के तीन साल बाद, ऐसे सिस्टम पहले से ही ग्राफिकल इंटरफेस और कंप्यूटरों का संचालन करने, अन्य मनुष्यों और एआई के साथ बातचीत करने और शोध करने में सक्षम हैं।

वैज्ञानिक साइबर सुरक्षा में उल्लेखनीय प्रगति पर भी प्रकाश डालते हैं। हालांकि, जैसे-जैसे मॉडल अधिक सक्षम होते जाते हैं, पाचोकी देखते हैं कि उनके परिणामों की व्याख्या करना अधिक कठिन होता जा रहा है। वह तर्क देते हैं कि डीप लर्निंग द्वारा उत्पन्न बुद्धिमत्ता में मानव के साथ सीधा समकक्ष नहीं है, और जैसे-जैसे एआई विभिन्न क्षेत्रों में मनुष्यों से आगे निकलती है, उसकी क्षमताओं को सटीक रूप से परिभाषित करना उतना ही जटिल होता जाता है।

यह कठिनाई मॉडलों की परिचालन प्रकृति में निहित है। पाचोकी समझाते हैं कि एआई केवल डिज़ाइन किए जाने के बजाय अधिक 'खेती' की जाती है, जो बड़े पैमाने पर कंप्यूटिंग में अनुकूलन प्रक्रियाओं के बड़े पैमाने पर दोहराव का परिणाम है। वह इस बात पर जोर देते हैं कि सिस्टम अत्यंत जटिल हैं और उनके समग्र कामकाज का अभी भी कोई पूर्ण विवरण या समझ नहीं है।

निबंध में उठाया गया एक महत्वपूर्ण विषय एआई का संरेखण (alignment) है, जो प्रणालियों को मानवों द्वारा उपयुक्त माने जाने वाले मानकों और लक्ष्यों के अनुसार कार्य कराने के प्रयास का वर्णन करने के लिए उपयोग किया जाने वाला शब्द है। पाचोकी उद्देश्य संरेखण (objective alignment) और मूल्य संरेखण (value alignment) के बीच अंतर करते हैं, जिसमें उद्देश्य संरेखण निर्धारित किए गए निष्पादन से संबंधित है, जबकि मूल्य संरेखण नए या अस्पष्ट परिदृश्यों में सिद्धांतों को लागू करने की क्षमता से जुड़ा है।

उनके अनुसार, चुनौती तब उत्पन्न होती है जब अधिक बुद्धिमान सिस्टम उन संदर्भों में काम करते हैं जिनमें उन्हें प्रशिक्षित किया गया था, जिससे मॉडलों में सिखाए गए मूल्यों के सामान्यीकरण को नुकसान हो सकता है। पाचोकी का तर्क है कि भविष्य के एआई को मानवीय निगरानी में न होने पर भी मानवीय मूल्यों को संरक्षित करना चाहिए।

ओपनएआई इस मुद्दे को प्रबंधित करने के लिए कई पद्धतियों का उपयोग करती है। उनमें से एक 'चेन ऑफ थॉट' या विचार श्रृंखला की निगरानी है, जो मॉडलों द्वारा बोले जाने वाली तर्क प्रक्रिया का विश्लेषण करने की अनुमति देती है। हालांकि, पाचोकी बताते हैं कि कंपनी के आंतरिक मूल्यांकन इस निगरानी की विश्वसनीयता में क्रमिक कमी का सुझाव देते हैं।

इस कमी में योगदान देने वाले कारकों में अधिक जटिल परिदृश्यों में मॉडलों का उपयोग, अपने तर्क प्रक्रिया पर विचार करने के लिए एआई की बढ़ती क्षमता और मौखिक तर्क का सहारा लिए बिना प्रणालियों की बुद्धिमत्ता में वृद्धि शामिल है।

चेतावनी जारी होने के बावजूद, पाचोकी विकास को रोकने की वकालत नहीं करते हैं। उनका मानना है कि अधिक बुद्धिमान मॉडल को तेजी से प्रशिक्षित करना जारी रखने का एक मजबूत तर्क है: अन्य एआई द्वारा किए गए खतरों के खिलाफ रक्षा प्रणालियों का निर्माण। वैज्ञानिक विशेष रूप से साइबर सुरक्षा पर ध्यान केंद्रित करते हैं, यह उल्लेख करते हुए कि मॉडल कम्प्यूटेशनल सिस्टम में घुसपैठ करने और उनसे बचने की क्षमता में अति-मानवीय होते जा रहे हैं, जिससे तकनीकी जोखिम बढ़ रहा है। पाचोकी का कहना है कि ओपनएआई को महत्वपूर्ण बुनियादी ढांचे की सुरक्षा को मजबूत करने के लिए उपलब्ध सबसे उन्नत मॉडलों का उपयोग करने की आवश्यकता है।

साथ ही, वह चेतावनी देते हैं कि बचाव बनाने की आवश्यकता अनुचित प्रगति को सही नहीं ठहरा सकती। पाचोकी के लिए, 'किसी भी कीमत पर' आगे बढ़ने की धारणा शामिल जोखिमों की विशालता के सामने अर्थहीन हो जाती है। इसी संदर्भ में वह पुनरावर्ती स्व-सुधार के विषय को फिर से उठाते हैं, यह कहते हुए कि यदि एआई की प्रगति जारी रहती है, तो मशीनों की अपने स्वयं के विकास में भागीदारी बढ़ने की प्रवृत्ति रखेगी, और RSI भविष्य की वैज्ञानिक खोजों में एक केंद्रीय भूमिका निभा सकता है।

शोधकर्ता सुझाव देते हैं कि वैज्ञानिक समुदाय के पास दो प्राथमिक विकल्प हैं: लोगों को विकास चक्र में सक्रिय रखते हुए संरेखण और निगरानी दोनों को एक साथ मजबूत करके प्रक्रिया का संचालन करना; या सुरक्षा उपायों में अधिक निश्चितता की तलाश करते हुए प्रगति में मंदी का समन्वय करना। पाचोकी का मानना है कि इस समय सबसे उपयुक्त दृष्टिकोण इन दोनों रणनीतियों का संयोजन है।

वह यह भी बचाव करते हैं कि प्रणालियों की प्रगति सुरक्षा उपायों में स्थापित विश्वास पर निर्भर होनी चाहिए। पाचोकी का सुझाव है कि ओपनएआई का प्रिपेयर्डनेस फ्रेमवर्क और एंथ्रोपिक की रिस्पॉन्सिबल स्केलिंग पॉलिसी जैसे समझौते व्यापक रूप से स्वीकृत सुरक्षा मापदंडों में विकसित हों, जिससे विकास जारी रह सके। ऐसे मानदंडों का ऑडिट अंतरराष्ट्रीय निकायों, सरकारों या स्वतंत्र ऑडिट द्वारा किया जा सकता है।

निबंध को समाप्त करते हुए, पाचोकी निष्कर्ष निकालते हैं कि किसी भी प्रयोगशाला ने एआई के पैमाने को अधिकतम गति से लंबे समय तक बनाए रखने के लिए संरेखण और निगरानी को पर्याप्त रूप से हल नहीं किया है। वह उम्मीद करते हैं कि साझा सुरक्षा मापदंडों तक पहुंचने तक स्वैच्छिक मंदी आम हो जाएगी और उनका तर्क है कि एआई के भविष्य पर अंतर्राष्ट्रीय समन्वय सरकारों के लिए प्राथमिकता होनी चाहिए। अंत में, वह दोहराते हैं कि एआई अनुसंधान के स्वचालन का उद्देश्य केवल अधिक बुद्धिमान सिस्टम बनाना नहीं होना चाहिए, बल्कि ऐसा करना होना चाहिए जिससे मानवीय नियंत्रण बना रहे और लोगों को निरंतर सुधार की प्रक्रिया में शामिल रखा जा सके।

समान कहानियाँ

OpenAI की नई तकनीक कृत्रिम बुद्धिमत्ता मॉडल की निगरानी को जटिल बना सकती है
और पढ़ें
olhardigital.com.br

OpenAI की नई तकनीक कृत्रिम बुद्धिमत्ता मॉडल की निगरानी को जटिल बना सकती है

एक नई तर्क तकनीक, जिसका उपयोग OpenAI के अगले आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल 'Astra' में किया जाएगा, एआई सुरक्षा विशेषज्ञों के बीच चिंता पैदा कर रही है। यह विधि, जिसे 'रिकरेंट डेप्थ' या 'ऑपेक रिकरेंस' के रूप में जाना जाता है, मॉडल को अधिकांश तर्क मॉडल की विशेषता वाली अनुक्रमिक विचार प्रक्रिया से परे जाने की अनुमति देती है।

मुख्य चिंता इस बात से जुड़ी है कि यह दृष्टिकोण तथाकथित 'चेन ऑफ थॉट' (विचारों की श्रृंखला) की निगरानी को कठिन बना सकता है। सुरक्षा विशेषज्ञों के लिए, यह मॉडल की आंतरिक गतिविधियों को ट्रैक करने और संभावित रूप से खतरनाक व्यवहार का पता लगाने की क्षमता को कम कर सकता है।

द इंफॉर्मेशन प्रकाशन से मिली जानकारी के अनुसार, Astra में इस तकनीक का उपयोग सीमित रहेगा। फिर भी, भविष्य में इसके उपयोग के विस्तार की संभावना ने इस क्षेत्र के शोधकर्ताओं के बीच प्रतिक्रिया उत्पन्न कर दी है।

रेडवुड के सीईओ, बक शलेगरिस ने Astra में ऑपेक रिकरेंस के उपयोग की खबरों पर 'गंभीर चिंता' व्यक्त की। उन्होंने कहा: 'मुझे नहीं पता कि Astra CoT के माध्यम से पिछले मॉडलों की तुलना में कितना कम निगरानी योग्य है। लेकिन अगर OpenAI इस तकनीक को आगे बढ़ाती है, तो उसके पास पुनरावृत्ति को बहुत अधिक बढ़ाने और CoT के माध्यम से निगरानी को पूरी तरह से नष्ट करने की क्षमता होगी।'

सामान्य परिस्थितियों में, एक तर्क मॉडल समस्या को हल करने का प्रयास करते समय चरणों की एक श्रृंखला प्रदर्शित करता है। हालांकि यह प्रतिनिधित्व आदर्श नहीं है, यह संभावित रूप से गलत व्यवहार या असहमति के संकेतों को नियंत्रित करने के लिए एक महत्वपूर्ण उपकरण के रूप में कार्य कर सकता है।

विचारों की श्रृंखला ने हाल ही में समस्याग्रस्त एआई एजेंटों के व्यवहार का अध्ययन करने में भी महत्वपूर्ण भूमिका निभाई है। इन रिकॉर्ड्स ने शोधकर्ताओं को यह समझने में मदद की कि कुछ एजेंटों ने विशिष्ट तरीके से व्यवहार क्यों किया।

यही निगरानी तंत्र ऑपेक रिकरेंस द्वारा बाधित हो सकता है। पारंपरिक चरण क्रम का पालन करने के बजाय, यह तकनीक मॉडल को पुनरावर्ती प्रसंस्करण करने की अनुमति देती है। विशेषज्ञ मानते हैं कि इस तंत्र का जितना अधिक उपयोग किया जाएगा, प्रक्रिया को देखना और व्याख्या करना उतना ही कठिन होगा जो सिस्टम को एक विशिष्ट समाधान तक ले आया।

एआई सुरक्षा के जाने-माने समर्थक, ज़वी मोशोविट्ज़ ने भी इस नवाचार पर प्रतिक्रिया व्यक्त की, यह कहते हुए कि एआई प्रयोगशालाओं के बीच एक प्रकार की 'खाई में दौड़' को रोकने के लिए कानूनों की आवश्यकता हो सकती है। उन्होंने लिखा: 'यह विधि आग से खेलती है, उस टैबू को जोखिम में डालती है जिसे OpenAI और Anthropic स्थापित करने की कोशिश कर रहे हैं: यथासंभव लंबे समय तक वफादारी और विचारों की श्रृंखला की निगरानी की क्षमता को बनाए रखने के लिए कड़ी मेहनत करना।'

उनके विचार में, ऐसी तकनीकों का अधिक गहन उपयोग संभवतः मॉडल को नियंत्रित करने की क्षमता को खराब करेगा।

चिंताओं के बावजूद, Astra में इस तकनीक का उपयोग संभवतः सीमित रहेगा। उपलब्ध जानकारी के अनुसार, मॉडल की विचार श्रृंखला पठनीय रहनी चाहिए। OpenAI ने इस धारणा को भी खारिज कर दिया है कि नई प्रणाली 'न्यूरालेसिस' नामक पूरी तरह से दुर्गम प्रसंस्करण रूप का उपयोग करना शुरू कर देगी।

कंपनी ने पहले ही अपनी भविष्य की सुरक्षा रणनीतियों के हिस्से के रूप में विस्तृत विचार श्रृंखला निगरानी प्रणालियों को विकसित करने की योजनाओं की घोषणा कर दी है। इसका मतलब है कि विशेषज्ञों की चिंताएं जरूरी नहीं कि Astra के वर्तमान व्यवहार से संबंधित हों, बल्कि इस बात से संबंधित हैं कि यदि पुनरावृत्ति तकनीक को भविष्य के संस्करणों में बढ़ाया जाता है तो क्या हो सकता है। यह डर है कि पुनरावृत्ति में महत्वपूर्ण वृद्धि मॉडल की आंतरिक प्रक्रियाओं को उनकी क्षमताओं के बढ़ने के साथ अधिक से अधिक ट्रैक करने में कठिन बना सकती है।

साइबर सुरक्षा में गंभीर जोखिम पाए जाने के कारण ओपनएआई ने एस्ट्रा मॉडल के लॉन्च को स्थगित किया
और पढ़ें
olhardigital.com.br

साइबर सुरक्षा में गंभीर जोखिम पाए जाने के कारण ओपनएआई ने एस्ट्रा मॉडल के लॉन्च को स्थगित किया

ओपनएआई ने एस्ट्रा, अपने अगले आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल के विकास और लॉन्च के कुछ चरणों को टालने का निर्णय लिया है, क्योंकि आंतरिक मूल्यांकन में साइबर सुरक्षा के मामले में महत्वपूर्ण क्षमताएं सामने आईं। कंपनी ने बताया कि सिस्टम में अज्ञात सुरक्षा खामियों का पता लगाने और संरक्षित सिस्टम में उनका फायदा उठाने के तरीके बनाने की क्षमता है, यह सब बिना किसी मानवीय हस्तक्षेप के हर कदम पर होता है।

यह घोषणा मंगलवार (दिन 1) को ओपनएआई की एक आधिकारिक पोस्ट के माध्यम से की गई थी। कंपनी के अनुसार, एस्ट्रा ने अपने प्रिपेयर्डनेस फ्रेमवर्क के भीतर 'क्रिटिकल' स्तर हासिल किया, जो उन्नत क्षमताओं को मापने के लिए उपयोग की जाने वाली एक प्रणाली है जो गंभीर नुकसान पहुंचा सकती हैं।

ओपनएआई ने इस बात पर प्रकाश डाला कि एस्ट्रा जीपीटी-5.6 सोल की तुलना में काफी बड़ी छलांग है, न केवल कमजोरियों की पहचान करने की इसकी क्षमता में बल्कि एक्सप्लॉइट्स विकसित करने में भी। इसके अतिरिक्त, मॉडल टोकन खपत में अधिक दक्षता प्रदर्शित करता है।

एक्सप्लॉइटबेंच नामक एक परीक्षण में, एस्ट्रा ने पहले से ज्ञात कमजोरियों पर आधारित एक्सप्लॉइट्स विकसित करने में 100% सफलता हासिल की। बाद में, कंपनी ने प्रशिक्षण प्रक्रिया में संभावित संदूषण को कम करने के उद्देश्य से हाल ही में जारी 20 उच्च गंभीरता वाली कमजोरियों का उपयोग करते हुए इस परीक्षण का एक आंतरिक संस्करण तैयार किया।

परीक्षण परिदृश्य में, एस्ट्रा ने जीपीटी-5.6 सोल की तुलना में कम टोकन का उपयोग करके मनमाने ढंग से कोड निष्पादन की उच्च दरें प्रदर्शित कीं। परीक्षणों के दौरान, इसने शोषण अनुक्रम के हिस्से के रूप में दो ज़ीरो-डे कमजोरियों का भी पता लगाया और उनका उपयोग किया। ओपनएआई ने सूचित किया कि यह प्रभावित प्रणालियों के जिम्मेदार लोगों के संपर्क में है ताकि इन खामियों के बारे में जानकारी दी जा सके।

विशेषज्ञों द्वारा किए गए मूल्यांकन से पता चला कि मॉडल ने एक ऑपरेटिंग सिस्टम और एक सुरक्षित ब्राउज़र में अभूतपूर्व खामियां पहचानीं। एक परीक्षण में, यह ब्राउज़र सैंडबॉक्स वातावरण से बचने और होस्ट कंप्यूटर पर कमांड निष्पादित करने के लिए घटनाओं की एक श्रृंखला स्थापित करने में सफल रहा। दूसरे परिदृश्य में, इसने बिना अनुमति वाले उपयोगकर्ता के विशेषाधिकारों को रूट स्तर तक बढ़ाने के लिए कमजोरियों को संयोजित किया।

ओपनएआई ने स्पष्ट किया कि एस्ट्रा के विकास और लॉन्च के कुछ हिस्सों को पिछले कुछ हफ्तों में दुर्भावनापूर्ण उपयोग और मॉडल द्वारा अनधिकृत कार्यों के खिलाफ बचाव को मजबूत करने और परीक्षण करने के उद्देश्य से स्थगित कर दिया गया था।

लागू किए गए उपायों में यह सुनिश्चित करने के लिए अतिरिक्त प्रशिक्षण शामिल है कि एस्ट्रा साइबर सुरक्षा में निषिद्ध सहायता के अनुरोधों को अधिक लगातार अस्वीकार करे। साइबर सुरक्षा पर केंद्रित जेलब्रेक हमलों के सिमुलेशन में, मॉडल ने 91.5% अनुरोधों को अस्वीकार कर दिया, जो जीपीटी-5.6 सोल द्वारा दर्ज किए गए 59% से अधिक है।

कंपनी ने उच्च जोखिम वाले उपयोगकर्ताओं के लिए अतिरिक्त सुरक्षा भी पेश की और संभावित दुरुपयोग का पता लगाने के लिए निगरानी प्रणालियों के विश्लेषण के दायरे का विस्तार किया। इसके अलावा, ओपनएआई आंतरिक और बाहरी मूल्यांकन के साथ-साथ रेड टीमिंग के एक नए दौर को कवर करते हुए नए सुरक्षा परीक्षण कर रही है।

अपनाया गया एक अन्य संसाधन एजेंटों के तर्क और कार्यों की निगरानी करना है, जिसमें संभावित रूप से बेमेल व्यवहार पैटर्न की पहचान करने और अनधिकृत गतिविधियों को रोकने की क्षमता है।

सुरक्षा उपायों को बढ़ाने का निर्णय ओपनएआई के एजेंटों और हगिंग फेस प्लेटफॉर्म से जुड़ी घटना के बाद हुआ। हालांकि कंपनी ने जोर देकर कहा कि एस्ट्रा हमले में शामिल नहीं था, लेकिन उसने उस मामले से प्राप्त सीख को नए मॉडल के विकास में एकीकृत किया।

घटना के बाद, ओपनएआई ने सीमांत प्रशिक्षण की कुछ गतिविधियों को दो सप्ताह के लिए निलंबित कर दिया, जिसमें एस्ट्रा का कुछ प्रशिक्षण भी शामिल था, जबकि प्रशिक्षण बुनियादी ढांचे, सिस्टम अलगाव, नेटवर्क नियंत्रण और निगरानी तंत्र को मजबूत किया।

28 अगस्त को, कंपनी ने सीमांत रीइन्फोर्समेंट लर्निंग प्रशिक्षण के एक बड़े निष्पादन को फिर से शुरू किया जिसे रोक दिया गया था। हालांकि, कुछ छोटे प्रायोगिक निष्पादन अस्थायी रूप से निलंबित बने हुए हैं।

ओपनएआई ने हगिंग फेस एपिसोड से प्रेरित एक परीक्षण भी बनाया ताकि यह जांचा जा सके कि क्या मॉडल अनुरोधित कार्य को पूरा करने के बजाय सुरक्षा बुनियादी ढांचे से समझौता करने का प्रयास करेंगे। उत्पादन सुरक्षा के बिना, जीपीटी-5.6 सोल ने 56% परीक्षणों में लक्ष्यों तक पहुंचने की कोशिश की; एस्ट्रा ने उन्हीं मूल्यांकनों में ऐसे प्रयास नहीं किए।

ओपनएआई ने जल्द ही एस्ट्रा लॉन्च करने का इरादा व्यक्त किया है, लेकिन सबसे उन्नत साइबर सुरक्षा सुविधाओं तक शुरुआत में सीमित पहुंच होगी। परिष्कृत साइबर सुरक्षा कार्य पहले एक छोटे परीक्षक समूह को पेश किया जाएगा। बाद में, डेब्रेक ब्लू के माध्यम से पहुंच का विस्तार किया जाएगा, जो इन क्षमताओं के रक्षात्मक उपयोग पर केंद्रित एक कार्यक्रम है।

कंपनी यह भी चेतावनी देती है कि नई सुरक्षा परतें कभी-कभी वैध कार्यों में हस्तक्षेप कर सकती हैं। कुछ स्थितियों में, यदि सिस्टम अनुचित उपयोग या अनधिकृत व्यवहार का पता लगाते हैं तो गतिविधि में देरी, रोक या रुकावट आ सकती है।

ChatGPT या Codex वातावरण में, यदि मिसअलाइनमेंट मॉनिटरिंग कार्य को बाधित करती है तो उपयोगकर्ताओं से आगे बढ़ने से पहले कार्रवाई की समीक्षा करने के लिए कहा जा सकता है। एपीआई जैसी अन्य इंटरफेस में, गतिविधि समाप्त हो जाएगी।

अंत में, ओपनएआई आश्वासन देती है कि वह मॉडल के सिस्टम कार्ड में एस्ट्रा के सुरक्षा, संरक्षण और संरेखण परीक्षणों के बारे में अतिरिक्त विवरण उसके लॉन्च के समय प्रदान करेगी।

लोकप्रिय