शोधकर्ता एआई में नकली यादें डालने की अनुमति देने वाली भेद्यता के बारे में चेतावनी देते हैं

घोस्टराइटर तकनीक और इसका अनुप्रयोग

घोस्टराइटर नामक यह कार्यप्रणाली उन एआई एजेंटों का फायदा उठाती है जो उपयोगकर्ताओं की ओर से प्रतिक्रियाओं को निजीकृत करने और कार्य करने के लिए पिछली इंटरैक्शन की यादों का उपयोग करते हैं। हालांकि यह क्षमता इन उपकरणों की व्यावहारिकता को बढ़ाती है, लेकिन यह साथ ही साइबर हमलों के प्रति संवेदनशील एक नया क्षेत्र भी बनाती है।

इस खतरे के कामकाज को उजागर करने के अलावा, शोधकर्ताओं ने एक बचाव प्रस्तावित किया है जिसे नकली यादों के दर्ज होने और बाद में एजेंटों द्वारा उपयोग किए जाने की संभावना को कम करने के लिए डिज़ाइन किया गया है, बिना इन प्रौद्योगिकियों के प्रदर्शन को काफी नुकसान पहुंचाए।

स्मृति पर हमले का कार्य

भाषा मॉडल विभिन्न प्लेटफार्मों पर व्यापक रूप से उपयोग किए जाते हैं, बातचीत से लेकर खोज और पाठ निर्माण उपकरणों तक। हाल ही में, इन प्रणालियों के कुछ हिस्सों ने स्वायत्त तरीके से काम करना शुरू कर दिया है, जैसे कि नियुक्तियों को शेड्यूल करना और प्रोग्रामिंग कोड को संशोधित करना।

स्थायी स्मृति तंत्रों को जोड़ने के साथ, ये एजेंट उपयोगकर्ता की प्राथमिकताओं के अनुसार प्रतिक्रियाओं को समायोजित करने के लिए पिछली बातचीत के डेटा तक पहुंच सकते हैं, जिससे डेटा की पुनरावृत्ति से बचा जा सकता है। हालांकि, इस तकनीकी विकास ने डिजिटल सुरक्षा का एक कम खोजा गया प्रश्न पेश किया है।

लेखक बताते हैं कि व्यक्तिगत सहायक बाहरी सामग्री के साथ इंटरैक्ट करते समय संवेदनशील डेटा जमा करते हैं, जिससे नई कमजोरियां पैदा होती हैं। टीम घोस्टराइटर को दीर्घकालिक स्मृति संदूषण की एक विधि के रूप में वर्णित करती है, जहां छिपे हुए निर्देश या झूठी जानकारी एजेंट के स्थायी भंडारण में इंजेक्ट की जाती है ताकि उन्हें पुनर्प्राप्त किया जा सके और भविष्य की कार्रवाइयों को प्रभावित किया जा सके।

हमले के चरण और व्यावहारिक उदाहरण

हमला दो चरणों में होता है। प्रारंभ में, हमलावर एक छद्म सामग्री भेजता है जिसे एक वैध स्मृति के रूप में दर्ज किया जाता है। बाद में, जब उपयोगकर्ता विषय से संबंधित कुछ पूछता है, तो सिस्टम उस समझौता किए गए डेटा को पुनर्प्राप्त करता है और पहले डाले गए दिशानिर्देशों के अनुसार कार्य करता है।

शोधकर्ताओं द्वारा प्रस्तुत एक उदाहरण ईमेल प्रबंधक एजेंट से संबंधित है। इस परिदृश्य में, एक नकली स्मृति उपकरण को किसी विशिष्ट प्रेषक से संदेशों को स्वचालित रूप से सारांशित करने और हमलावर द्वारा नियंत्रित पते पर अग्रेषित करने का आदेश दे सकती है, भले ही उन संचारों में गोपनीय डेटा हो, और यह सब उपयोगकर्ता की जानकारी के बिना होता है।

टीम द्वारा किए गए परीक्षणों ने इन हानिकारक यादों को शामिल करने में उच्च सफलता दर दिखाई, साथ ही संग्रहीत निर्देशों के बाद में सक्रियण की एक महत्वपूर्ण आवृत्ति भी दिखाई। इन निष्कर्षों से पता चला कि यह समस्या आज उपलब्ध सबसे उन्नत एजेंटों को भी प्रभावित कर सकती है।

सुरक्षा शमन प्रस्ताव

इसके जवाब में, अध्ययन एजेंटिक मेमोरी सेंट्री, जिसे AM-Sentry संक्षिप्त नाम से जाना जाता है, प्रस्तुत करता है। यह समाधान स्थायी स्मृति में कौन सी जानकारी सहेजी जा सकती है यह निर्धारित करने के लिए एक अधिक कठोर नीति और नए अनुरोधों के दौरान इन रिकॉर्डों तक पहुंचने से पहले एक जांच प्रणाली को एकीकृत करता है।

शोधकर्ताओं द्वारा प्राप्त परिणामों ने प्रदर्शित किया कि इस प्रस्ताव ने घोस्टराइटर की प्रभावशीलता को काफी कम कर दिया, जबकि एआई एजेंटों की व्यावहारिक कार्यक्षमता को बनाए रखा। टीम को उम्मीद है कि ऐसी रणनीतियों को अन्य मॉडलों में बेहतर बनाया जाएगा और उनका परीक्षण किया जाएगा जिनमें स्थायी स्मृति होती है।