सॉफ्टवेयर विकास में सहायता के लिए डिज़ाइन किए गए आर्टिफिशियल इंटेलिजेंस एजेंटों, जिनमें Claude (Anthropic द्वारा विकसित), Codex (OpenAI का), और Hermes (Nous Research का) शामिल हैं, में बड़ी कंपनियों के नेटवर्क के भीतर संभावित रूप से खतरनाक कोड स्थापित करने की क्षमता है। इस सुरक्षा समस्या की पहचान एक इजरायली स्टार्टअप ने की है।
यह घटना इसलिए होती है क्योंकि ये AI इंटरनेट पर मिली निर्देशों की व्याख्या करते हैं और उन सॉफ़्टवेयरों को लक्षित कमांड निष्पादित करते हैं जो पहले ही बंद हो चुके हैं। यह व्यवहार हमलावरों को नकली पैकेट पंजीकृत करने और इन 'शॉर्टकट' पर नियंत्रण लेने की अनुमति देता है, जिससे कॉर्पोरेट बुनियादी ढांचे में घुसपैठ का रास्ता खुल जाता है।
ArsTechnica वेबसाइट पर एक लेख में विस्तार से बताया गया है कि भेद्यता llms.txt और llms-full.txt नामक फ़ाइलों में निहित है। इन फ़ाइलों का कार्य किसी वेबसाइट की सामग्री का सारांश देना है ताकि रोबोट और वर्चुअल असिस्टेंट जानकारी को जल्दी से अवशोषित और समझ सकें। जोखिम तब उत्पन्न होता है जब कुछ पृष्ठों में गलत या पुरानी निर्देशिकाएँ होती हैं; चूंकि AI एजेंट पढ़े गए डेटा को फ़िल्टर नहीं करते हैं, इसलिए इस पाठ को एक प्रत्यक्ष आदेश के रूप में संसाधित किया जाता है, जिसके परिणामस्वरूप हानिकारक कोड का चुपचाप निष्पादन होता है।
यह खोज साइबर सुरक्षा विशेषज्ञों की एक टीम द्वारा की गई थी जिसने ऑनलाइन तकनीकी डेटा को ब्राउज़ करने और उपभोग करने पर AI के व्यवहार की जांच की। विश्लेषकों ने प्रौद्योगिकी दिग्गजों और रक्षा उद्योगों से जुड़े 6 हजार से अधिक सक्रिय डोमेन की जांच की।
AI उपकरणों का मार्गदर्शन करने के लिए 8,265 फ़ाइलों की समीक्षा के दौरान, टीम ने 120 दस्तावेज़ पाए जो ऐसे पैकेजों या उपकरणों को स्थापित करने का आदेश दे रहे थे जो अब उपलब्ध नहीं थे या जिनके डोमेन छोड़ दिए गए थे। सर्वेक्षण में 227 कमजोर कमांड इंगित किए गए और अनगिनत एक्सेस दर्ज किए गए, जिसमें ट्रैकिंग से पता चला कि डाउनलोड उच्च विशेषाधिकारों के साथ काम करने वाले वर्चुअल असिस्टेंट से आ रहे थे।
अध्ययन में शामिल सदस्यों में से एक शोधकर्ता अलॉन हर्ट्ज़ ने समझाया कि AI का वर्तमान विश्वास प्रतिमान खतरे में है। उन्होंने कहा कि उपकरण दस्तावेज़ीकरण को 'एक अकाट्य सत्य' के रूप में मानते हैं। विभिन्न व्यावसायिक सेवा परतों में वर्चुअल एजेंटों के एकीकरण के कारण, साइबर हमलों के संपर्क में आने वाला क्षेत्र तेजी से बढ़ा है, मौजूदा सुरक्षा क्षमताओं से अधिक हो गया है।
इस घुसपैठ को रोकने में कठिनाई वर्तमान AI की अंतर्निहित तकनीकी सीमा से संबंधित है: बड़े भाषा मॉडल (LLMs) वर्णनात्मक पाठ को पढ़ने और निष्पादन आदेश के बीच अंतर नहीं कर सकते हैं। मशीन के लिए, कोई भी आत्मसात किया गया डेटा एक वैध निर्देश बन जाता है। जब कोई कृत्रिम बुद्धिमत्ता किसी आधिकारिक पृष्ठ तक पहुँचती है और 'टूल X स्थापित करें' पढ़ती है, तो वह उस पैकेज की अखंडता की जाँच किए बिना बस आदेश का पालन करती है।
इस कारण से, पारंपरिक सुरक्षा प्रणालियाँ, जैसे फ़ायरवॉल और नेटवर्क एंटीवायरस, अलर्ट उत्पन्न नहीं करती हैं। जब हमला होता है, तो कॉर्पोरेट बचाव केवल कंपनी द्वारा अधिकृत एक टूल को एक वेबसाइट तक पहुंचते हुए देखते हैं, जो एक सामान्य डेवलपर के काम का अनुकरण करता है। विफलता सूचना के स्रोत में निहित है, जिससे यह पारंपरिक सुरक्षा तंत्रों के लिए अदृश्य हो जाता है। यह अदृश्यता सूचना सुरक्षा पेशेवरों पर वेब पर संसाधित सभी सामग्री में अंधा विश्वास समाप्त करने की चुनौती डालती है।