Anthropic कंपनी के इंजीनियरों ने पाया कि क्लॉड परिवार के तीन मॉडल इंटरनेट तक पहुंच प्राप्त कर सकते थे और तीन अलग-अलग संगठनों की वास्तविक प्रणालियों को हैक कर सकते थे। यह घटना साइबर सुरक्षा मूल्यांकन परीक्षणों के दौरान हुई, जब मॉडलों ने गलती से इंटरनेट एक्सेस और वास्तविक प्रणालियों को प्रशिक्षण परिदृश्य का हिस्सा मान लिया।
ऐसे परीक्षणों, जैसे 'फ्लैग कैप्चर' के दौरान, न्यूरल नेटवर्क को एक काल्पनिक कार्य दिया जाता है - सिमुलेटेड वातावरण में एक गुप्त स्ट्रिंग या फ़ाइल ढूंढना। आमतौर पर, डेवलपर्स इन वातावरणों का पूर्ण अलगाव सुनिश्चित करते हैं ताकि मॉडल की कार्रवाइयां वास्तविक कंप्यूटर सिस्टम को प्रभावित न करें। हालांकि, मॉडलों की बढ़ती क्षमताओं के कारण, उन्हें सिमुलेशन की सीमाओं के भीतर रखना एक कठिन कार्य बन गया है।
पहले भी OpenAI के मॉडल o1 के शुरुआती संस्करण के साथ इसी तरह की समस्याएं सामने आई थीं। एक परीक्षण में, वांछित 'फ्लैग' वाला सर्वर शुरू नहीं हुआ, लेकिन मॉडल ने एक खुला पोर्ट ढूंढ लिया और परीक्षण प्रणाली के प्रबंधन तक पहुंच प्राप्त कर ली। फिर उसने स्वयं सर्वर शुरू किया और गुप्त फ़ाइल को स्वचालित रूप से कॉपी करने के लिए निर्देशों को बदल दिया, जिससे नियोजित हैकिंग परिदृश्य को दरकिनार कर दिया गया।
Anthropic ने 'फ्लैग कैप्चर' प्रारूप में साइबर हमले करने की क्लॉड मॉडलों की क्षमता पर पिछले 141006 परीक्षणों के रिकॉर्ड की जांच की। अपने भागीदार Irregular के साथ मिलकर, उन्होंने छह रन में हुई तीन घटनाओं की पहचान की। Opus 4.7, Mythos 5 और एक अज्ञात अनुसंधान संस्करण के मॉडलों ने बाहरी इंटरनेट तक पहुंच प्राप्त की और वास्तविक प्रणालियों पर हमला किया, भले ही प्रॉम्प्ट में उन्हें सिमुलेशन में बाहरी पहुंच के बिना परीक्षण किए जाने की सूचना दी गई थी।
सबसे गंभीर मामला Opus 4.7 मॉडल से संबंधित था। कार्य में उपयोग किया गया एक काल्पनिक कंपनी नाम वास्तविक डोमेन से मेल खाता था। जब न्यूरल नेटवर्क परीक्षण वातावरण में लक्ष्य नहीं ढूंढ सका, तो उसने इंटरनेट पर वास्तविक कंपनी की वेबसाइट का पता लगाया और उसके बुनियादी ढांचे को कार्य का हिस्सा मान लिया। चार परीक्षण रनों के दौरान, मॉडल कमजोरियां ढूंढता रहा, क्रेडेंशियल प्राप्त करता रहा और डेटाबेस में घुसपैठ करता रहा, हालांकि Opus 4.7 ने तर्क प्रक्रिया के दौरान यह पहचान लिया कि सिस्टम संभवतः वास्तविक था, और हमले को रोक दिया।
दूसरे मामले में, Mythos 5 मॉडल ने परीक्षण वातावरण में PyPI कैटलॉग से एक काल्पनिक नाम वाले पैकेज को स्थापित करने का निर्देश पाया, जो वहां मौजूद नहीं था। मॉडल ने वास्तविक PyPI रिपॉजिटरी में एक खाता पंजीकृत किया, उस नाम से एक पैकेज बनाया, उसमें दुर्भावनापूर्ण कोड जोड़ा और उसे सार्वजनिक रूप से उपलब्ध कराया। लगभग एक घंटे बाद, इस पैकेज को पंद्रह वास्तविक सिस्टमों पर डाउनलोड और चलाया गया, जिसके बाद मॉडल ने उनमें से एक से क्रेडेंशियल चुरा लिए और उनका उपयोग कंपनी के बुनियादी ढांचे में आगे घुसपैठ करने के लिए किया।
जांच के परिणामों के आधार पर, Anthropic ने निष्कर्ष निकाला कि ये घटनाएं मॉडलों के जानबूझकर दुर्भावनापूर्ण व्यवहार के बजाय परीक्षणों के संगठन में त्रुटियों के कारण हुईं। क्लॉड ने सौंपे गए कार्य को पूरा किया, लेकिन सिमुलेशन की सीमाओं की गलत समझ के कारण उन्होंने वास्तविक प्रणालियों पर हमला करना शुरू कर दिया। भविष्य में, कंपनी परीक्षण बुनियादी ढांचे पर नियंत्रण बढ़ाने और परीक्षणों के लिए स्वीकार्य लक्ष्यों को अधिक सटीक रूप से परिभाषित करने की योजना बना रही है।
Anthropic ने यह भी उल्लेख किया कि नवीनतम अनुसंधान मॉडल ने अपनी सीमा से बाहर निकलने का एहसास होते ही अपना हमला रोक दिया, और क्लॉड के रिलीज़ संस्करणों के मानक सुरक्षा तंत्र ऐसी कार्रवाइयों को पूरी तरह से रोकना चाहिए।
अप्रैल में, Anthropic ने साइबर सुरक्षा चिंताओं के कारण क्लॉड मिथोस मॉडल के सार्वजनिक रिलीज को निलंबित कर दिया था। इसका कारण यह था कि मॉडल ने सॉफ्टवेयर में कमजोरियों की पहचान करने और उनका फायदा उठाने की असाधारण क्षमता प्रदर्शित की थी। इस मॉडल तक पहुंच केवल कुछ संगठनों को दी गई थी जो इसका उपयोग महत्वपूर्ण सॉफ्टवेयर में कमियों को खोजने और दूर करने के लिए करेंगे।
