एन्थ्रोपिक उन पेशेवरों की भर्ती कर रही है जिनके वार्षिक वेतन $455 हजार तक हो सकते हैं ताकि उसके आर्टिफिशियल इंटेलिजेंस (AI) सिस्टम की सुरक्षा सीमाओं का परीक्षण करने में सहायता मिल सके। कंपनी जैविक, रासायनिक, विस्फोटक, साइबरनेटिक, धोखाधड़ी, घोटाले के जोखिमों के साथ-साथ रेडियोलॉजिकल और परमाणु जोखिमों को कवर करते हुए सुरक्षा और दुरुपयोग की रोकथाम में एक विशेष टीम बनाए रखती है।
उपलब्ध पदों में ऐसे विशेषज्ञ शामिल हैं जो प्रणालियों का परीक्षण करने, खतरों की जांच करने और रसायन विज्ञान, जीव विज्ञान, साइबर सुरक्षा और परमाणु और विस्फोटक हथियारों जैसे क्षेत्रों में जोखिमों का विश्लेषण करने के लिए जिम्मेदार हैं। इन पदों का उद्देश्य केवल क्लॉड से किसी निषिद्ध उत्तर को उत्पन्न करने के लिए कहना नहीं है ताकि उसकी आज्ञाकारिता की जांच की जा सके; एन्थ्रोपिक यह पहचानने के लिए अपने मॉडलों का विभिन्न तरीकों से परीक्षण करती है कि क्या तीसरे पक्ष इसकी सुरक्षा उपायों को दरकिनार कर सकते हैं और नुकसान पहुंचाने के लिए AI का उपयोग कर सकते हैं, जिसका लक्ष्य शोषण होने से पहले खामियों का पता लगाना है।
एन्थ्रोपिक 'फ्रंटियर रेड टीम' नामक एक टीम संचालित करती है, जिसका कार्य उन्नत मॉडल आगे बढ़ने पर उनकी क्षमताओं को समझने और जोखिमों का अनुमान लगाने के लिए AI सिस्टम की जांच करना है। यह नाम रेड टीमिंग की अवधारणा से लिया गया है, जो एक सुरक्षा पद्धति है जहां एक टीम संभावित घुसपैठिए की भूमिका निभाती है ताकि सिस्टम में कमजोरियों का पता लगाया जा सके। AI के संदर्भ में, इसका मतलब सुरक्षा बाधाओं को दरकिनार करने के तरीके खोजना और यह निर्धारित करना है कि क्या मॉडल का उपयोग नुकसान पहुंचाने के लिए किया जा सकता है।
ध्यान केंद्रित करने वाले क्षेत्रों में रासायनिक, जैविक, रेडियोलॉजिकल और परमाणु खतरे, साथ ही साइबर सुरक्षा और प्रणालियों की स्वायत्तता से जुड़े जोखिम शामिल हैं। कंपनी शोधकर्ताओं, विभिन्न क्षेत्रों के विशेषज्ञों और स्वचालित प्रणालियों द्वारा किए गए परीक्षणों को एकीकृत करती है। एन्थ्रोपिक इस बात पर जोर देती है कि बाहरी विशेषज्ञों के साथ सहयोग न केवल मॉडलों के परीक्षण में बल्कि मूल्यांकन के नए तरीकों के विकास में भी मदद करता है। विश्लेषण किए जा रहे जोखिम के आधार पर, पेशेवर क्लॉड के सार्वजनिक संस्करणों या विभिन्न सुरक्षा तंत्रों के अधीन गैर-वाणिज्यिक मॉडलों के साथ काम कर सकते हैं।
विशेषज्ञों का कार्य पर दृष्टिकोण
ओरेकल के AI विशेषज्ञ गैब्रियल कुन्हा ने ओल्हार डिजिटल को बताया कि इस भूमिका में यह सुनिश्चित करना शामिल है कि जोखिमों की पहचान करने और नियंत्रण लागू करने की संस्थागत क्षमता मॉडल की क्षमताओं की प्रगति के साथ तालमेल बिठाए। विशेषज्ञ प्रणाली पर हमला करते हैं ताकि यह सत्यापित किया जा सके कि मॉडल AI की सहायता के बिना एक व्यक्ति द्वारा प्राप्त की जा सकने वाली चीज़ की तुलना में वास्तविक लाभ प्रदान करता है या नहीं।
एन्थ्रोपिक स्वयं एक प्रक्रिया का विवरण देती है जो विशेषज्ञों द्वारा किए गए परीक्षणों से शुरू होती है और स्वचालित प्रणालियों द्वारा विस्तारित की जा सकती है। प्रारंभ में, पेशेवर जांच किए जाने वाले खतरे के प्रकार को परिभाषित करते हैं और सिस्टम को जोखिम व्यवहार प्रदर्शित करने के लिए प्रेरित करने के तरीके खोजते हैं। जैसे-जैसे समस्या बेहतर समझ में आती है, परीक्षण को सैकड़ों या हजारों अलग-अलग परिदृश्यों में दोहराया जा सकता है।
कंपनी इस कार्य में सहायता के लिए AI मॉडल का भी उपयोग करती है। एक प्रणाली दूसरे मॉडल का परीक्षण करने के लिए हमले के प्रयास उत्पन्न कर सकती है, और प्राप्त परिणाम नई सुरक्षा विकसित करने में मदद करते हैं। यह चक्र यह पुष्टि करने के लिए दोहराया जाता है कि नई हमले की तकनीकों की खोज के बाद भी बाधाएं प्रभावी बनी हुई हैं।
एन्थ्रोपिक द्वारा इतने विविध क्षेत्रों के विशेषज्ञों को शामिल करने का एक मौलिक कारण यह है कि अकेले एक अनुचित प्रतिक्रिया यह साबित नहीं करती है कि मॉडल में वास्तविक दुनिया में नुकसान पहुंचाने की क्षमता है। विशेषज्ञ को यह आंकना आवश्यक है कि सिस्टम द्वारा उत्पादित सामग्री सही है या नहीं और क्या इसे व्यवहार में लागू किया जा सकता है।
वल्टस के CTO और साइबर सुरक्षा विशेषज्ञ रोड्रिगो गावा जोर देते हैं: «किसी AI को कोई निषिद्ध चीज़ जवाब देने के लिए मजबूर करना अपने आप में एक वास्तविक जोखिम का प्रदर्शन नहीं करता है»। वह जोड़ते हैं कि ध्यान इस बात का मूल्यांकन करने पर होना चाहिए कि क्या प्रतिक्रिया तकनीकी रूप से सटीक है, परिचालन रूप से व्यवहार्य है और नुकसान पहुंचाने के लिए आवश्यक ज्ञान, समय या लागत को काफी कम करती है। साइबर सुरक्षा में, वह उदाहरण देते हैं: «एक कोड परिष्कृत लग सकता है और काम नहीं कर सकता है, जबकि जानकारी का एक प्रतीत होता है हानिरहित क्रम एक वास्तविक शोषण श्रृंखला को पूरा कर सकता है»।
एन्थ्रोपिक अपने सुरक्षा परीक्षणों में इसी तर्क को अपनाती है। विशेषज्ञ पहले यह निर्धारित करते हैं कि वे किस खतरे की जांच करना चाहते हैं, नुकसान पहुंचाने के लिए किस प्रकार की जानकारी का उपयोग किया जा सकता है और मॉडल को उस कार्रवाई में किसी को प्रभावी ढंग से सहायता करने के लिए क्या आवश्यक होगा। उदाहरण के लिए, जैविक सुरक्षा जोखिमों के मूल्यांकन में, बायोसेफ्टी विशेषज्ञों के साथ परीक्षणों पर 150 घंटे से अधिक खर्च किए गए।
परमाणु जोखिमों के मूल्यांकन में भी ऐसा ही हुआ। संयुक्त राज्य अमेरिका के नेशनल न्यूक्लियर सिक्योरिटी एडमिनिस्ट्रेशन (NNSA) के सहयोग से, एजेंसी के विशेषज्ञों ने एक नियंत्रित वातावरण में क्लॉड मॉडलों का परीक्षण करने के लिए एक वर्ष समर्पित किया। इस काम ने एन्थ्रोपिक को एक उपकरण बनाने की अनुमति दी जो परमाणु हथियार विकास से संबंधित संभावित बातचीत की पहचान कर सकता है। प्रारंभिक परीक्षणों में, उपकरण ने परमाणु हथियारों से संबंधित 94.8% प्रश्नों की पहचान की और मूल्यांकित सेट में कोई झूठे सकारात्मक दर्ज नहीं किया, जिससे 96.2% की समग्र सटीकता हासिल हुई। एन्थ्रोपिक के अनुसार, सिस्टम को बाद में दुरुपयोग का पता लगाने में सहायता के लिए आंशिक रूप से क्लॉड ट्रैफ़िक में एकीकृत किया गया था।
गावा के अनुसार, «प्रक्रिया सामान्य रूप से एक खतरा मॉडल से शुरू होती है: संभावित हमलावर कौन है, उसका लक्ष्य क्या है, उसके पास क्या संसाधन हैं और सफलता क्या मानी जाएगी»। इसके आधार पर, भेद्यता का संकेत देने वाले व्यवहार को प्रेरित करने का प्रयास करने के लिए परिदृश्य तैयार किए जाते हैं।
परीक्षण केवल मॉडल को एक प्रत्यक्ष कमांड तक सीमित नहीं हैं। पेशेवर कई चरणों में बातचीत की जांच कर सकते हैं, उसी अनुरोध के पुनर्गठन, भाषा और संदर्भ में परिवर्तन, उपकरणों, स्वायत्त एजेंटों और तकनीकों के संयोजन का उपयोग कर सकते हैं। इरादा ऐसी स्थितियां ढूंढना है जहां एक अलग सुरक्षा कार्यशील लगती है, लेकिन जब विभिन्न संसाधनों को संयोजित किया जाता है तो उसे दरकिनार किया जा सकता है।
विशेषज्ञों द्वारा समस्या की पहचान करने के बाद, एन्थ्रोपिक इस स्थिति को एक परीक्षण में बदल सकती है जिसे सैकड़ों या हजारों विविधताओं में दोहराया जाएगा। इस प्रकार, कंपनी यह सत्यापित करती है कि क्या खामी बनी रहती है और क्या मॉडल पर लागू किए गए संशोधन वास्तव में मुद्दे का समाधान करते हैं। इस प्रक्रिया में AI का भी उपयोग किया जाता है: एक मॉडल दूसरे सिस्टम का परीक्षण करने के लिए हमले के प्रयास उत्पन्न कर सकता है, और परिणामों का उपयोग नई रक्षा के तरीके विकसित करने के लिए किया जाता है। यह सुनिश्चित करने के लिए प्रक्रिया दोहराई जाती है कि बाधाएं चालू रहें।
जैसे-जैसे मॉडल सिस्टम का फायदा उठाने के तरीके खोजने में सक्षम होते जाते हैं, उनका परीक्षण करने की आवश्यकता बढ़ती जाती है। मई 2026 में, एन्थ्रोपिक ने घोषणा की कि क्लॉड मिथोस प्रीव्यू कमजोरियों की खोज करने, उन्हें शोषण वैक्टर में बदलने और पूर्ण हमलों को निष्पादित करने के लिए विभिन्न चरणों को संयोजित करने में सक्षम था।
एक अन्य अध्ययन में, एन्थ्रोपिक ने साइबर सुरक्षा चुनौतियों में क्लॉड ओपस 4 और क्लॉड सोनेट 4 का मूल्यांकन किया, जो व्यक्तिगत अभ्यासों से लेकर जटिल नेटवर्क सिमुलेशन तक भिन्न थे। कंपनी ने बताया कि मॉडलों ने दोषों की पहचान करने और बहु-चरणीय हमलों को निष्पादित करने दोनों में प्रगति दिखाई, हालांकि वे अभी भी अप्रत्याशितों के सामने विस्तृत योजनाओं को बनाए रखने में कठिनाइयों का सामना कर रहे थे।
अनोखी खामियों, जिन्हें ज़ीरो-डे कहा जाता है, की खोज में भी प्रगति उल्लेखनीय है। फरवरी में, एन्थ्रोपिक ने सूचित किया कि क्लॉड ओपस 4.6 ने पिछले संस्करणों की तुलना में बड़े पैमाने पर महत्वपूर्ण कमजोरियों को खोजने की क्षमता में काफी सुधार किया था। कंपनी का तर्क है कि इस क्षमता का उपयोग सिस्टम की सुरक्षा को मजबूत करने के लिए किया जा सकता है।
गैब्रियल कुन्हा के लिए, ऐसी घटनाएं इस बात को सही ठहराने में मदद करती हैं कि निगमों को न केवल एकल प्रतिक्रियाओं का परीक्षण करना चाहिए, बल्कि मॉडलों की विभिन्न संसाधनों को एक लक्ष्य प्राप्त करने के लिए एकीकृत करने की क्षमता का भी परीक्षण करना चाहिए। एक सिस्टम जितना अधिक स्वायत्त रूप से कार्य करता है, उतना ही अधिक मूल्यांकन करने की आवश्यकता होती है कि जब ये क्षमताएं एक साथ उपयोग की जाती हैं तो क्या हो सकता है।
एन्थ्रोपिक स्वयं इस विकास पर नज़र रखने के लिए फ्रंटियर रेड टीम बनाए रखता है। 2026 में, समूह ने कमजोरियों के शोषण, साइबर हमलों और दुर्भावनापूर्ण अभिनेताओं द्वारा AI के उपयोग से जुड़े खतरों पर विश्लेषण जारी किया। घोषित उद्देश्य मॉडलों की वर्तमान क्षमताओं को समझना और उनके विकास के साथ क्या उभर सकता है, इसकी भविष्यवाणी करना है।
इन सभी प्रयासों के बावजूद, परीक्षण AI की पूर्ण सुरक्षा की गारंटी नहीं देते हैं। कमांड, संदर्भ, उपकरणों और मॉडल के व्यवहार के बीच संभावित संयोजनों की एक लगभग अनंत मात्रा मौजूद है। इसके अतिरिक्त, नई कार्यक्षमताएं या संस्करण पूर्व मूल्यांकन में मौजूद नहीं होने वाली कमजोरियों को पेश कर सकते हैं।
प्राथमिक सीमा यह है कि कोई भी रेड टीम उन सभी परिदृश्यों को पूरी तरह से कवर नहीं कर सकती है जो AI की सुरक्षा की निश्चितता का प्रमाण देंगे। मॉडल संभाव्य प्रकृति के होते हैं, इंटरैक्शन स्थान लगभग अनंत होता है और हमलावर लगातार अपनी रणनीतियों को अनुकूलित करते रहते हैं।
वल्टस के CTO रोड्रिगो गावा बताते हैं कि एन्थ्रोपिक स्वयं इन सीमाओं को स्वीकार करती है। AI सुरक्षा पर एक विश्लेषण में, कंपनी का दावा है कि राष्ट्रीय सुरक्षा जोखिमों के लिए परीक्षण अभी भी 'विज्ञान से अधिक कला' हैं, क्योंकि मॉडलों में चिंताजनक व्यवहार को प्रेरित करने के लिए कोई पूरी तरह से मानकीकृत तरीका नहीं है।
दो प्रकार की त्रुटियों के बीच भी एक संतुलन है: एक झूठा नकारात्मक तब होता है जब दुरुपयोग के प्रयास का पता नहीं चलता है और सुरक्षा तंत्रों से गुजर जाता है। जबकि एक झूठा सकारात्मक गलत तरीके से खतरनाक वर्गीकृत होने के कारण एक वैध गतिविधि को ब्लॉक कर सकता है।
इस कारण से, एन्थ्रोपिक कई सुरक्षा तंत्र लागू करती है। इनमें सुरक्षा परीक्षण, खामियां खोजने वालों के लिए पुरस्कार कार्यक्रम, निगरानी और मॉडल की बाधाओं को दरकिनार करने के प्रयासों की पहचान करने के लिए स्वचालित सिस्टम शामिल हैं।
फ्रंटियर सेफ्टी रोडमैप में, कंपनी ने जनवरी 2027 तक रासायनिक और जैविक हथियारों के खिलाफ सुरक्षा को दरकिनार करने के नए तरीकों को खोजने में सक्षम एक प्रणाली विकसित करने का लक्ष्य रखा है। एन्थ्रोपिक जटिल साइबर हमलों की स्वचालित रूप से जांच करने के लिए उपकरण बनाने की भी योजना बना रही है जिसमें क्लॉड शामिल है।
एन्थ्रोपिक द्वारा खुली रिक्तियां दर्शाती हैं कि यह संरचना व्यवहार में कैसे काम करती है। कंपनी विभिन्न भूमिकाओं के लिए पेशेवरों की तलाश कर रही है, जैसे जैविक सुरक्षा विशेषज्ञ, रासायनिक और विस्फोटक जोखिम, साइबर सुरक्षा, धोखाधड़ी और घोटाले, साथ ही रेडियोलॉजिकल और परमाणु जोखिम।
भूमिकाएं अलग-अलग हैं। उनमें से एक रेड टीम इंजीनियर की है, जो शोषण होने से पहले प्रणालियों में खामियां खोजने का प्रयास करने के लिए जिम्मेदार है। इस पद के लिए AI सुरक्षा और सुरक्षा परीक्षण में अनुभव की आवश्यकता होती है, साथ ही मॉडल की बाधाओं को दरकिनार करने के तरीके के बारे में ज्ञान भी आवश्यक है। घोषित वेतन सीमा $320 हजार से $405 हजार प्रति वर्ष है।
दूसरी स्थिति रासायनिक, जैविक, रेडियोलॉजिकल, परमाणु और विस्फोटक जोखिमों से संबंधित खतरे की खुफिया प्रबंधक की है। यह पेशेवर एक समर्पित टीम का नेतृत्व करेगा जो इन उद्देश्यों के लिए एन्थ्रोपिक सिस्टम का उपयोग करने के प्रयासों का पता लगाने और जांच करने के लिए जिम्मेदार होगी, जिसका वार्षिक वेतन $455 हजार है।
ऐसे भी पद हैं जिनके लिए जोखिम क्षेत्र में प्रत्यक्ष अनुभव की आवश्यकता होती है। उदाहरण के लिए, जैविक सुरक्षा पर केंद्रित एक रिक्ति में जीवन विज्ञान में न्यूनतम आठ वर्षों का व्यावहारिक अनुभव, साथ ही आणविक जीव विज्ञान, दवा खोज या कम्प्यूटेशनल बायोलॉजी में ज्ञान की आवश्यकता होती है। कार्यों की यह विविधता दर्शाती है कि एन्थ्रोपिक की रणनीति केवल क्लॉड द्वारा कुछ अनुरोधों को अस्वीकार करने से परे है; यह कमजोरियों की खोज करने, जोखिमों का मूल्यांकन करने, संभावित दुरुपयोग की जांच करने और इन खोजों को सुरक्षा के नए रूपों में बदलने के लिए पेशेवरों को काम पर रखने का लक्ष्य रखती है, यह पहचानते हुए कि मॉडलों की क्षमताओं में वृद्धि के लिए इस काम के पैमाने का विस्तार आवश्यक है।
