एप्पल और गूगल पर नकली नग्नता बनाने वाले एआई ऐप्स हटाने का दबाव

जांच और चिंताएं

यह पहल जांच के बाद सामने आई है जिसने खुलासा किया कि शुरू में साधारण इमेज एडिटर के रूप में प्रस्तुत किए गए ऐप्स का उपयोग यौन प्रकृति के डीपफेक बनाने के लिए किया जा सकता है। इस प्रकार की सामग्री से सबसे अधिक प्रभावित महिलाएं और लड़कियां हैं।

टेक कंपनियों से मांगें

दोनों तकनीकी दिग्गजों को भेजे गए पत्रों पर सैन फ्रांसिस्को के नगर अभियोजक डेविड चियू ने हस्ताक्षर किए थे। उन्होंने इस बात पर जोर दिया कि बिना अनुमति के अंतरंग छवियों का निर्माण एक अवैध और हानिकारक अभ्यास है, जिसके लिए एप्पल और गूगल को अपने डिजिटल इकोसिस्टम का उपयोग दुरुपयोग को सुविधाजनक बनाने के लिए रोकने की आवश्यकता है।

शहर के प्रतिनिधि ने कंपनियों से इन प्रकार के ऐप्स के डेवलपर्स के साथ किसी भी व्यावसायिक संबंध को समाप्त करने का भी अनुरोध किया। इसके अलावा, यह मांग वर्चुअल स्टोरों के भुगतान प्रणालियों तक फैली हुई है, जहां कंपनियां इन सॉफ्टवेयर द्वारा उत्पन्न राजस्व का हिस्सा प्राप्त करती हैं।

एप्पल और गूगल की प्रतिक्रियाएं

एप्पल और गूगल दोनों ने अपनी संबंधित प्लेटफार्मों पर पोर्नोग्राफी, उत्पीड़न और किसी भी दुरुपयोग वाली सामग्री के खिलाफ सख्त दिशानिर्देश रखने की घोषणा की है। एप्पल ने बताया कि उसने नगरपालिका द्वारा इंगित तीन ऐप्स हटा दिए हैं और शामिल डेवलपर्स के खातों को निलंबित करने की प्रक्रिया शुरू कर दी है। कंपनी ने चेतावनी दी कि यदि अन्य निर्माता पता लगाए गए उल्लंघनों को ठीक नहीं करते हैं तो उन्हें भी हटाया जा सकता है।

दूसरी ओर, गूगल ने सैकड़ों ऐप्स वापस लेने की घोषणा की जिसमें उनकी नीतियों का उल्लंघन करते हुए 'नग्नता' कार्यक्षमता थी। कंपनी ने इसी तरह के उपकरणों को निलंबित करने और ऐप स्टोर के भीतर इस सेवा से संबंधित खोज शर्तों पर प्रतिबंध लगाने की भी जानकारी दी।

पहचाने गए समस्या की प्रकृति

नगरपालिका जांच में उद्धृत शोधों से पता चला कि समस्या केवल स्पष्ट रूप से कृत्रिम नग्नता उपकरणों के रूप में लेबल किए गए ऐप्स तक ही सीमित नहीं है। अध्ययनों ने ऐसे फेस-स्वैप प्रोग्राम्स की खोज की जो सामान्य संपादन सुविधाओं के रूप में प्रस्तुत किए गए थे, लेकिन प्रभावी सुरक्षा उपायों के बिना यौन सामग्री बनाने की अनुमति देते थे।

पाठ में उल्लिखित एक सर्वेक्षण ने एप्पल और गूगल के स्टोरों पर उपलब्ध सैकड़ों फेस-स्वैप ऐप्स की पहचान की। इन कार्यक्रमों का एक बड़ा हिस्सा नग्न छवियों के साथ मोंटाज बनाने की अनुमति देता था, भले ही उनका आधिकारिक तौर पर ऐसा प्रचार न किया गया हो।

जनरेटिव एआई का प्रभाव

उपकरणों के इस प्रसार ने जनरेटिव आर्टिफिशियल इंटेलिजेंस सिस्टम की प्रगति के समानांतर हुआ, जिससे उच्च स्तर की यथार्थता वाली नकली छवियां बनाने के लिए आवश्यक तकनीकी जटिलता काफी कम हो गई। लेख में उद्धृत विशेषज्ञों ने बताया कि इस प्रकार की सामग्री उत्पन्न करने के लिए केवल एक संदर्भ फोटो और कुछ कमांड की आवश्यकता होती है।

अगले कानूनी कदम

सैन फ्रांसिस्को नगर पालिका ने घोषणा की है कि वह उन कंपनियों के खिलाफ कानूनी कार्रवाई का मूल्यांकन जारी रखेगी जो इन उपकरणों के प्रसार की अनुमति देती हैं। निकाय का घोषित उद्देश्य प्लेटफार्मों को नए ऐप्स की उपलब्धता से पहले अपनी विश्लेषण तंत्र को बेहतर बनाने के लिए मजबूर करना है।