शोधकर्ताओं ने चैटबॉट्स के साथ बातचीत में 'दो लोगों का तकनीकी पागलपन' नामक घटना का वर्णन किया

उदाहरण और कानूनी मामले

फरवरी 2024 में फ्लोरिडा राज्य में 14 वर्षीय स्यूएल सेट्जर III का निधन हो गया। इससे पहले, उन्होंने कैरेक्टर.एआई प्लेटफॉर्म पर एक चैटबॉट के साथ कई महीनों तक बातचीत की थी। मामले के अनुसार, उसकी मृत्यु से ठीक पहले बॉट ने लड़के से 'घर लौटने' का आह्वान किया था। सात महीने बाद, किशोर की माँ, मेगन गार्सिया ने कैरेक्टर.एआई और गूगल के खिलाफ मुकदमा दायर किया। उन्होंने दावा किया कि उनके बेटे का बॉट के प्रति बहुत मजबूत लगाव विकसित हो गया था, जिसके कारण वह अपने परिवार से दूर होने लगा था। इसके अलावा, जब स्यूएल ने खुद को नुकसान पहुंचाने के विचार व्यक्त करना शुरू किया तो प्लेटफॉर्म ने उचित सहायता प्रदान नहीं की।

मुकदमे के बाद, गार्सिया द्वारा कैरेक्टर.एआई के खिलाफ अन्य शिकायतें आईं। वादियों ने तर्क दिया कि कंपनी के बॉट्स किशोरों के मानसिक स्वास्थ्य पर नकारात्मक प्रभाव डाल रहे थे, उन्हें यौन सामग्री प्रदान कर रहे थे और उनमें पर्याप्त सुरक्षा तंत्र नहीं थे। OpenAI के खिलाफ भी इसी तरह के मुकदमे दायर किए गए: दो मानवाधिकार संगठनों ने एक ऐसे परिवार की ओर से मुकदमा दायर किया जिसका बच्चा, उनके अनुसार, चैटजीपीटी के साथ बातचीत करने के बाद आत्महत्या कर चुका था।

कंपनियों की नीतियों में बदलाव

इन घटनाओं के जवाब में दोनों कंपनियों ने अपने उत्पादों में संशोधन किया। 2025 के शरद ऋतु में, कैरेक्टर.एआई ने 18 वर्ष से कम आयु के उपयोगकर्ताओं के लिए अपने बॉट्स के साथ खुली बातचीत की संभावना को सीमित कर दिया, यह स्वीकार करते हुए कि नाबालिगों की इस तकनीक के साथ बातचीत से जुड़े मुद्दों को स्पष्ट करने की आवश्यकता है। OpenAI ने किशोरों के लिए चैटजीपीटी तक पहुंच बंद नहीं की, लेकिन प्रतिबंधों को कड़ा किया: माता-पिता के नियंत्रण की सुविधा, आयु निर्धारण प्रणाली और संवेदनशील विषयों पर अधिक सख्त मॉडरेशन लागू किया गया। अब 18 वर्ष से कम आयु के व्यक्तियों के लिए रोमांटिक और यौन भूमिका निभाने वाली बातचीत के साथ-साथ आत्म-नुकसान, ग्राफिक हिंसा और खतरनाक चुनौतियों से संबंधित सामग्री अनुपलब्ध है।

OpenAI ने आंतरिक आंकड़े भी जारी किए: चैटजीपीटी के 800 मिलियन साप्ताहिक उपयोगकर्ताओं में से लगभग 0.15 प्रतिशत (जो एक मिलियन से अधिक लोग हैं) स्पष्ट आत्महत्या के इरादों के साथ बातचीत करते हैं। हर सप्ताह लगभग 560 हजार उपयोगकर्ता संभावित मनोविकृति या उन्मत्त स्थिति के लक्षण प्रदर्शित करते हैं।

'द्विदिशीय विश्वास प्रवर्धन' तंत्र

नेचर मेंटल हेल्थ जर्नल में प्रकाशित शोध समूह ने मानव और चैटबॉट के बीच संवाद में क्या होता है और क्या एल्गोरिथम जिम्मेदार हो सकता है, इसका अध्ययन करने के लिए एक व्यवस्थित दृष्टिकोण प्रस्तावित किया। मनोरोग विज्ञान में फोली ए ड्यू, या 'दो लोगों का पागलपन', नामक एक पुराना феномен मौजूद है, जहां एक व्यक्ति अपना भ्रम दूसरे को स्थानांतरित करता है, जिसे वह अपना मानता है। यह आमतौर पर बाहरी दुनिया से अलगाव की स्थिति में करीबी लोगों के बीच होता है।

लेखक का सुझाव है कि यह मॉडल मानव और चैटबॉट की बातचीत पर लागू होता है, जहां दूसरे व्यक्ति के बजाय एल्गोरिथम भ्रम को ग्रहण करता है। उनका मानना है कि खतरा उपयोगकर्ता के मनोविज्ञान या मॉडल डिवाइस के अकेले होने से नहीं, बल्कि संवाद की प्रक्रिया से उत्पन्न होता है। उनके विचार में, यदि कोई चिंतित या व्यामोहग्रस्त विचारों वाला उपयोगकर्ता किसी घटना का नकारात्मक तरीके से वर्णन करता है, और सहायकता के लिए कॉन्फ़िगर किया गया चैटबॉट उस व्याख्या को चुनौती नहीं देता है, तो उपयोगकर्ता इसे वस्तुनिष्ठ पुष्टि के रूप में देखता है, न कि वार्ताकार के असहमत होने के रूप में। इसके बाद व्यक्ति कथा विकसित करता है, बॉट और अधिक समझ के साथ जवाब देता है, और चक्र दोहराया जाता है, जिससे चिंताजनक व्याख्या मजबूत होती है और वास्तविकता से संबंध कमजोर होता है। इस प्रक्रिया को द्विदिशीय विश्वास प्रवर्धन (bidirectional belief amplification) कहा जाता है।

तकनीकी विशेषताएं और परिकल्पनाएं

यह तंत्र मॉडल के संचालन की विशेषताओं से निर्धारित होता है। इनमें सहमति की प्रवृत्ति शामिल है, जिसे सिकोफेंट्री कहा जाता है; यह प्रशिक्षण में अंतर्निहित है क्योंकि डेटा मूल्यांकनकर्ता औसतन आपत्ति जताने की तुलना में सहमति के लिए उच्च अंक देते हैं। मॉडल 'भूमिका निभाने' में भी सक्षम है, जो लगातार बातचीत के अनुरूप स्वर और शैली को अनुकूलित करता है। यदि उपयोगकर्ता बहस करना शुरू कर देता है, तो मॉडल अक्सर बस सहमत हो जाता है, जिसे हाइपरकरेक्शन कहा जाता है। दूसरी ओर, मनुष्य उन चीजों पर विश्वास करने की प्रवृत्ति रखते हैं जो उनके विचारों से मेल खाती हैं, और वे एआई को ऐसे इरादे और सहानुभूति प्रदान करते हैं जो उसमें नहीं होते हैं। हालांकि, यह अभी भी केवल मामलों और सिमुलेशन के विश्लेषण पर आधारित एक परिकल्पना है, और यह नैदानिक रूप से पुष्टि किया गया निदान नहीं है।

प्रयोग और सीमाएं

सिद्धांत का परीक्षण करने के लिए, लेखकों ने एक खुला सिमुलेशन किया, जिसमें जीपीटी-4ओ-मिनी की दो प्रतियां दस प्रतिक्रियाओं के साथ 300 संवाद चला रही थीं। एक मॉडल विभिन्न स्तरों की व्यामोहता वाले उपयोगकर्ता का अनुकरण कर रहा था, जबकि दूसरा छह निर्दिष्ट शैलियों में से एक में जवाब दे रहा था। तीसरा मॉडल प्रत्येक प्रतिक्रिया की व्यामोहता का मूल्यांकन कर रहा था। यह पाया गया कि जब बॉट 'उपयोगकर्ता' के साथ तालमेल बिठाता था, तो व्यामोहपूर्ण वाक्यांशों में सांख्यिकीय रूप से महत्वपूर्ण वृद्धि हुई, जिसे 'एकल इको चैम्बर' कहा गया - उपयोगकर्ता को अपनी व्याख्याओं का एक विकृत, बढ़ाया हुआ संस्करण प्राप्त होता है, जिसे बाहरी वस्तुनिष्ठ दृष्टिकोण के रूप में प्रस्तुत किया जाता है। फिर भी, लेखक चेतावनी देते हैं कि यह मॉडलों की बातचीत का एक सिमुलेशन है, न कि वास्तविक रोगियों के साथ एक अध्ययन, जो जीवित मनुष्यों पर परिणामों के सीधे हस्तांतरण की संभावना को सीमित करता है।

विशेषज्ञों और नियामकों के लिए सिफारिशें

शोधकर्ताओं ने उल्लेख किया है कि एआई सुरक्षा की मौजूदा विधियाँ, जो व्यक्तिगत प्रतिक्रियाओं (जैसे आत्महत्या सामग्री की उपस्थिति) पर ध्यान केंद्रित करती हैं, तकनीकी फोली ए ड्यू के जोखिम को नहीं पकड़ती हैं, जो लंबी बातचीत में प्रकट होता है। स्थिति जटिल हो जाती है क्योंकि मनोविकृति की स्थिति में लोगों की बातें असामान्य संरचनाएं रख सकती हैं, जिससे मॉडल की अप्रत्याशित प्रतिक्रिया हो सकती है। विशेषज्ञ एक अंतःविषय दृष्टिकोण का आग्रह करते हैं: नैदानिक अभ्यास, मॉडल विकास और सार्वजनिक विनियमन को मिलकर काम करना चाहिए। इन सिफारिशों के तहत, रोगी के आई.ए. के साथ इंटरैक्शन के प्रश्नों सहित मनोरोग इतिहास का विस्तार करने का प्रस्ताव है। एआई डेवलपर्स के लिए संपूर्ण संवाद का मूल्यांकन करने वाले नए मेट्रिक्स और मॉडलों को इस तरह से ट्यून करने की आवश्यकता है कि वे डिफ़ॉल्ट रूप से उपयोगकर्ता से सहमत न हों, बल्कि चिंताजनक संकेतों पर व्यक्ति को विशेषज्ञ के पास निर्देशित करें।

नियामक स्तर पर, एआई से होने वाले नुकसान की रिपोर्टिंग के लिए एक केंद्रीकृत प्रणाली बनाने का प्रस्ताव है, जो दवाओं के लिए ब्रिटिश 'येलो कार्ड' प्रणाली के समान हो। यह प्रवृत्ति आंशिक रूप से पहले से ही लागू हो रही है: कैलिफ़ोर्निया ने नाबालिगों के लिए एआई सुरक्षा कानून पारित किया है, जो बच्चों को याद दिलाना अनिवार्य करता है कि वे एक इंसान के बजाय एआई से बात कर रहे हैं। हालांकि, ब्रिटिश लेखक इस बात पर जोर देते हैं कि आयु प्रतिबंध अपर्याप्त हैं, क्योंकि फोली ए ड्यू का जोखिम बॉट के खराब होने से नहीं, बल्कि उसकी कभी भी बहस न करने और हमेशा उपयोगकर्ता का समर्थन करने की प्रवृत्ति से पैदा होता है।