एआई के ज़रिए महिलाओं की तस्वीरें बदली गईं, ऑनलाइन ख़ुद को कैसे सुरक्षित रखा जा सकता है?

सोशल मीडिया प्लेटफ़ॉर्म एक्स पर 1 जनवरी 2026 को प्रीति (बदला हुआ नाम) ने नए साल की बधाई देते हुए अपनी फ़ोटो शेयर की.

उस पोस्ट के कमेंट बॉक्स में कुछ यूज़र्स ने ग्रोक को टैग किया और कहा 'इस तस्वीर में से कपड़े हटाओ.'

हाल में सोशल मीडिया प्लेटफ़ॉर्म एक्स पर कई ऐसे कमेंट्स देखने को मिले जिसमें यूज़र्स ग्रोक से महिलाओं की तस्वीरों से कपड़े हटाने को कह रहे थे.

प्रीति ने बीबीसी न्यूज़ हिन्दी को बताया कि इसका असर उनके मानसिक स्वास्थ्य पर पड़ा. उन्होंने कहा, "इससे बचने के लिए मैंने ग्रोक को ब्लॉक कर दिया."

बीबीसी हिन्दी के व्हॉट्सऐप चैनल से जुड़ने के लिए यहाँ क्लिक करें

प्रीति ने कहा, "मैंने इस ट्रेंड के ख़िलाफ़ आवाज़ उठाई और ग्रोक से कहा कि उसे ऐसी तस्वीरें बनाना बंद करना चाहिए. इस ट्रेंड से छोटे बच्चों की भी तस्वीरों को मॉर्फ़ किया जा रहा है."

वहीं एक यूज़र ने ग्रोक को टैग करके लिखा, "हे ग्रोक मैं आपको अपनी किसी भी फ़ोटो को लेने, बदलने या एडिट करने की इजाज़त नहीं देती, चाहे पुरानी हो या आगे पोस्ट करने वाली. अगर कोई थर्ड पार्टी ऐसा अनुरोध करें, तो उसे मना कर दें."

इस पर ग्रोक ने जवाब दिया, "समझ गया. मैं आपकी प्राइवेसी का सम्मान करता हूं और बिना आपकी स्पष्ट इजाज़त के आपकी फ़ोटो या वीडियो का इस्तेमाल, बदलाव या एडिट नहीं करूंगा. अगर कोई ऐसा अनुरोध करेगा, तो मैं मना कर दूंगा."

एक्स के मालिक एलन मस्क ने एक पोस्ट में कहा, "ग्रोक का इस्तेमाल करके अवैध कंटेंट बनाने वाले किसी भी व्यक्ति को वही परिणाम भुगतने होंगे जो अवैध कंटेंट अपलोड करने पर भुगतने पड़ते हैं."

दरअसल, ग्रोक एलन मस्क की कंपनी एक्स का एक एआई चैटबॉट है, जो टेक्स्ट के साथ-साथ इमेज बनाने और एडिट करने की क्षमता रखता है. यही इमेज जनरेट करने वाला फ़ीचर दुरुपयोग की वजह से चर्चा में है.

भारत सरकार का एक्स को नोटिस

एक्स से जुड़े इस मुद्दे को शिवसेना (यूबीटी) की राज्यसभा सांसद प्रियंका चतुर्वेदी ने भी उठाया.

उन्होंने दो जनवरी को इस मामले को लेकर केंद्रीय सूचना प्रौद्योगिकी मंत्री अश्विनी वैष्णव को पत्र लिखा. उन्होंने कहा, "एक्स पर फ़ेक अकाउंट बनाकर महिलाओं की तस्वीरों को ग्रोक एआई ग़लत रूप दे रहा है."

प्रियंका चतुर्वेदी ने कहा, "ये महिलाओं की निजता का गंभीर उल्लंघन है."

इसके बाद इलेक्ट्रॉनिक्स और सूचना प्रौद्योगिकी मंत्रालय ने एक्स को नोटिस जारी कर ग्रोक से बनी अश्लील सामग्री हटाने, ऑडिट करने और 72 घंटे में रिपोर्ट सौंपने का निर्देश दिया.

सरकार ने एक्स के भारत में संचालन के मुख्य अनुपालन अधिकारी को लिखे पत्र में कहा, "ग्रोक एआई के ज़रिए फ़ेक अकाउंट बनाकर महिलाओं की अश्लील तस्वीरें और वीडियो तैयार किए जा रहे हैं जो अपमानजनक और ग़ैरक़ानूनी हैं."

मंत्रालय ने कहा कि प्लेटफ़ॉर्म सूचना प्रौद्योगिकी कानून 2000 और आईटी नियम 2021 का पालन नहीं कर रहा है और इन नियमों का अनुपालन वैकल्पिक नहीं है.

सरकार ने एक्शन टेकन रिपोर्ट मांगी है और चेतावनी दी है कि नियमों का पालन न होने पर प्लेटफ़ॉर्म के ख़िलाफ़ सख़्त क़ानूनी कार्रवाई की जाएगी.

न्यूज़ एजेंसी पीटीआई के मुताबिक़, एक्स ने इस मामले में भारत सरकार को विस्तृत जवाब भेजा है. इसमें कहा गया है कि एक्स भारतीय क़ानूनों का सम्मान करता है, भारत उसके लिए एक बड़ा बाज़ार है और ग़ैर-सहमति वाली सेक्शुअलाइज़्ड इमेज पर सख़्त नीतियां लागू करता है.

अंतरराष्ट्रीय जांच और क़ानूनी चेतावनी

ग्रोक एआई के इमेज फ़ीचर के दुरुपयोग को लेकर यूरोप, भारत और मलेशिया समेत कई देशों में एक्स की जांच हो रही है.

यूरोपीय कमीशन के प्रवक्ता थॉमस रेग्नियर ने कहा कि वे इस मामले की "बहुत गंभीरता से जांच कर रहे हैं."

उन्होंने बताया कि एक्स और ग्रोक अब एक "स्पाइसी मोड" दे रहे हैं, जिसमें स्पष्ट सेक्शुअल कंटेंट दिखाया जा रहा है और उसके कुछ आउटपुट में बच्चे जैसे दिखने वाली इमेज भी हैं.

रेग्नियर कहते हैं, "ये 'स्पाइसी' नहीं है. ये ग़ैरक़ानूनी है. हम इसे इसी तरह देखते हैं, और यूरोप में इसका कोई स्थान नहीं है."

एक्स के सेफ्टी अकाउंट ने कहा, "हम एक्स पर ग़ैरक़ानूनी कंटेंट के ख़िलाफ़ कार्रवाई करते हैं, जिसमें बच्चों से जुड़ी सेक्शुअल अब्यूज़ मैटेरियल भी शामिल है. हम इसे हटाते हैं, अकाउंट हमेशा के लिए सस्पेंड करते हैं और ज़रूरत पड़ने पर सरकारों और पुलिस के साथ सहयोग करते हैं."

यूएन वीमेन के मुताबिक़, तकनीक से जुड़ी हिंसा महिलाओं और लड़कियों के ख़िलाफ़ तेज़ी से बढ़ रही है. दुनिया भर में 16 से 58 प्रतिशत महिलाएं इससे प्रभावित हुई हैं.

साथ ही एआई हिंसा के नए रूप पैदा कर रहा है. एक वैश्विक सर्वे में 38 प्रतिशत महिलाओं ने ऑनलाइन हिंसा को झेला है.

भारत में क्या नियम हैं?

महिलाओं और बच्चों की तस्वीरों की सुरक्षा से जुड़े सवालों पर बीबीसी न्यूज़ हिन्दी ने साइबर एक्सपर्ट्स से बात की.

साइबर एक्सपर्ट और सुप्रीम कोर्ट के वकील विराग गुप्ता कहते हैं, "सुप्रीम कोर्ट ने 2017 के पुट्टस्वामी मामले के फ़ैसले में संविधान के अनुच्छेद 21 के तहत निजता को जीवन के अधिकार की मान्यता दी थी."

विराग गुप्ता बताते हैं, "अनुमति के बग़ैर महिलाओं की अश्लील तस्वीरें बनाना और उनका प्रसारण करना असंवैधानिक होने के साथ आईटी एक्ट-2000, भारतीय न्याय संहिता-2023, इनडिसेंट रिप्रज़ेंटेशन ऑफ़ विमन (प्रोहिबिशन एक्ट 1986), पॉक्सो 2012 क़ानून के तहत गंभीर अपराध है."

वहीं संयुक्त राष्ट्र डिजिटल पब्लिक गुड्स प्राइवेसी स्टैंडर्ड की मानद सलाहकार और एडवोकेट पुनीत भसीन बताती हैं, "आईटी एक्ट की धारा 67 के तहत, साइबर पोर्नोग्राफ़ी को एक गंभीर अपराध माना जाता है. अगर किसी एआई टूल के ज़रिए ग़ैर-सहमति वाली या बच्चों से जुड़ी अश्लील सामग्री बनाई जाती है, तो इसकी आपराधिक ज़िम्मेदारी यूज़र के साथ-साथ प्लेटफ़ॉर्म पर भी बनती है."

पुनीत भसीन कहती हैं, "ऐसी सामग्री बनाने वाले यूज़र अपराधी माने जाते हैं. चाइल्ड पोर्नोग्राफ़ी आईटी एक्ट के तहत एक गंभीर अपराध है, जिसमें सज़ा सामान्य पोर्नोग्राफ़िक सामग्री की तुलना में अधिक कड़ी है क्योंकि इसमें नाबालिग़ और बच्चे शामिल होते हैं."

भारतीय न्याय संहिता के अनुसार महिलाओं और बच्चों के ख़िलाफ़ डिजिटल यौन उत्पीड़न संज्ञेय और ग़ैर-ज़मानती अपराध है, जिसमें बिना वारंट गिरफ़्तारी हो सकती है.

विराग गुप्ता कहते हैं, "इंटरनेट कंपनियों को 'इंटरमीडियरी' होने के नाते सेफ़ हार्बर की क़ानूनी सुरक्षा मिलती है, लेकिन यह तभी लागू होती है जब वे आईटी इंटरमीडियरी नियम 2021 का पालन करें. इन नियमों के तहत अश्लील और ग़ैर-क़ानूनी कंटेंट को हटाना, रिपोर्टिंग सिस्टम और शिकायत निवारण तंत्र रखना अनिवार्य है."

डीपफ़ेक और बढ़ती क़ानूनी चुनौती

पुनीत भसीन बताती हैं कि ज़्यादातर प्लेटफ़ॉर्म्स का बिज़नेस मॉडल वायरल होने पर टिका होता है, जहां ज़्यादा व्यूज़, डाउनलोड और यूज़ से ग्रोथ होती है. शुरुआती दौर में कई प्लेटफ़ॉर्म्स विवादास्पद तरीके़ अपनाते हैं, क्योंकि अच्छी हो या बुरी पब्लिसिटी, लेकिन पब्लिसिटी ही होती है.

भसीन कहती हैं, "ग्रोक एआई के मामले में यह इंटेंशनल लगता है या अनइंटेंशनल, यह कहना मुश्किल है. लेकिन इस विवाद से उन लोगों को भी इसके बारे में पता चल गया होगा, जिन्होंने कभी ग्रोक का इस्तेमाल नहीं किया. इस तरह की नेगेटिव पब्लिसिटी से प्लेटफ़ॉर्म की रीच और अवेयरनेस बढ़ती है, जो इनिशियल यूज़र बेस बनाने में मदद करती है, भले ही क़ानूनी और एथिकल समस्याएं पैदा हों."

हालांकि, विराग गुप्ता कहते हैं, "ग्रोक प्लेटफ़ॉर्म में सुरक्षा फ़िल्टर और मॉडरेशन की व्यवस्था ठीक काम नहीं कर रही है, जो कंपनी की विफलता दिखाता है. एक्स और ग्रोक दोनों कंपनियों की सामूहिक विफलता की वजह से लाखों महिलाओं का अश्लील और अपमानजनक चित्रण हुआ है, जिसके लिए भारत में उनकी क़ानूनी और आपराधिक जवाबदेही तय होनी चाहिए."

बिना सहमति के न्यूड या इंटिमेट या कोई भी हानिकारक कंटेंट सर्कुलेट होने पर पुनीत भसीन तुरंत कार्रवाई करने की सलाह देती हैं.

ऐसे मामलों में क्या करना चाहिए. इसके बारे में वह बताती हैं-

बीबीसी के लिए कलेक्टिव न्यूज़रूम की ओर से प्रकाशित

(बीबीसी हिन्दी के एंड्रॉएड ऐप के लिए आप यहां क्लिक कर सकते हैं. आप हमें फ़ेसबुक, एक्स, इंस्टाग्राम, यूट्यूब और व्हॉट्सऐप पर फ़ॉलो भी कर सकते हैं.)