क्या हुआ
Meta ने ऐसे विज्ञापनों को प्रदर्शित करने की अनुमति दी जो महिला राजनेताओं के स्पष्ट डीपफेक बनाने को बढ़ावा देते हैं। यह Kromix नामक टूल के बारे में है, जो खुद को "AI image styler" कहता है। एक वीडियो में, अमेरिकी ध्वज की पृष्ठभूमि पर एक महिला दिखाई दी जो एक प्रसिद्ध अमेरिकी राजनेता से मिलती-जुलती थी, जिसमें "What if she moved?" लिखा था — पलक झपकाने के बाद कैमरा उसी चेहरे वाले अश्लील वीडियो पर चला गया। विज्ञापन के साथ एक वॉयस संदेश भी था जिसमें दावा किया गया था कि सेवा में "कोई प्रतिबंध नहीं" है, "सभी पात्र वास्तविक लोग हैं" और यह "एक AI है जिसे वास्तव में पुरुषों द्वारा उपयोग किया जाता है"।
Meta के नियमों के बावजूद, जो यौन सामग्री और न्यूडिफाई ऐप्स के प्रचार को प्रतिबंधित करते हैं, यह अभियान कुछ समय तक चला। वीडियो Tech Transparency Project के शोधकर्ताओं द्वारा खोजा गया। Meta की विज्ञापन लाइब्रेरी के अनुसार, यह अभियान केवल पुरुषों को लक्षित करता था और "Unleash Next-gen AI Magic" नारे का उपयोग करता था। कुल मिलाकर, खाते से 32 विज्ञापन जुड़े थे, जो 5 से 46 घंटों तक दिखाए गए; अधिकांश ने दस से अधिक इम्प्रेशन नहीं प्राप्त किए।
ऐप के बारे में क्या ज्ञात है
पत्रकारों के संपर्क करने के समय Kromix अभी भी App Store पर उपलब्ध था। भुगतान किया गया संस्करण "bedroom rape" और "Disney love" जैसे भयावह नामों वाले परिदृश्यों के लिए फ़ोटो अपलोड करने की अनुमति देता था। अंदर स्पाइडर-मैन पोशाक में महिलाओं के AI-जनित पोर्न वीडियो भी थे। टिप्पणी के अनुरोध पर डेवलपर्स ने कोई जवाब नहीं दिया।
Apple को पहले भी डीपफेक टूल्स के कारण आलोचना का सामना करना पड़ा है। सैन फ्रांसिस्को के शहर अटॉर्नी ने कंपनी को एक पत्र भेजकर 13 विशिष्ट ऐप्स को ब्लॉक करने और स्पष्ट नकली छवियों की बिक्री में "सहायता" बंद करने की मांग की थी।
यह मॉडरेशन से कैसे गुजर सकता था
Meta के दस्तावेज़ों के अनुसार, प्रकाशन से पहले हर विज्ञापन स्वचालित जांच से गुजरता है। लेकिन Kromix के मामले में, विज्ञापन में समुद्र तट, पहाड़ों और झरनों वाले कवर का उपयोग किया गया — अश्लील वीडियो क्लिक करने के बाद ही खुलता था। Meta ने पुष्टि की कि वे इस रणनीति के बारे में जानते हैं। इसके अलावा, विज्ञापन पेज 3 अगस्त को बनाया गया था और उसके कोई फॉलोअर नहीं थे — जो अपने आप में संदिग्ध लग रहा था।
मॉडरेशन ने वॉयस ओवर पर भी ध्यान नहीं दिया, जहां सेवा ने खुद को बिना किसी प्रतिबंध के एक टूल के रूप में सीधे विज्ञापित किया। अंततः, WIRED के अनुरोध के बाद ही विज्ञापन हटाया गया।
यह एक अकेला मामला क्यों नहीं है
राजनेता, विशेष रूप से महिलाएं, वर्षों से अनैच्छिक डीपफेक के निशाने पर रही हैं। American Sunlight Project के बेंजामिन शुल्त्स ने नोट किया कि आधिकारिक पोर्ट्रेट और प्रेस कॉन्फ्रेंस की रिकॉर्डिंग इंटरनेट के किसी भी उपयोगकर्ता के लिए उपलब्ध टूल्स के लिए कच्चा माल बन गई हैं। जनवरी में, Grok के माध्यम से लगभग तीन मिलियन यौन छवियां बनाई गईं; स्वीडन, इंग्लैंड और उत्तरी आयरलैंड में महिला अधिकारी निशाने पर थीं।
Meta, जाहिरा तौर पर, शोधकर्ताओं द्वारा हजारों ऐसे विज्ञापन खोजे जाने के बाद समस्या से निपटने की कोशिश कर रहा है। कंपनी का दावा है कि उसने नवंबर से जनवरी तक Facebook और Instagram पर ऐसे 344,000 विज्ञापन हटाए, और न्यूडिफाई सेवाओं को बढ़ावा देने वाली कम से कम एक फर्म के खिलाफ मुकदमा दायर किया। Meta की सिंडी साउथवर्थ ने ऐसे टूल्स को "घृणित" बताया और उन्हें ब्लॉक करने के लिए एक नई AI तकनीक और अन्य प्लेटफार्मों के साथ डेटा साझा करने के बारे में बताया।
इसका क्या मतलब है
Kromix विज्ञापन को खुद लगभग शून्य पहुंच मिली — अधिकांश विज्ञापन दस बार से कम दिखाए गए। लेकिन तथ्य खुद महत्वपूर्ण है: Meta का स्वचालित मॉडरेशन फिर से ऐसी सामग्री को पारित कर गया जो उसके अपने नियमों का उल्लंघन करती है। जब तक जांच कवर पर निर्भर रहती है और न तो वीडियो की सामग्री और न ही ऑडियो ट्रैक का विश्लेषण करती है, ऐसे अभियान वापस आते रहेंगे — संभवतः और भी आक्रामक परिदृश्यों के साथ।
