Apa yang Terjadi
Meta mengizinkan penayangan iklan yang mempromosikan pembuatan deepfake vulgar dengan tokoh perempuan politisi. Iklan tersebut mempromosikan alat bernama Kromix, yang menyebut dirinya sebagai "penata gaya gambar AI". Dalam salah satu video, seorang perempuan yang mirip dengan politisi Amerika yang terkenal muncul dengan latar belakang bendera AS, dengan keterangan "What if she moved?" — setelah berkedip, kamera beralih ke video pornografi dengan wajah yang sama. Iklan tersebut disertai pesan suara yang mengklaim bahwa layanan ini "tanpa batasan", "semua karakter adalah orang sungguhan", dan bahwa ini adalah "AI yang benar-benar digunakan oleh pria".
Meskipun aturan Meta melarang konten seksual dan promosi aplikasi nudify, kampanye ini sempat berjalan selama beberapa waktu. Video tersebut ditemukan oleh peneliti dari Tech Transparency Project. Menurut pustaka iklan Meta, kampanye ini hanya menargetkan pria dan menggunakan slogan "Unleash Next-gen AI Magic". Total ada 32 iklan yang terhubung dengan akun tersebut, yang ditayangkan antara 5 hingga 46 jam; sebagian besar tidak pernah mencapai lebih dari sepuluh tayangan.
Apa yang Diketahui tentang Aplikasi
Kromix masih tersedia di App Store saat jurnalis menghubungi mereka. Versi berbayar memungkinkan pengguna mengunggah foto untuk skenario dengan nama yang mengerikan seperti "bedroom rape" dan "Disney love". Di dalamnya juga terdapat video porno yang dihasilkan AI dengan perempuan mengenakan kostum Spider-Man. Pengembang tidak menanggapi permintaan komentar.
Apple sendiri sebelumnya telah menghadapi kritik karena alat deepfake. Jaksa kota San Francisco telah mengirim surat kepada perusahaan tersebut yang menuntut pemblokiran 13 aplikasi tertentu dan penghentian "keterlibatan" dalam penjualan gambar palsu yang vulgar.
Bagaimana Ini Bisa Lolos Moderasi
Menurut dokumentasi Meta, setiap iklan menjalani pemeriksaan otomatis sebelum dipublikasikan. Namun dalam kasus Kromix, iklan tersebut menggunakan sampul dengan pantai, gunung, dan air terjun — video pornografi baru terbuka setelah pengguna mengklik. Meta mengonfirmasi bahwa mereka mengetahui taktik ini. Selain itu, halaman iklan dibuat pada 3 Agustus dan tidak memiliki pengikut — yang dengan sendirinya tampak mencurigakan.
Moderasi juga tidak menyadari narasi suara di mana layanan tersebut secara terang-terangan mempromosikan dirinya sebagai alat tanpa batasan. Pada akhirnya, iklan tersebut baru dihapus setelah adanya permintaan dari WIRED.
Mengapa Ini Bukan Kasus Terisolasi
Para politisi, terutama perempuan, telah menjadi target deepfake non-sukarela selama bertahun-tahun. Potret resmi dan rekaman konferensi pers telah menjadi bahan baku bagi alat yang dapat diakses oleh siapa pun pengguna internet, kata Benjamin Schultz dari American Sunlight Project. Pada bulan Januari, sekitar tiga juta gambar seksual dibuat melalui Grok; para pejabat perempuan di Swedia, Inggris, dan Irlandia Utara menjadi sasaran.
Meta tampaknya berusaha mengatasi masalah ini setelah para peneliti menemukan ribuan iklan serupa. Perusahaan mengklaim bahwa hanya dari November hingga Januari mereka menghapus 344.000 iklan semacam itu di Facebook dan Instagram, serta mengajukan gugatan terhadap setidaknya satu perusahaan yang mempromosikan layanan nudify. Cindy Southworth dari Meta menyebut alat semacam itu "menjijikkan" dan berbicara tentang teknologi AI baru untuk memblokirnya serta berbagi data dengan platform lain.
Apa Artinya Ini
Iklan Kromix itu sendiri hampir tidak mendapatkan jangkauan — sebagian besar iklan ditayangkan kurang dari sepuluh kali. Namun yang penting adalah faktanya: moderasi otomatis Meta kembali meloloskan konten yang melanggar aturannya sendiri. Selama pemeriksaan hanya mengandalkan sampul dan tidak menganalisis konten video maupun trek audio, kampanye semacam ini akan terus kembali — mungkin dengan skenario yang lebih agresif.
