Ce qui s'est passé
Meta a autorisé la diffusion de publicités faisant la promotion de la génération de deepfakes explicites mettant en scène des femmes politiques. Il s'agit de l'outil Kromix, qui se présente comme un « AI image styler ». Dans l'une des vidéos, sur fond de drapeau américain, une femme ressemblant à une personnalité politique américaine connue apparaissait avec la légende « What if she moved? » — après un clin d'œil, la caméra passait à une vidéo pornographique avec le même visage. La publicité était accompagnée d'un message vocal affirmant que le service « n'a aucune limite », que « tous les personnages sont de vraies personnes » et qu'il s'agit d'une « IA réellement utilisée par les hommes ».
Malgré les règles de Meta interdisant le contenu sexuel et la promotion d'applications de nudification, la campagne a fonctionné pendant un certain temps. La vidéo a été découverte par des chercheurs du Tech Transparency Project. Selon la bibliothèque publicitaire de Meta, la campagne ciblait uniquement les hommes et utilisait le slogan « Unleash Next-gen AI Magic ». Au total, 32 annonces étaient liées au compte, diffusées entre 5 et 46 heures ; la plupart n'ont jamais dépassé dix impressions.
Ce que l'on sait de l'application
Kromix était toujours disponible sur l'App Store au moment où les journalistes l'ont contacté. La version payante permettait de télécharger des photos pour des scénarios aux noms inquiétants comme « bedroom rape » et « Disney love ». On y trouvait également des vidéos pornographiques générées par IA mettant en scène des femmes en costume de Spider-Man. Les développeurs n'ont pas répondu aux demandes de commentaires.
Apple a déjà été critiquée par le passé pour ses outils de deepfake. Le procureur de la ville de San Francisco a envoyé à l'entreprise une lettre exigeant le blocage de 13 applications spécifiques et la fin de la « complicité » dans la vente d'images explicites falsifiées.
Comment cela a pu passer la modération
Selon la documentation de Meta, chaque annonce est soumise à une vérification automatique avant publication. Mais dans le cas de Kromix, la publicité utilisait des visuels de plage, de montagnes et de cascades — la vidéo pornographique ne s'ouvrait qu'après le clic. Meta a confirmé être au courant de cette tactique. De plus, la page de l'annonce avait été créée le 3 août et ne comptait aucun abonné — ce qui semblait déjà suspect en soi.
La modération n'a pas non plus remarqué le message vocal dans lequel le service se présentait ouvertement comme un outil sans limites. En fin de compte, la publicité n'a été retirée qu'après la demande de WIRED.
Pourquoi ce n'est pas un cas isolé
Les personnalités politiques, en particulier les femmes, sont depuis des années des cibles de deepfakes non consentis. Les portraits officiels et les enregistrements de conférences de presse sont devenus une matière première pour des outils accessibles à tout internaute, note Benjamin Schultz de l'American Sunlight Project. En janvier, environ trois millions d'images sexualisées ont été créées via Grok ; des femmes élues en Suède, en Angleterre et en Irlande du Nord ont été prises pour cibles.
Meta semble tenter de lutter contre le problème après que des chercheurs ont découvert des milliers d'annonces de ce type. L'entreprise affirme avoir supprimé 344 000 de ces annonces sur Facebook et Instagram entre novembre et janvier, et avoir intenté une action en justice contre au moins une entreprise faisant la promotion de services de nudification. Cindy Southworth, de Meta, a qualifié ces outils de « dégoûtants » et a évoqué une nouvelle technologie d'IA pour les bloquer ainsi qu'un partage de données avec d'autres plateformes.
Ce que cela signifie
La publicité de Kromix en elle-même a eu presque zéro portée — la plupart des annonces ont été diffusées moins de dix fois. Mais le fait même est important : la modération automatique de Meta a de nouveau laissé passer un contenu violant ses propres règles. Tant que les vérifications s'appuient sur les visuels et n'analysent ni le contenu des vidéos ni la piste audio, de telles campagnes reviendront — peut-être avec des scénarios encore plus agressifs.
