Qué ocurrió
Meta permitió la publicación de anuncios que promueven la generación de deepfakes explícitos con mujeres políticas. Se trata de la herramienta Kromix, que se autodenomina «AI image styler». En uno de los vídeos, sobre un fondo con la bandera de EE. UU., aparecía una mujer parecida a una conocida política estadounidense, con el texto «What if she moved?» — tras un guiño, la cámara pasaba a un vídeo pornográfico con el mismo rostro. El anuncio iba acompañado de un mensaje de voz que afirmaba que el servicio «no tiene límites», que «todos los personajes son personas reales» y que es «IA que los hombres usan de verdad».
A pesar de las normas de Meta que prohíben el contenido sexual y la promoción de aplicaciones de desnudez, la campaña funcionó durante un tiempo. El vídeo fue detectado por investigadores de Tech Transparency Project. Según la biblioteca de anuncios de Meta, la campaña estaba dirigida únicamente a hombres y utilizaba el eslogan «Unleash Next-gen AI Magic». En total, la cuenta estaba vinculada a 32 anuncios que se mostraron entre 5 y 46 horas; la mayoría no llegó a superar las diez impresiones.
Qué se sabe de la aplicación
Kromix seguía disponible en la App Store cuando los periodistas contactaron con la empresa. La versión de pago permitía subir fotos para escenarios con nombres inquietantes como «bedroom rape» y «Disney love». También contenía vídeos pornográficos generados por IA con mujeres disfrazadas de Spider-Man. Los desarrolladores no respondieron a la solicitud de comentarios.
Apple, por su parte, ya ha recibido críticas por las herramientas de deepfakes. El fiscal de la ciudad de San Francisco envió a la empresa una carta exigiendo que bloqueara 13 aplicaciones concretas y que dejara de «facilitar» la venta de imágenes falsas explícitas.
Cómo pudo pasar la moderación
Según la documentación de Meta, cada anuncio pasa una revisión automática antes de publicarse. Pero en el caso de Kromix, los anuncios usaban portadas con playas, montañas y cascadas: el vídeo pornográfico se abría solo después de hacer clic. Meta confirmó que conoce esta táctica. Además, la página del anuncio se creó el 3 de agosto y no tenía seguidores, algo que ya de por sí resultaba sospechoso.
La moderación tampoco detectó el mensaje de voz en el que el servicio se promocionaba abiertamente como una herramienta sin restricciones. Al final, el anuncio solo se retiró después de la consulta de WIRED.
Por qué no es un caso aislado
Los políticos, especialmente las mujeres, llevan años siendo objetivos de deepfakes no consentidos. Los retratos oficiales y las grabaciones de ruedas de prensa se han convertido en materia prima para herramientas al alcance de cualquier usuario de internet, señala Benjamin Schultz de American Sunlight Project. En enero, a través de Grok se crearon alrededor de tres millones de imágenes sexualizadas; las víctimas fueron funcionarias en Suecia, Inglaterra e Irlanda del Norte.
Meta, al parecer, intenta combatir el problema después de que los investigadores encuentren miles de anuncios similares. La empresa afirma que solo entre noviembre y enero eliminó 344 000 anuncios de este tipo en Facebook e Instagram, y que presentó una demanda contra al menos una empresa que promocionaba servicios de desnudez. Cindy Southworth, de Meta, calificó estas herramientas de «repugnantes» y habló de una nueva tecnología de IA para bloquearlas y del intercambio de datos con otras plataformas.
Qué significa esto
El anuncio de Kromix en sí apenas tuvo alcance: la mayoría de los anuncios se mostraron menos de diez veces. Pero lo importante es el hecho en sí: la moderación automática de Meta volvió a dejar pasar contenido que viola sus propias normas. Mientras las revisiones se basen en las portadas y no analicen ni el contenido del vídeo ni la pista de audio, campañas como esta volverán — quizá con escenarios aún más agresivos.
