O que aconteceu
A Meta permitiu a exibição de anúncios que promovem a geração de deepfakes explícitos com mulheres políticas. Trata-se da ferramenta Kromix, que se autodenomina um "AI image styler". Em um dos vídeos, ao fundo da bandeira dos EUA, aparecia uma mulher parecida com uma conhecida política americana, com a legenda "What if she moved?" — após uma piscadela, a câmera cortava para um vídeo pornográfico com o mesmo rosto. O anúncio era acompanhado por uma mensagem de voz que afirmava que o serviço "não tem restrições", que "todos os personagens são pessoas reais" e que é "uma IA realmente usada por homens".
Apesar das regras da Meta que proíbem conteúdo sexual e a promoção de aplicativos de nudificação, a campanha funcionou por um tempo. O vídeo foi descoberto por pesquisadores do Tech Transparency Project. De acordo com a biblioteca de anúncios da Meta, a campanha era direcionada apenas a homens e usava o slogan "Unleash Next-gen AI Magic". No total, 32 anúncios estavam vinculados à conta, exibidos entre 5 e 46 horas; a maioria não passou de dez impressões.
O que se sabe sobre o aplicativo
O Kromix ainda estava disponível na App Store quando os jornalistas entraram em contato. A versão paga permitia o upload de fotos para cenários com nomes perturbadores como "bedroom rape" e "Disney love". Dentro do app também havia vídeos pornográficos gerados por IA com mulheres vestidas de Homem-Aranha. Os desenvolvedores não responderam ao pedido de comentário.
A Apple, por sua vez, já enfrentou críticas por causa de ferramentas de deepfake. O procurador distrital de São Francisco enviou uma carta à empresa exigindo o bloqueio de 13 aplicativos específicos e o fim da "cumplicidade" na venda de imagens falsas explícitas.
Como isso passou pela moderação
De acordo com a documentação da Meta, cada anúncio passa por uma verificação automática antes da publicação. Mas, no caso do Kromix, os anúncios usavam capas com praia, montanhas e cachoeiras — o vídeo pornográfico só aparecia após o clique. A Meta confirmou que está ciente dessa tática. Além disso, a página do anúncio foi criada em 3 de agosto e não tinha seguidores — o que já parecia suspeito por si só.
A moderação também não notou a narração, em que o serviço se promovia diretamente como uma ferramenta sem restrições. No fim, o anúncio só foi removido após o contato da WIRED.
Por que não é um caso isolado
Políticos, especialmente mulheres, continuam sendo alvos de deepfakes não consensuais há anos. Retratos oficiais e gravações de coletivas de imprensa viraram matéria-prima para ferramentas acessíveis a qualquer usuário da internet, observa Benjamin Schultz, do American Sunlight Project. Em janeiro, cerca de três milhões de imagens sexualizadas foram criadas via Grok; autoridades na Suécia, na Inglaterra e na Irlanda do Norte foram alvos.
A Meta, ao que parece, tenta combater o problema depois que pesquisadores encontram milhares de anúncios desse tipo. A empresa afirma que, apenas de novembro a janeiro, removeu 344.000 desses anúncios no Facebook e no Instagram, além de ter aberto um processo contra pelo menos uma empresa que promovia serviços de nudificação. Cindy Southworth, da Meta, classificou essas ferramentas como "repugnantes" e falou sobre uma nova tecnologia de IA para bloqueá-las e sobre o compartilhamento de dados com outras plataformas.
O que isso significa
O anúncio do Kromix em si teve alcance quase nulo — a maioria dos anúncios foi exibida menos de dez vezes. Mas o fato em si é importante: a moderação automática da Meta novamente deixou passar conteúdo que viola suas próprias regras. Enquanto as verificações dependerem das capas e não analisarem nem o conteúdo do vídeo nem a trilha sonora, campanhas assim vão voltar — talvez com cenários ainda mais agressivos.
