发生了什么
Meta允许了推广生成女性政治家露骨深度伪造内容的广告。该广告涉及一款自称“AI图像风格化工具”的Kromix。在一段视频中，美国国旗背景下出现了一位酷似某位知名美国政治家的女性，配文为“What if she moved?”——眨眼后镜头切换到同一张脸的色情视频。广告还配有语音消息，声称该服务“没有限制”、“所有角色都是真人”，并且这是“男性真正在使用的AI”。
尽管Meta的规则禁止色情内容和推广nudify应用，该广告活动仍运行了一段时间。该视频由Tech Transparency Project的研究人员发现。根据Meta的广告库数据，该活动仅针对男性，并使用口号“Unleash Next-gen AI Magic”。该账号共关联32条广告，展示时长从5小时到46小时不等；大多数广告的展示次数未超过十次。
关于该应用的信息
截至记者联系时，Kromix仍可在App Store下载。付费版本允许上传照片，用于名为“bedroom rape”和“Disney love”等令人不安的场景。应用内还包含AI生成的女性穿着蜘蛛侠服装的色情视频。开发者未回应评论请求。
苹果此前已因深度伪造工具受到批评。旧金山市检察官曾致信该公司，要求屏蔽13款特定应用，并停止“协助”销售露骨的伪造图像。
这是如何通过审核的
根据Meta的文档，每条广告在发布前都会经过自动审核。但在Kromix的案例中，广告使用了海滩、山脉和瀑布的封面——色情视频在点击后才播放。Meta确认了解这种策略。此外，广告页面创建于8月3日，没有粉丝——这本身就显得可疑。
审核也没有注意到语音旁白，其中该服务直接将自己宣传为无限制工具。最终，广告在WIRED提出询问后才被移除。
为什么这不是个案
政治家，尤其是女性，多年来一直是非自愿深度伪造的目标。American Sunlight Project的本杰明·舒尔茨指出，官方肖像和新闻发布会录像已成为任何互联网用户都可使用的工具的素材。1月，通过Grok生成了约三百万张性化图像；瑞典、英格兰和北爱尔兰的女性官员成为目标。
Meta似乎正在研究人员发现数千条此类广告后试图解决问题。该公司声称，仅从11月到1月，就在Facebook和Instagram上删除了344,000条此类广告，并对至少一家推广nudify服务的公司提起了诉讼。Meta的辛迪·索思沃斯称这些工具“令人作呕”，并介绍了用于屏蔽它们的新AI技术以及与其他平台的数据共享。
这意味着什么
Kromix广告本身几乎没有获得曝光——大多数广告的展示次数不到十次。但重要的是事实本身：Meta的自动审核再次放过了违反其自身规则的内容。只要审核依赖封面而不分析视频内容或音轨，此类广告活动就会卷土重来——可能带着更激进的场景。
