研究文章 垃圾邮件发送者和诈骗者如何利用 Facebook 上的 AI 生成图像来增加受众 关于人工智能 (AI) 图像生成器(例如 DALL-E 和 Midjourney)的风险的大部分研究和讨论都集中在它们是否可用于将虚假信息注入政治话语。我们表明,垃圾邮件发送者和诈骗者(似乎是出于利润或影响力而不是意识形态的动机)已经在使用 AI 生成的图像在 Facebook 上获得显著的关注。有时,Facebook Feed 会向既不关注发布图像的页面也不意识到图像是 AI 生成的用户推荐未标记的 AI 生成的图像,这凸显了随着 AI 模型的激增,需要提高透明度和出处标准。作者:Renée DiResta (1)、Josh A. Goldstein (2) 所属机构:(1) 美国斯坦福大学斯坦福互联网观测站,(2) 美国乔治城大学安全与新兴技术中心 引用方式:DiResta, R., & Goldstein, J.A.(2024)。垃圾邮件发送者和诈骗者如何利用 Facebook 上的 AI 生成图像来增加受众。哈佛肯尼迪学院 (HKS) 错误信息评论,5 (4)。收到日期:2024 年 4 月 21 日。接受日期:2024 年 7 月 24 日。发布日期:2024 年 8 月 15 日。研究问题
论文摘要 ● 我们研究了 120 个 Facebook 页面,每个页面发布了至少 50 张 AI 生成的图片,将页面分为垃圾邮件、诈骗和“其他创建者”类别。有些是同一管理员运营的协调页面集群。截至 2024 年 3 月 5 日,这些页面的平均关注者数量为 128,877,中位关注者数量为 71,000。● 这些图片总共获得了数亿次互动和曝光。包含 AI 生成的图片的帖子是 2023 年第三季度 Facebook 上浏览量最高的 20 条内容之一(浏览量达 4000 万次,互动量超过 190 万次)。● 垃圾页面使用点击诱饵策略,并试图将用户引导至平台外的内容农场和低质量域。诈骗页面试图销售不存在的产品或让用户泄露个人信息;有些页面在被盗页面上发布 AI 生成的图像。● Facebook Feed(以前称为“新闻提要”)有时会向用户显示 AI 生成的图像,即使他们没有关注发布这些图像的页面。我们怀疑 AI 生成的图像出现在用户的 Feed 中,是因为 Facebook Feed 排名算法会推广可能产生参与度的内容。在过去三年中,Facebook 增加了出现在用户 Feed 中的“无关帖子”(来自用户未关注的页面的帖子)的百分比。媒体报道称,与 AI 生成的图像互动通常会导致用户收到更多 AI 生成的图像内容的推荐;这也是我们在自己的 Feed 中遇到的轶事经验。● 对人工智能生成的图像的评论表明,许多用户并不知道这些图像是合成的,但一部分用户发表评论或信息图提醒其他人,并警告他们小心诈骗。观众的误解凸显了标签和额外透明度措施的重要性。● 在我们的样本中,一些发布未标记的人工智能生成图像的页面也使用了已知的欺骗性做法,例如帐户盗窃或接管,并且表现出可疑的关注者增长。