“ConfusedPilot”操纵人工智能工具,利用云安全漏洞

德克萨斯大学奥斯汀分校 Spark 研究实验室的研究人员发现了一种名为 ConfusedPilot 的新型网络攻击方法,这对云和数据安全具有重要意义。

来源:SecureWorld News _云安全

德克萨斯大学奥斯汀分校的Spark Research Lab的研究人员发现了一种名为Confuctspilot的新网络攻击方法,该方法对云和数据安全具有重要意义。

ConfussePilot, 混乱的pilot

由对称系统首席执行官和Mohit Tiwari教授领导,该团队确定了新型攻击策略,该攻击策略利用现代云基础架构中的弱点来操纵身份验证和访问控制系统。

Mohit Tiwari 新颖的攻击策略

该方法靶向基于广泛使用的检索增强生成(RAG)的AI系统,例如Microsoft 365 Copilot。这些攻击只需通过在AI系统可能引用的任何文档中添加恶意内容来操纵AI响应,这可能导致组织内部的广泛错误信息和损害组织内的决策过程。

有65%的财富500强公司目前正在实施或计划实施基于抹布的AI系统,因此这些攻击的潜在影响不能被夸大。攻击尤其危险,因为它仅需要基于所有基于抹布的AI实现的基本访问来操纵响应,即使删除了恶意内容并绕过当前的AI安全措施,也可以持续存在。

65%的财富500强公司

试图进行混淆的对手可能会遵循以下步骤:

  • 数据环境中毒:攻击者介绍了一份无害的文件,其中包含特定的弦乐到目标环境中。这可以通过任何身份来实现,可以访问对AI Copilot索引的环境保存文档或数据。
  • 查询响应中使用的文档:用户进行相关查询时,抹布系统会检索包含这些字符串的文档。
  • 内容抑制:恶意指示导致AI无视其他相关的合法内容。
  • 错误信息生成:AI仅使用损坏的信息生成响应。
  • 它确定了一些说明性示例:

    Stephen Kowski