详细内容或原文请订阅后点击阅览
Black Hat Europe 2024：AI 系统可以进行社会工程攻击吗？
攻击者是否可以使用看似无害的提示来操纵 AI 系统，甚至使其成为他们不知情的盟友？
来源:WeLiveSecurity _恶意软件数字安全
Black Hat Europe 2024：AI 系统可以被社会工程化吗？
攻击者是否可以使用看似无害的提示来操纵 AI 系统，甚至使其成为他们不知情的盟友？
2024 年 12 月 12 日 • ，3 分钟阅读
2024 年 12 月 12 日 • ， 3 分钟阅读在与聊天机器人和其他 AI 驱动的工具交互时，我们通常会问他们一些简单的问题，例如“今天的天气怎么样？”或“火车会准时运行吗？”。那些没有参与 AI 开发的人可能会认为所有数据都被输入到一个巨大而无所不知的系统中，该系统可以立即处理查询并提供答案。然而，现实情况要复杂得多，正如 Black Hat Europe 2024 所展示的那样，这些系统可能容易受到攻击。
Ben Nassi、Stav Cohen 和 Ron Bitton 的演讲详细介绍了恶意行为者如何绕过 AI 系统的保护措施来破坏其运行或利用对它的访问。他们表明，通过向 AI 系统提出一些特定问题，可以设计出造成损害的答案，例如拒绝服务攻击。
Ben Nassi、Stav Cohen 和 Ron Bitton 的演讲创建循环和系统过载
对于我们许多人来说，AI 服务可能看起来像是单一来源。然而，实际上，它依赖于许多相互关联的组件，或者——正如演讲团队所称的——代理。回到前面的例子，关于天气和火车的查询将需要来自不同代理的数据——一个可以访问天气数据，另一个可以访问火车状态更新。
然后，模型（或演讲者称之为“规划者”的主代理）需要整合来自各个代理的数据来制定响应。此外，还设置了防护栏以防止系统回答不适当或超出其范围的问题。例如，一些人工智能系统可能会避免回答政治问题。