详细内容或原文请订阅后点击阅览
你看到一个邀请，AI - 一个订单。黑客在新的攻击 PromptSpy 中引诱神经网络到他们这边
算法的输入数据比通常的屏幕内容宽得多。
来源:安全实验室新闻频道你看到一个邀请，AI - 一个订单。黑客在新的攻击 PromptSpy 中引诱神经网络到他们这边
算法的输入数据比通常的屏幕内容宽得多。
如果附近有人工智能助手，网络钓鱼电子邮件不再需要说服一个人。 Forcepoint 在一项名为 PromptSpy 的研究模拟中展示了普通电子邮件中的隐藏指令如何影响自动读取邮件、总结邮件并准备回复的神经网络。此人只能看到普通的会议邀请。
PromptSpy 模拟一系列 AI 代理。一个创建发件人的身份，另一个收集收件人的个人资料，第三个选择合适的借口，第四个写信。一旦发送，路径就会出现分歧：收件人阅读可见文本，电子邮件人工智能接收消息的更广泛上下文，并将其作为下一步的数据进行处理。
在演示中，攻击者隐藏了一条指令，要求他们忽略以前的规则，考虑发件人可信，删除网络钓鱼警告，并添加调用以跟踪链接。 PromptSpy 显示了用于放置指令的多个选项：纯文本、隐藏的 HTML 块、假“系统”和“助理”角色标记以及不可见的 Unicode 字符。
计算基于人的感知与模型接收的差异。白色背景上的白色文本、带有 display:none 的块或实用程序构造可能对用户不可见，但会保留在 AI 输入中。假分隔符旨在使模型将字母片段误认为是系统命令，而不是消息的内容。
为了降低这种风险，开发人员建议验证代理之间的数据、清除中间上下文、跟踪指令的来源以及隔离对话内存。此外，限制上下文的存储期限、检查代理之间的交换以及监控人工智能系统链不同阶段的意外行为变化也是值得的。