详细内容或原文请订阅后点击阅览
安全的人工智能助手可能吗?
人工智能代理是一项有风险的业务。即使被困在聊天框窗口中,法学硕士也会犯错误并且表现不佳。一旦他们拥有了可用于与外界交互的工具(例如网络浏览器和电子邮件地址),这些错误的后果就会变得更加严重。这也许可以解释为什么......
来源:MIT Technology Review _人工智能这里需要注意的是,即时注入尚未造成任何灾难,或者至少没有公开报道过的灾难。但现在可能有数十万 OpenClaw 代理在互联网上活跃,对于网络犯罪分子来说,即时注入可能开始看起来是一种更具吸引力的策略。 “像这样的工具正在激励恶意行为者攻击更广泛的人群,”佩珀诺特说。
建筑护栏
“即时注入”一词是由著名的 LLM 博主 Simon Willison 在 2022 年(ChatGPT 发布前几个月)创造的。即使在那时,人们也可以看出法学硕士一旦广泛使用就会引入一种全新类型的安全漏洞。法学硕士无法区分他们从用户那里收到的指令和他们用来执行这些指令的数据,例如电子邮件和网络搜索结果,对于法学硕士来说,它们都只是文本。因此,如果攻击者在电子邮件中嵌入几句话,而 LLM 将它们误认为是用户的指令,那么攻击者就可以让 LLM 做任何它想做的事情。
即时注入是一个棘手的问题,而且似乎不会很快消失。加州大学伯克利分校计算机科学教授 Dawn Song 表示:“我们现在还没有真正的灵丹妙药。”但有一个强大的学术界正在研究这个问题,他们提出了最终可以使人工智能个人助理安全的策略。
从技术上讲,现在可以使用 OpenClaw,而无需冒提示注入的风险:只需不要将其连接到互联网即可。但限制 OpenClaw 阅读你的电子邮件、管理你的日历和进行在线研究违背了使用人工智能助手的大部分目的。防止即时注入的技巧是防止法学硕士响应劫持尝试,同时仍为其提供完成工作的空间。
