详细内容或原文请订阅后点击阅览
这些协议将帮助AI代理人浏览我们的凌乱生活
越来越多的公司正在启动可以代表您做事的AI代理,例如发送电子邮件,制作文档或编辑数据库。但是,这些代理商的初步评论充其量是混合的,因为它们很难与我们数字生活的所有不同组成部分进行互动。 …
来源:MIT Technology Review _人工智能这些协议应该对安全说什么?
研究人员和开发人员仍然不太了解AI模型的工作原理,并且一直在发现新的漏洞。对于聊天机器人风格的AI应用程序,恶意攻击可能会导致模型做各种坏事,包括反省培训数据和喷出诽谤。但是对于代表某人与世界互动的AI代理人,可能性风险更大。
例如,为某人阅读和发送电子邮件的一个AI代理已经被证明容易受到所谓的间接及时注射攻击的影响。从本质上讲,可以以劫持AI模型并导致故障的方式编写电子邮件。然后,如果该代理可以访问用户的文件,则可以指示将私人文档发送给攻击者。
显示 劫持一些研究人员认为,像MCP这样的协议应防止代理商采取这样的有害行动。但是,目前还不是。芝加哥大学博士学位学生Zhaorun Chen说:“基本上,它没有任何安全设计。”
Bruce Schneier是一名安全研究员和激进主义者,对MCP这样的协议将能够做出很多努力来减少AI带来的固有风险,并担心提供此类技术更多的力量只会使其更有能力在真实的物理世界中造成伤害的能力。 Schneier说:“我们对如何保护这些东西没有很好的答案。” “这将是一个安全污水池真的很快。”
这些协议应该有多开放?
思科 IBM agora 许多开发人员希望最终有一个安全,值得信赖的系统的注册表来浏览代理和工具的扩散。包括陈在内的其他人希望用户能够在AI代理工具的Yelp之类的Yelp中对不同的服务进行评分。一些更多的利基协议甚至在MCP和A2A之上构建了区块链,以便服务器可以表明它们不仅仅是垃圾邮件。 IBMagora许多开发人员希望最终有一个安全,值得信赖的系统的注册表来浏览代理和工具的扩散。包括陈在内的其他人希望用户能够在AI代理工具的Yelp之类的Yelp中对不同的服务进行评分。一些更多的利基协议甚至在MCP和A2A之上构建了区块链,以便服务器可以表明它们不仅仅是垃圾邮件。