阻止 CISO:我们重新组建了自己的 AI 代理,在员工笔记本电脑上运行信息窃取程序

采访 James Nettesheim 告诉 The Reg,代理必须“比人类更安全、更好”。 Block 首席信息安全官 James Nettesheim 表示,在安全方面,人工智能代理就像自动驾驶汽车。

来源:The Register _恶意软件

Block 首席信息安全官 James Nettesheim 表示,在安全方面,人工智能代理就像自动驾驶汽车。

“自动驾驶汽车仅仅与人类一样好是不够的,”内特斯海姆在接受 The Register 独家采访时表示。 “它们必须比人类更安全、更好——事实证明确实如此。我们的药剂使用也需要这一点。”

Square、Cash App 和 Afterpay 的母公司正在努力将自己定位为 AI 领导者,与 Anthropic 共同设计模型上下文协议 (MCP),并使用 MCP 构建 Goose,这是其开源 AI 代理,几乎被 Block 的 12,000 名员工使用,并连接到公司的所有系统,包括 Google 帐户和 Square 支付。

一年前,该公司开源了 Goose。

作为 CISO,Nettesheim 的工作是确保 Goose 和 Block 的所有基于人工智能的系统都设计为能够在企业规模上安全部署 - 这听起来有点可怕。

“作为首席信息安全官,在很大程度上要能够接受模棱两可的情况,并在某些情况下感到不舒服,”Nettesheim 说。 “我们不断地平衡风险,并且必须做出权衡——尤其是在人工智能领域。比如:现在更大的风险是什么?没有充分利用技术?或者它的安全缺点?法学硕士和代理人正在引入一个新的、快速发展的领域。”

最低权限访问

然而,他补充道,人类和机器一样有能力将安全风险引入企业环境。

“软件工程师也会下载并执行他们不应该执行的东西,”Nettesheim 说。 “用户经常这样做。我们在代码中编写错误到它不执行的地方。因此,我们实际上只需要应用我们已经拥有的许多原则来确保这些代理以最低权限执行,就像我希望我的软件工程师所做的那样。”

现在更大的风险是什么?没有充分利用技术?或者它的安全缺点?

对抗性人工智能