详细内容或原文请订阅后点击阅览
AI 代理攻击麦肯锡:5 种不应该部署代理的情况
麦肯锡在 2 小时内被黑客攻击。 AI 代理会失败的 5 种情况。生产权限、监管数据、遗留系统——部署前检查。
来源:Nanonets一家名为 CodeWall 的安全初创公司将一个自主 AI 代理指向麦肯锡的内部 AI 平台 Lilli,然后就走开了。两个小时后,代理拥有对整个生产数据库的完全读写访问权限。 4650 万条聊天消息、728,000 个机密客户文件、57,000 个用户帐户,全部都是明文形式。系统提示控制Lilli每天告诉4万名顾问什么?可写。他们每一个。
该漏洞只是 SQL 注入,是软件安全中最古老的攻击类别之一。 Lilli 已经投入生产两年多了。麦肯锡的扫描仪从未发现它。 CodeWall 代理发现它是因为它不遵循检查表。它以机器速度连续地绘制、探测、连锁、升级。
比违规行为更可怕的是恶意行为者可能会做出的事情。巧妙地改变财务模式。条形护栏。重写系统提示,这样莉莉开始向每个查询它的顾问提供有毒的建议,没有日志跟踪、文件更改、异常检测。人工智能的行为开始变得不同。在损坏发生之前没有人注意到。
麦肯锡是一个事件。更广泛的模式才是这篇文章的真正主题。推动企业在各处部署代理的说法远远超出了代理在真实企业环境中实际可以安全执行的操作。许多发现这一点的公司都经历了艰难的过程。
因此值得问的问题是何时根本不应该部署代理。我们来解码一下。
无论如何,整个行业都在押注他们
大约在麦肯锡数据泄露事件发生的同时,微软 AI 首席执行官穆斯塔法·苏莱曼 (Mustafa Suleyman) 向英国《金融时报》表示,白领工作将在 12 至 18 个月内实现完全自动化。律师。会计师。项目经理。营销团队。任何坐在电脑前的人。自 2024 年底以来的每一次会议主题演讲都是同一件事的某个版本:代理商在这里,代理商正在改变工作,要么全力以赴,要么落后。
