详细内容或原文请订阅后点击阅览
NCSC 警告说，即时注射是一个可能永远无法解决的问题
NCSC 警告提示注入不太可能像 SQL 注入那样得到缓解。他们如何比较？
来源:Malwarebytes Labs 博客即时注入正在成为人工智能安全中最顽固的问题之一，英国国家网络安全中心 (NCSC) 警告称，它可能永远不会像 SQL 注入那样得到“修复”。
警告 SQL注入两年前，NCSC 表示即时注入可能会成为“未来的 SQL 注入”。显然，他们已经意识到情况更糟。
两年前提示注入之所以有效，是因为人工智能模型无法区分应用程序的指令和攻击者的指令，因此它们有时会遵循错误的指令。
为了避免这种情况，人工智能提供商在他们的模型中设置了护栏：帮助开发人员阻止代理有意或无意地做他们不应该做的事情的工具。例如，如果您试图告诉特工解释如何大规模生产炭疽孢子，护栏理想情况下会检测到该请求为不良请求并拒绝承认。
让人工智能突破这些界限通常被称为越狱。护栏是一种安全系统，试图阻止人工智能模型说或做有害的事情。越狱是指有人精心设计一个或多个提示来绕过这些安全系统并使模型执行不应该执行的操作。提示注入是一种特定的方法：攻击者将自己的指令隐藏在用户输入或外部内容中，因此模型遵循这些隐藏的指令而不是原始的护栏。
护栏 越狱 提示注入当像 ChatGPT、Claude 或 Gemini 这样的大型语言模型 (LLM) 不再是盒子里的聊天机器人，而是开始充当可以转移资金、阅读电子邮件或更改设置的“自主代理”时，危险就会增加。如果一个模型被连接到银行的内部工具、人力资源系统或开发人员管道中，成功的即时注入就不再是一个令人尴尬的答案，而是成为潜在的数据泄露或欺诈事件。
代理浏览器耗尽用户的银行帐户 狡猾的文档 副手攻击混乱