人工智能提示出现网络威胁

为什么重要:AI 提示作为网络威胁出现,探讨了提示注入如何在不使用恶意软件代码的情况下利用 LLM。

来源:人工智能+

人工智能提示出现网络威胁

随着网络威胁迅速重新定义攻击者如何绕过传统安全框架利用生成式人工智能模型,人工智能不断涌现。随着 ChatGPT 和 Bard 等模型的普及,恶意行为者使用复杂的提示工程操纵输出的机会也随之增加。这些基于提示的向量不依赖于代码执行或恶意软件有效负载。相反,他们操纵大型语言模型的基本设计,引入一种新型攻击,使系统在不执行一行代码的情况下容易受到攻击。

要点

  • 即时注入攻击利用大型语言模型解释自然语言的能力,这可能会导致未经授权的输出或数据泄露。
  • 这些恶意提示越来越多地被视为可与社会工程和恶意软件分发相媲美,但它们在没有可执行文件的情况下运行。
  • 像“Moltbook”这样的病毒式提示展示了如何巧妙地在广泛范围内共享的输入可以像自我复制的漏洞一样发挥作用。
  • 包括 NIST 在内的网络安全机构建议立即采取行动,以遏制和减轻基于提示的风险。
  • 什么是即时注入攻击?

    即时注入攻击涉及精心设计的用户输入,该输入会改变生成式 AI 系统的行为。这些攻击利用了语言模型的指令跟踪性质。攻击者不是插入恶意代码,而是以看似良性的方式嵌入危险意图。然后,模型执行非预期指令作为其正常处理的一部分。

    例如,如果巧妙的措辞输入绕过了安全过滤器,管理敏感公司数据的人工智能助手可能会被欺骗提供私人信息。这可能在共享的多用户环境中无形地发生。传统的保护在这里举步维艰,因为攻击完全存在于自然语言中,而不是代码或可执行应用程序中。

    恶意 AI 提示的机制

    常见问题解答