详细内容或原文请订阅后点击阅览
微软专家称人工智能永远无法保证安全——在测试了雷德蒙德自己的产品之后
如果您想了解未来的图景，请想象您的信息安全团队永远踩在软件上。微软的聪明人调查了这家软件巨头自己的 100 多种生成式 AI 产品的安全性，并得出了一个令人警醒的信息：这些模型放大了现有的安全风险并产生了新的安全风险。
来源:The Register _恶意软件微软的科学家对该软件巨头自己的 100 多种生成式 AI 产品的安全性进行了调查，并得出了一个令人警醒的信息：这些模型放大了现有的安全风险并产生了新的安全风险。
26 位作者在一篇题为《从 100 种生成式 AI 产品红队演练中吸取的教训》的预印本论文中提出了“保护 AI 系统的工作永远不会完成”的观点。
论文这是论文中提出的八个教训中的最后一条，尽管它并不完全是世界末日。作者们（其中包括 Azure 首席技术官 Mark Russinovich）认为，随着进一步的研究，攻击 AI 系统的成本可能会提高——就像其他 IT 安全风险已经通过纵深防御策略和安全设计原则所发生的那样。在这方面，这也许并不太令人惊讶——任何非平凡的计算机系统是否永远完全安全？有人说是，有人说不是。
回到正题：微软人认为还有很多工作要做。论文中提到的第一个教训是“了解系统可以做什么以及在哪里应用它。”
这一平淡的建议表明，模型的行为会根据其设计和应用而有所不同，因此必须彻底了解其功能才能实施有效的防御。
“例如，在测试 Phi-3 系列语言模型时，我们发现较大的模型通常更善于遵守用户指令，这是使模型更有帮助的核心能力，”作者表示。这对用户来说是个好消息，但对防御者来说却是个坏消息，因为模型更有可能遵循恶意指令。
Phi-3 系列第二个教训是：“您不必计算梯度来破坏 AI 系统。”基于梯度的攻击通过在模型参数和架构可用的情况下测试对抗性令牌输入来工作 - 开源模型就是这种情况，但专有商业模型则不是。
基于梯度的攻击 PyRIT 语言模型的基本限制