详细内容或原文请订阅后点击阅览
CAISI 发出有关保护 AI 代理系统安全的信息请求
美国商务部国家标准与技术研究院 (NIST) 的人工智能标准与创新中心 (CAISI) 发布了一份信息请求 (RFI)，寻求行业、学术界和安全领域的见解
来源:美国国家标准技术研究所美国商务部国家标准与技术研究院 (NIST) 的人工智能标准与创新中心 (CAISI) 发布了一份信息请求 (RFI)，征求行业、学术界和安全界有关人工智能代理系统安全开发和部署的见解。
人工智能代理系统能够规划并采取影响现实世界系统或环境的自主行动。虽然这些系统有望显着提高生产力和创新能力，但它们也带来了独特的安全挑战。
AI代理系统面临一系列安全威胁和风险。有些风险与其他软件系统重叠，例如可利用的身份验证或内存管理漏洞。然而，该 RFI 重点关注将人工智能模型输出与软件系统功能相结合时出现的独特风险。这包括模型与对抗性数据交互的风险（例如间接提示注入）、使用不安全模型的风险（例如遭受数据中毒的模型）以及模型即使在没有对抗性输入的情况下也可能采取损害安全性的操作的风险（例如表现出规格游戏或以其他方式追求不一致目标的模型）。这些安全挑战不仅阻碍了当今的采用，而且随着人工智能代理系统得到更广泛的部署，还可能给公共安全和国家安全带来风险。
RFI 提出的问题包括：