详细内容或原文请订阅后点击阅览
当人工智能代理失控时，谁该负责？
出版物作者： 出版日期： 2025 年 10 月 27 日概要 自主人工智能系统的兴起揭示了网络安全风险、攻击面扩大和责任模糊的新领域。因此，安全和负责任的部署已成为一项决定性的网络安全挑战。对非人类身份的治理和自适应、策略驱动的控制，以检测和遏制对人工智能模型、应用程序的攻击，[…]当人工智能代理失控时谁负责？首次出现在 RSIS 上。
来源:国防与战略研究所出版物概要
自主人工智能系统的兴起揭示了网络安全风险、攻击面扩大和责任模糊的新领域。因此，安全和负责任的部署已成为一项决定性的网络安全挑战。为了建立可信的自主权，需要对非人类身份进行治理，并采取自适应、策略驱动的控制措施来检测和遏制对人工智能模型、应用程序和工作流程的攻击。
评论
今年早些时候，安全研究人员证明，人工智能 (AI) 助手可以通过日历邀请等普通方式被劫持。邀请中隐藏着一组恶意指令，一旦触发，就会导致连接的灯光闪烁、百叶窗打开以及在未经用户同意的情况下访问文件。
最初的受控实验很快揭示了网络安全风险的新领域，其中人工智能系统不仅是攻击者的工具，而且本身也是潜在的目标。随着人工智能变得更加自主，能够跨数字和物理环境进行规划和行动，对安全的影响将是深远的。
人类和机器代理之间的界限正在变得模糊，利用漏洞所需的时间正在缩短。对于企业和政府来说，这标志着数字风险管理方式的根本性改变。
从被动工具到自主代理的转变正在进行中。代理系统已经部署在银行、电子商务和物流领域，以简化运营、检测欺诈并做出实时决策。
随着这些代理与企业系统、其他代理和人类交互，网络安全攻击面不断扩大。恶意代理可以利用与合法代理相同的接口，使用新的威胁，例如模拟攻击、提示注入和数据泄露（盗窃）。因此，保护企业系统中的代理人工智能正在成为一项决定性的网络安全挑战。