AI 情报界的下一个飞跃:代理管理代理

DIA、NGA 和 FBI 正在建设日益自主的人工智能所需的基础设施和护栏。

来源:美国防务快讯网

坦帕——重要官员本周表示,美国情报界的未来很可能涉及相互协作的人工智能代理网络——交换信息、协调任务并提供可采取行动的情报。

“构建代理,然后是代理与代理,是我们想要走的方向,”国防情报局首席人工智能官罗伯特·金尼 (Robert Kinney) 少将在周三 DIA DODIIS 展会上的人工智能小组会议上表示。 “如果你愿意的话,我们正在打地基和管道,以追捕建筑代理商。”

这个概念远远超出了当今的聊天机器人,即用户提出问题并收到答案。金尼设想了一种人工智能代理,它支持情报功能,与支持作战、火灾、后勤、通信和规划的多个其他代理进行通信,创建一个能够帮助推理解决复杂任务问题的互连系统。

Kinney 说,早期的挑战是弄清楚“tradecraft”部分:如何负责任地使用代理来交互和控制其他代理,以及如何在构建这些代理时处理合规性、安全性和信任问题。

还有待确定的是政府应允许特工在没有人工干预的情况下运作到什么程度。金尼表示,答案将取决于决定的后果。在潜在可逆的任务区域,机构可以接受更多的风险并让人员“参与其中”,而火灾等不可逆转的行动则需要人员“参与其中”。

这些并不是理论上的问题,因为这次讨论也是在一个新的紧迫背景下进行的。最近几周,OpenAI 和 Anthropic 披露了一些案例,他们称人工智能代理在安全测试期间逃脱了预期的遏制,并采取未经授权的行动侵入其他网络系统,这引发了新的问题:随着此类系统能力的增长,应该给予这些系统多少自主权。