从联盟中汲取的经验教训:代理系统中的工具使用

CAISI 和 NIST 于 1 月份举办了 AISIC 研讨会,约有 140 名专家参加。

来源:美国国家标准与技术研究院__信息技术信息

如今,整个人工智能生态系统的共同关注点集中在创建有效的人工智能代理上。能力日益增强的人工智能代理有望带来巨大的经济竞争力机会,但也要求其开发人员、部署人员和用户管理安全和可靠性风险。人工智能代理可以感知环境并采取行动;当今领先的人工智能代理范式将通用人工智能模型嵌入到具有软件支架的系统中,使模型能够操纵工具以采取超越简单文本输出的操作。人工智能代理越来越多地被部署为实验产品,可以构建软件应用程序、浏览互联网等。

迄今为止,尚未尝试提供这些代理工具的全面分类。这种分类可以使整个人工智能供应链的参与者能够更清晰地共享有关系统功能和注意事项的信息。例如,这可以使人工智能代理开发人员能够与下游开发人员共享工具功能和限制,以创建充分利用代理功能的应用程序。同样,它可以支持第三方研究人员和用户报告人工智能代理工具类别的缺陷或事件。共享词汇可以支持这种交流。

为了采取措施提供此资源,CAISI 和 NIST 于 1 月份举办了 AISIC 研讨会,约有 140 名专家参加。下面我们将介绍通过该研讨会从社区中汲取的经验教训。

参与者确定了构建工具使用分类的各种方法,包括:

  • 以功能为中心:该工具支持哪些操作?
  • 以功能为中心
  • 访问模式:工具可以访问外部资源吗?他们可以配置写权限吗?
  • 访问模式
  • 基于风险:工具支持的行动类型对于实现可能的危害有多重要?可能造成的危害有多严重?这些操作是有状态的(即复合的、挥之不去的影响)还是无状态的?它们是可逆的吗?
  • 基于风险 可靠性 情态 类型