详细内容或原文请订阅后点击阅览
AI 代理需要护栏
当人工智能系统只是 API 背后的单一模型时，生活感觉更简单。您训练、部署并可能微调了一些超参数。但那个世界已经不复存在了。如今，人工智能不再像一个单一的引擎，而更像一座繁忙的城市——一个由小型专业代理组成的网络，不断相互交谈、调用 API、自动化工作流程，[...]
来源:O'Reilly Media _AI & ML当人工智能系统只是 API 背后的单一模型时，生活感觉更简单。您训练、部署并可能微调了一些超参数。
但那个世界已经不复存在了。如今，人工智能不再像一个单一的引擎，而更像一座繁忙的城市——一个由小型专业代理组成的网络，不断地相互交谈、调用 API、自动化工作流程，并以比人类更快的速度做出决策。
真正的挑战是：这些代理越聪明、越独立，保持控制就越困难。性能不再是让我们放慢脚步的因素。治理是。
治理我们如何确保这些代理的行为符合道德、安全且符合政策？我们如何记录多个代理协作时发生的情况？在涉及用户数据、API 和金融交易的人工智能驱动的工作流程中，我们如何追踪谁决定了什么？
这就是将治理纳入堆栈的想法的由来。我们可以将治理构建到架构本身中，而不是在项目结束时将治理视为文书工作。
从模型管道到代理生态系统
在过去的机器学习时代，事情是相当线性的。您有一个清晰的管道：收集数据、训练模型、验证模型、部署、监控。每个阶段都有自己的工具和仪表板，每个人都知道当出现问题时该去哪里寻找。
但有了人工智能代理，这个整洁的管道就变成了一个网络。单个客户服务代理可能会调用摘要代理，然后摘要代理会向检索代理请求上下文，检索代理又会查询内部 API — 所有这些都是异步发生的，有时甚至跨不同系统。
小大脑网络 整个故事 沿袭、上下文和意图跟踪为什么治理是缺失的一层
NIST 的人工智能风险管理框架 欧盟人工智能法案 运行时层代理治理的四个护栏
策略即代码
OPA- 哪些代理可以访问敏感数据集哪些 API 调用需要人工审核何时工作流程因风险过高而需要停止