详细内容或原文请订阅后点击阅览
仪表始终在运行
第一次昂贵的代理运行看起来不像是治理问题。看起来像是计费问题。一个团队在仪表启动后开出第一张代理发票，按成本对运行进行排序，并找到成本是中位数 40 倍的一张。提供商仪表显示代币和总数。应用程序日志显示 [...]
来源:O'Reilly Media _AI & ML第一次昂贵的代理运行看起来不像是治理问题。看起来像是计费问题。
一个团队在仪表打开后开出第一张代理发票，按成本对运行进行排序，并找到成本是中位数 40 倍的一张。提供商仪表显示代币和总数。应用程序日志显示请求成功。跟踪查看器显示整洁的请求和整洁的响应。他们都没有解释为什么这次比赛跑偏了，而它的邻居却干净利落地完成了比赛。
在我之前的 Radar 文章“补贴结束：使用工具的代理实际成本是多少”中，我认为基于使用情况的计费并不会让代理变得昂贵；相反，它会增加代理的成本。这让他们现有的成本变得显而易见。账单并没有变大。它只是变得诚实，而诚实的法案是你可以设计的。
但可见与可归因不同。要归因使用工具的代理的成本，您必须查看生成它的运行内部。一旦你建立了这种可见性，你就会发现成本只是问题首先显现出来的地方。
成本峰值、不安全委托和失控操作是不同的故障，但它们暴露了相同的缺失层：控制平面无法管理它无法独立观察的循环。
账单是诚实的，但没有解释
发票上的号码没有错，只是不完整。提供商账单可以告诉您消耗了什么；它通常无法告诉您平台内的哪种设计选择导致了消耗。应用日志可以告诉你外部请求是否成功；他们通常无法告诉您特工是如何到达那里的。当团队需要的是审计跟踪时，这使得团队就法案争论不休。
我所说的控制平面是指单个代理之上的平台层，组织在其中集中可观察性并强制执行策略、访问、预算、路由和执行约束。大多数组织已经拥有该层的各个部分。他们经常缺乏的是其之下的证据层：对智能体实际做了什么的循环感知记录。