详细内容或原文请订阅后点击阅览
您的 AI 代理通过了每项评估。金融仍然扼杀了它。
一个 AI 代理通过了我发布的评估工具中的每一项指标，然后 CFO 杀死了它 — 它的成功解决方案的成本比它所取代的人类还要高。这是一个预测代理是否能在生产中幸存下来的指标，以及如何在不重建的情况下对其进行衡量的指标。您的 AI 代理通过了每项评估。金融仍然扼杀了它。首先出现在《走向数据科学》上。
来源:走向数据科学。然后它被关闭了。
我当时正在房间里观看那篇评论，结果它被扼杀了。一家中端市场 SaaS 公司建立了一个客户运营代理来处理计费和帐户票据。他们根据我两个月前在该网站上发布的十二指标评估框架对其进行了检测。任务完成度、忠实度、检索精度、工具调用准确性、延迟、幻觉率。每个指标都在其目标范围内。从所跟踪的安全带的各项指标来看，该特工都在工作。
首席财务官打开她的笔记本电脑，在屏幕上输入一个号码。每个已解决的工单的成本（包括代理尝试解决但未能解决的工单）高于公司支付给人工完成相同工作的费用。不是由于舍入误差。与它本应取代的全人工工作流程相比，座席辅助工作流程为公司每解决一个工单带来的成本更高。
工程主管反驳道。他说，每个质量指标都是绿色的。对于相同的机票类型，代理比团队更准确。确实如此。在那个房间里，这也是无关紧要的。该代理在水下准确且经济，并且评估工具没有任何指标可以看到该句子的后半部分。
我制作了那个安全带。我坚持这十二个指标。但我发现了一些问题，两个月来观察各支球队的部署，让我无法忽视这一差距。安全带衡量智能体是否正确。它不衡量代理人是否为自己付费。到 2026 年，第二个问题将决定哪些代理继续投入生产，但它不在框架中。
这一部分是我应该包含的指标，为什么它比看起来更难测量，以及当数字返回水下时团队会做什么。
安全带的尺寸以及未达到的一半
这些指标中的每一个都是质量指标。其中没有一个是经济指标。