详细内容或原文请订阅后点击阅览
补贴结束：使用工具的代理实际成本是多少
6 月 1 日，GitHub Copilot 基于使用情况的计费对所有 Copilot 计划都生效，开发人员反应迅速而响亮。 Pro 计划的价格仍然是 10 美元，但它现在附带每月的 AI 积分池。这些积分的价格为一美分，并且根据所使用的模型和代币来消耗它们 [...]
来源:O'Reilly Media _AI & ML6 月 1 日，GitHub Copilot 基于使用情况的计费对所有 Copilot 计划都生效，开发人员反应迅速而响亮。 Pro 计划的价格仍然是 10 美元，但它现在附带每月的 AI 积分池。这些积分的价格为每美分，并且根据使用的模型和处理的代币（包括输入、输出和缓存的代币）进行消耗。对于运行前沿模型的繁重代理会话，这使得支出感觉与固定订阅非常不同。
这就是新闻，值得理解，但不是重要的部分。 6 月 1 日，代理工作的基本成本实际上没有任何变化。代币总是被消耗，循环总是在运行，工具调用总是在扩展上下文。改变的是仪表变得可见。一直以统一费率悄悄补贴的工作量开始以逐项账单的形式出现。
代币去向
要了解该法案为何如此艰难，比较两个看起来相似但法案截然不同的事物会有所帮助。一次聊天的完成接近于一次交易。您发送提示，模型发送答案，您大约为输入支付一次费用，为输出支付一次费用。使用工具的代理根本不是这样工作的。代理并不只是回答问题，而是致力于解决问题，而且它是通过循环来工作的。它对任务进行推理，调用一个工具，读取结果，再次推理，调用另一个工具，然后继续，直到它决定任务完成。
每次通过该循环都会产生很容易被忽略的成本。在许多代理工具中，每个回合都会传递大量累积的上下文：先前的消息、工具描述、检索的文件和工具结果。即使某些上下文被缓存、汇总或修剪，系统仍在进行计量工作，以为下一个决策保留足够的状态。您真正想要的最终答案只是您所支付费用的一小部分。循环就是账单。