人工智能代理的实际成本由哪些因素构成

自主代理的经济性较少依赖于所使用的模型,而更多地依赖于“思考”的数量、周期的数量以及对辅助工具的调用频率。

来源:OSP网站大数据新闻

基于代理的人工智能正在迅速从“时尚”技术趋势类别转变为企业支出的重要项目类别。与一次执行一项任务的常规聊天机器人不同,代理系统致力于实现特定目标。代理将问题分解为多个组件,提取上下文,选择解决方案选项,调用各种 API,检查输出数据,这个链条可以重复多次,直到获得最终结果。

这种程度的自治看起来很有希望,但代价是什么?据专家称,根据用例,一个代理每年可以消耗超过 10 亿个代币。一个用于招聘或入职员工的简化代理每年花费约 4 亿个代币,而一个软件工程代理则花费 13 亿个代币。然而,成本并不仅限于代币的消耗。需要考虑的成本包括编排平台、向量数据库、可观察性和监控工具、模型质量评估、安全和工作流程控制、结果同行评审、与企业应用程序的集成、数据处理管道、审计日志记录、提示管理以及开发和支持这些系统的工程师的工资。专家估计,总运营成本可能比代币本身成本高出两到五倍。在受监管的行业和关键任务系统中,这个比率可能更高。

在这方面,为实施基于代理的人工智能准备财务和经济理由可能很困难。调用模型可能成本低廉,但基于模型的系统则不然。

基于代理的系统在法律、医疗保健管理流程、营销分析、人力资源和供应链等领域也很有效。