详细内容或原文请订阅后点击阅览
如何控制人工智能成本
扩大法学硕士规模的经验教训《如何控制人工智能成本》一文首先出现在《迈向数据科学》上。
来源:走向数据科学当我的团队首次推出由 GPT 支持的内部助手时，采用率迅速上升。工程师用它来测试用例，支持代理用它来总结，产品经理用它来起草规格。几周后，财务部门标记了该法案。最初的几百美元飞行员开支已激增至数万美元。没有人能说出是哪些团队或功能推动了这一高峰。
这种经历并不罕见。尝试使用法学硕士和托管人工智能服务的公司很快意识到这些成本与 SaaS 或传统云不同。人工智能支出基于使用情况且不稳定。每个 API 调用、每个令牌和每个 GPU 小时都会累加。如果没有可见性，账单的扩展速度就会快于采用速度。
随着时间的推移，我发现了四种控制人工智能支出的实用方法。每个在不同的设置下效果最好。
1. AI + 云成本统一平台
这些平台提供了跨传统云基础设施和人工智能使用的单一视图，非常适合已经实践 FinOps 并希望将法学硕士纳入其工作流程的公司。
Finout 在此类别中处于领先地位。它直接从 OpenAI、Anthropic、AWS Bedrock 和 Google Vertex AI 获取计费数据，同时还整合 EC2、Kubernetes、Snowflake 和其他服务的支出。该平台将代币使用映射到团队、功能甚至提示模板，从而更轻松地分配支出和执行策略。
找出Vantage 和 Apptio Cloudability 等其他公司也提供统一的仪表板，但通常对 LLM 特定支出的粒度较小。
这在以下情况下效果很好：
- 您的组织有现有的 FinOps 流程（预算、警报、异常检测）。您希望跨云和 LLM API 跟踪每次对话或模型的成本。您需要使用与基础设施支出相同的语言解释 AI 支出。
权衡：