详细内容或原文请订阅后点击阅览

为 Amazon Bedrock 构建主动 AI 成本管理系统 – 第 2 部分

2025年10月22日 18:58 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们探讨了 Amazon Bedrock 部署的高级成本监控策略，引入了精细的自定义标记方法，以实现精确的成本分配和全面的报告机制，这些机制建立在第 1 部分中建立的主动成本管理基础之上。该解决方案演示了如何实现调用级标记、应用程序推理配置文件以及与 AWS Cost Explorer 的集成，以创建生成式 AI 使用和生成的完整 360 度视图。 费用。

来源:亚马逊云科技 _机器学习
在我们系列的第 1 部分中，我们介绍了适用于 Amazon Bedrock 的主动成本管理解决方案，该解决方案具有强大的成本哨兵机制，旨在强制实施实时令牌使用限制。我们探索了核心架构、代币跟踪策略和初始预算执行技术，帮助组织控制其生成式人工智能费用。在此基础上，本文探讨了生成式人工智能部署的高级成本监控策略。我们引入精细的自定义标记方法以实现精确的成本分配，并开发全面的报告机制。解决方案概述第 1 部分中介绍的成本哨兵解决方案是作为一种集中式机制开发的，可主动限制生成式 AI 的使用，以遵守规定的预算。下图说明了该解决方案的核心组件，通过 AWS Billing and Cost Management 添加了成本监控。用于增强可追溯性的调用级标记通过将丰富的元数据附加到每个 API 请求，在 Amazon CloudWatch 日志中创建全面的审计跟踪，调用级标记扩展了我们的解决方案的功能。在调查与预算相关的决策、分析速率限制影响或了解不同应用程序和团队的使用模式时，这变得特别有价值。为了支持这一点，更新了主要的 AWS Step Functions 工作流程，如下图所示。增强的 API 输入我们还改进了 API 输入以支持自定义标记。新的输入结构引入了针对模型特定配置和自定义标记的可选参数：{  "model": "string",     // 例如，"claude-3" 或 "anthropic.claude-3-sonnet-20240229-v1:0"  "prompt": {    "messages": [      {        "role": "string",   //“系统”、“用户”或“助理”        “内容”： "string"      }    ],    "parameters": {      "max_tokens": number,    // 可选的、特定于型号的默认值       "Temperature": number,   // 可选的、特定于型号的默认值
可选的 生成式 Amazon 标记 增强的 标记的 丰富的 string 精确的 成本管理 全面的 哨兵 相关的 使用限制 流程 精细的 人工智能 解决方案 主要的 可追溯性 审计跟踪 输入 应用程序 系列的 机制 API 成本 有价值 预算执行 自定义 引入 强大的 " 默认值 集中式 策略 规定的 监控