详细内容或原文请订阅后点击阅览

成本跟踪亚马逊基岩上的多租户模型推断

2025年8月5日 01:17 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们演示了如何使用Converse API的RequestMetadata参数跟踪和分析Amazon Bedrock上的多租户模型推理成本。该解决方案包括使用AWS胶水和Amazon快速仪表板的ETL管道，以可视化使用模式，代币消费以及不同租户和部门的成本分配。

来源:亚马逊云科技 _机器学习
通过AI应用程序为多个租户提供服务的组织面临着一个共同的挑战：如何跟踪，分析和优化不同客户群的模型使用情况。尽管亚马逊基岩通过其Converse API提供了强大的基础模型（FMS），但是当您可以将模型交互与特定的租户，用户和用例连接起来时，真正的业务价值会出现。使用Converse API RequientMetadata参数为这一挑战提供了解决方案。通过每个请求传递特定于租户的标识符和上下文信息，您可以将标准调用日志转换为丰富的分析数据集。这种方法意味着您可以用租户级别的精度来衡量模型性能，跟踪使用模式并分配成本 - 不修改您的核心应用程序逻辑。通过应用程序推荐特征管理AI工作负载的轨迹和管理成本，组织的挑战是组织每天面临的挑战，尤其是在使用不支持成本成本分配标签的onemand FMS时。当您手动监视支出并依靠反应性控件时，您会在引入运营效率低下的同时产生超支的风险。应用推理概要文件通过允许将自定义标签（例如，例如，租户，项目或部门）直接应用于on Demand模型来解决此问题，从而实现了粒度成本跟踪。结合AWS预算和成本分配工具，组织可以自动化预算警报，优先考虑关键工作负载并大规模执行支出护栏。从手动监督到程序控制控制的转变可以降低财务风险，同时通过增加团队，应用程序和租户对AI支出的可视性来促进创新。对于在与数以千计的应用推荐资料交易时，跟踪多租户成本
应用程序 Converse 支出的 数据集 大规模 使用 组织 标识符 成本 FMS 真正的 使用情况 反应性 跟踪 负载的 丰富的 组织的 风险 应用 AI 强大的 程序控制 API 模型 意味着 特定的 控制的 可视性 共同的 服务的 工作负载 租户 挑战 自动化