详细内容或原文请订阅后点击阅览
使用 OpenTelemetry 和 Amazon CloudWatch 在 Amazon Bedrock 上构建 Codex 的可见性
随着工程团队采用 Codex 等编码代理，领导者需要了解采用、消耗和可靠性。本文介绍如何通过本地收集器将 Codex OpenTelemetry 指标路由到 Amazon CloudWatch，以获取按用户、团队和成本中心划分的 AWS 本机使用情况视图。
来源:亚马逊云科技 _机器学习随着组织从尝试编码代理转向跨工程团队采用编码代理，领导力问题发生了变化。它不再只是“这个工具可以帮助开发人员吗？”它变成了“我们如何理解采用、管理消耗、维护可靠性以及负责任地扩展访问？”。 Codex 可以发出有关其活动的 OpenTelemetry (OTel) 指标。当本地 Codex 客户端通过 Amazon Bedrock 使用 OpenAI 模型并通过 AWS IAM Identity Center 进行身份验证时，您可以通过本地 OTel 收集器将这些指标路由到 Amazon CloudWatch。结果是 Codex 使用情况的 AWS 本机视图，可以按用户、团队、部门、组织或成本中心进行组织。
此方法不会将集中代理添加到模型请求路径。开发人员继续在本地使用 Codex。每个开发人员工作站上运行的收集器接收本地主机上的指标，并通过组织上下文丰富它们。然后，它使用 AWS 签名版本 4 (SigV4) 将它们发送到区域 CloudWatch OpenTelemetry Protocol (OTLP) 终端节点。参考部署创建 CloudWatch 控制面板，而不是 Amazon Elastic Container Service (Amazon ECS) 服务、负载均衡器、虚拟私有云 (VPC) 或公共提取终端节点。
在这篇文章中，我们解释了此模式如何支持受管控的采用，回顾其架构，并总结 Codex on AWS 指导存储库中的实现。
将遥测数据转化为业务决策
遥测在回答决策时最有用，而不仅仅是在生成另一个仪表板时。捆绑的 CodexOnBedrock 仪表板包括活跃用户、对话次数、API 请求和令牌使用情况的 24 小时滚动总数。它还提供按模型、令牌类型、用户、部门、团队、成本中心、组织和会话源划分的视图。
解决方案概述
实现参考模式
完整的命令和模板位于本机 AWS 访问快速入门中。以下五个阶段总结了实施过程。