详细内容或原文请订阅后点击阅览
使用自定义 Amazon CloudWatch 控制面板跨账户监控 Amazon SageMaker Pipelines
在这篇文章中,我们提出了一个解决方案,旨在使用 Amazon CloudWatch 自定义控制面板集中监控跨 AWS 账户和区域的 SageMaker Pipelines。随附的 GitHub 存储库提供了所需基础设施的可自定义 AWS 云开发套件 (AWS CDK) 示例。
来源:亚马逊云科技 _机器学习使用 Amazon SageMaker Pipelines,组织可以自动化其机器学习 (ML) 工作负载,并将其分发到许多 AWS 账户和 AWS 区域,作为其机器学习操作 (MLOps) 策略的一部分。
然而,当 SageMaker Pipelines 分布在许多 AWS 环境中时,监控它们可能会变得复杂。开发人员和运营工程师必须在多个帐户和区域之间手动切换以检查 SageMaker Pipeline 执行情况,从而导致运营开销。
Amazon SageMaker Studio 提供对单个账户和区域内的 SageMaker Pipelines 的监控。组织可以使用 Amazon CloudWatch、AWS Lambda、Amazon DynamoDB 和 Amazon EventBridge 等服务构建仪表板,根据其可观测性要求定制跨多个 AWS 环境跟踪 SageMaker Pipelines 的执行情况。
在这篇文章中,我们提出了一个解决方案,旨在使用 Amazon CloudWatch 自定义控制面板集中监控跨 AWS 账户和区域的 SageMaker Pipelines。随附的 GitHub 存储库提供了所需基础设施的可自定义 AWS 云开发套件 (AWS CDK) 示例。
该解决方案旨在通过单一界面提供详细、近乎实时的可视性,了解在多个区域和多个账户中运行的 SageMaker Pipelines 执行情况,以帮助简化日常运营。在下一节中,我们将详细研究该解决方案的架构。
解决方案概述
该解决方案实施了一个交互式 CloudWatch 仪表板,旨在为跨多个 AWS 账户和区域运行的 SageMaker Pipelines 提供统一的可见性。
我们选择无服务器、事件驱动的架构,实时响应 SageMaker Pipeline 事件,避免始终在线的监控系统或轮询机制的开销。使用托管或无服务器服务以及本机服务集成还可以帮助减少前期成本和维护工作。
