详细内容或原文请订阅后点击阅览

使用 Amazon SageMaker HyperPod 训练算子加速大规模 AI 训练

2025年10月21日 17:26 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们演示了如何使用 Amazon SageMaker HyperPod 训练操作器部署和管理机器学习训练工作负载，该操作器通过精确恢复和可定制的监控功能增强 Kubernetes 工作负载的训练弹性。 Amazon SageMaker HyperPod 训练运算符通过有效管理跨大型 GPU 集群的分布式训练来帮助加速生成式 AI 模型开发，提供集中训练过程监控、精细过程恢复和挂起作业检测等优势，可将恢复时间从数十分钟缩短到几秒钟。

来源:亚马逊云科技 _机器学习
大规模AI模型训练面临故障恢复和监控的重大挑战。即使单个训练过程失败，传统训练也需要重新启动整个作业，从而导致额外的停机时间和成本增加。随着训练集群的扩展，识别和解决 GPU 停滞和数值不稳定等关键问题通常需要复杂的自定义监控代码。借助 Amazon SageMaker HyperPod，您可以利用内置弹性在数百或数千个 GPU 上加速 AI 模型开发，从而将模型训练时间缩短高达 40%。 Amazon SageMaker HyperPod 训练操作器通过精确恢复和可自定义的监控功能进一步增强 Kubernetes 工作负载的训练弹性。在本博文中，我们将向您展示如何使用 Amazon SageMaker HyperPod 训练操作器部署和管理机器学习训练工作负载，包括设置说明和完整的训练示例。Amazon SageMaker HyperPod 训练操作器Amazon SageMaker HyperPod 训练操作器可帮助您 通过有效管理跨大型 GPU 集群的分布式训练，加速生成式 AI 模型开发。 Amazon SageMaker HyperPod 训练操作器使用内置的故障恢复组件，打包为 Amazon Elastic Kubernetes Service (Amazon EKS) 插件，并将必要的自定义资源定义 (CRD) 部署到 HyperPod 集群。解决方案概述下图描述了 Amazon SageMaker HyperPod 训练操作器的架构。HyperPod 训练操作器遵循 Kubernetes 操作器 模式并具有以下主要组件：自定义资源定义 (CRD)：HyperPodPyTorchJob 定义作业规范（例如，节点数、图像）并充当客户提交作业的界面。 apiVersion：sagemaker.amazonaws.com/v1 kind：HyperPodPyTorchJobRBAC 策略：定义允许控制器执行的操作，例如创建 pod 和 m
训练 训练集 训练弹 不稳定 弹性 大规模 定义 Kubernetes 工作负载 作业的 组件 集群 分布式 完整的 监控功能 Amazon 操作器 停机时间 HyperPod 管理机 监控的 需要 执行的 额外的 复杂的 自定义 成本增加 机器学习 例如 故障 负载的 GPU SageMaker AI 模型 内置的 必要的 恢复 控制器