详细内容或原文请订阅后点击阅览

在Amazon Sagemaker Hyperpod

2025年9月9日 14:35 33 Comments
X Twitter Instagram Mail

AWS宣布在亚马逊Sagemaker Hyperpod中宣布了托管分层的检查点，这是一种专门建立的基础架构，可扩展和加速成千上万个AI加速器的生成AI模型开发。托管分层检查点使用CPU内存进行高性能检查点存储，并在相邻计算节点上自动数据复制，以增强可靠性。在这篇文章中，我们深入研究了这些概念，并了解如何使用托管分层检查点功能。

来源:亚马逊云科技 _机器学习
随着组织扩展其AI基础架构以支持万亿参数模型，他们面临艰难的权衡：减少培训时间，成本较低或更快的培训时间，成本更高。当他们经常检查点以加快恢复时间并减少损失的训练时间时，他们会以更高的存储成本产生。而且，当很少检查检查站时，它们会在发生故障时降低成本，以失去有价值的培训进度。在大型分布式培训环境中，这种挑战会加剧，其中成千上万的加速器可能会经常发生问题。根据Meta发表的一篇文章，在Meta Llama 3模型培训期间，每3小时发生一次失败。 GPU问题占总失败的60％，网络，CPU和磁盘占其他40％的占总失败的占总失败的占总失败的。由于检查点很少，这些累积的故障可能会导致在整个培训过程中损失几天的培训进度，从而增加成本和上市时间。频繁的检查站可以使网络饱和，过载存储并导致不可预测的性能。为了解决这些挑战，AWS宣布在亚马逊Sagemaker Hyperpod中宣布的托管分层检查点，这是一种专门建立的基础架构，以扩展并加速成千上万个AI Accelerators的AI模型开发。托管分层检查点使用CPU内存进行高性能检查点存储，并在相邻计算节点上自动数据复制，以增强可靠性。 Although SageMaker HyperPod identifies node issues automatically and replaces those nodes so your training can resume, managed tiered checkpointing helps you implement the best checkpointing strategy and maximize your training throughput.Managed tiered checkpointing has been tested on large distributed training clusters ranging from hundreds of GPU to over 15,000 GPU, with checkpoints being saved within seconds.In this post, we dive deep into those concepts and在