详细内容或原文请订阅后点击阅览

使用Amazon Sagemaker Hyperpod食谱进行微调Openai GPT-oss型号

2025年8月21日 21:35 33 Comments
X Twitter Instagram Mail

这篇文章是GPT-oss系列的第二部分，专注于Amazon Sagemaker AI的模型定制。在第1部分中，我们使用带有Sagemaker培训工作的开源拥抱面部库进行了微调的GPT-oss模型，该培训工作支持分布式的多GPU和多节点配置，因此您可以按需旋转高性能群集。在这篇文章中，[…]

来源:亚马逊云科技 _机器学习
这篇文章是GPT-oss系列的第二部分，专注于Amazon Sagemaker AI的模型定制。在第1部分中，我们使用开源拥抱的面部库展示了带有SageMaker培训工作的开源拥抱面孔库，该培训工作支持分布式的多GPU和多节点配置，因此您可以按需按需启动高性能群集。 Sagemaker Hyperpod食谱可帮助您开始使用Sagemaker Hyperpod或培训工作，在短短几分钟内就可以在短短几分钟内进行培训和微调公开的基础模型（FMS），例如Meta的Llama，Mistral和DeepSeek。这些食谱提供了预先验证的配置，可以减轻设置分布式培训环境的复杂性，同时维持企业级的性能和模型的可扩展性。 We outline steps to fine-tune the GPT-OSS model on a multilingual reasoning dataset, HuggingFaceH4/Multilingual-Thinking, so GPT-OSS can handle structured, chain-of-thought (CoT) reasoning across multiple languages.Solution overviewThis solution uses SageMaker HyperPod recipes to run a fine-tuning job on HyperPod using Amazon Elastic Kubernetes Service (Amazon EKS) orchestration or training工作。食谱是通过SageMaker HyperPod食谱启动器处理的，该配方层是负责在相应体系结构（例如Sagemaker Hyperpod（Slurm或Amazon EKS）或培训工作）上启动作业的编排层。要了解更多信息，请参阅SageMaker HyperPod食谱。有关微调GPT-oss型号的详细信息，请参阅Amazon Sagemaker AI上的微调OpenAi GPT-oss型号，使用拥抱面库。在以下各节中，我们讨论了选项的先决条件，然后继续进行数据准备。准备的数据保存到Amazon FSX以进行光泽，该数据被用作Sagemaker Hyperpod的持久文件系统，或Amazon Simple
模型的 GPT 食谱 验证的 数据保存 分布式 数据 oss 节点配置 继续进行 系列的 使用 培训 HyperPod 型号 启动 环境的 工作 Amazon 工作的 详细信息 高性能 先决条件 SageMaker 体系结构 作业的 行数据 Hyperpod 微调 Sagemaker 启动器 公开的 拥抱 复杂性 可扩展性