使用全新改进的 Amazon SageMaker Python SDK 加速您的 ML 生命周期 - 第 2 部分:ModelBuilder

在本系列的第 1 部分中,我们介绍了 Amazon SageMaker Python SDK 上新推出的 ModelTrainer 类及其优势,并向您展示了如何在自定义数据集上微调 Meta Llama 3.1 8B 模型。在这篇文章中,我们将介绍 ModelBuilder 类的增强功能,它允许您将模型从 ModelTrainer 无缝部署到 SageMaker 终端节点,并为多种部署配置提供单一界面。

来源:亚马逊云科技 _机器学习

在本系列的第 1 部分中,我们介绍了 Amazon SageMaker Python SDK 上新推出的 ModelTrainer 类及其优势,并向您展示了如何在自定义数据集上微调 Meta Llama 3.1 8B 模型。在本博文中,我们将介绍 ModelBuilder 类的增强功能,它可让您将模型从 ModelTrainer 无缝部署到 SageMaker 终端节点,并为多种部署配置提供单一界面。

第 1 部分 Amazon SageMaker ModelBuilder

2023 年 11 月,我们推出了 ModelBuilder 类(请参阅使用 Amazon SageMaker 中的新工具和引导式工作流程更快地打包和部署模型和使用 Amazon SageMaker 轻松打包和部署经典 ML 和 LLM,第 1 部分:PySDK 改进),这降低了创建 SageMaker 终端节点的初始设置的复杂性,例如创建终端节点配置、选择容器、序列化和反序列化等,并帮助您一步创建可部署模型。最近的更新增强了 ModelBuilder 类在广泛用例中的可用性,特别是在快速发展的生成 AI 领域。在这篇文章中,我们深入探讨了对 ModelBuilder 类的增强功能,并向您展示如何将第 1 部分中的微调模型无缝部署到 SageMaker 终端节点。

使用 Amazon SageMaker 中的新工具和引导式工作流程更快地打包和部署模型 使用 Amazon SageMaker 轻松打包和部署经典 ML 和 LLM,第 1 部分:PySDK 改进 第 1 部分

对 ModelBuilder 类的改进

我们对 ModelBuilder 类进行了以下可用性改进:

  • 从训练到推理的无缝过渡 - ModelBuilder 现在直接与 SageMaker 训练接口集成,以确保自动计算最新训练模型工件的正确文件路径,从而简化从模型训练到部署的工作流程。
  • 从训练到推理的无缝过渡 统一推理接口 基准测试支持 ModelTrainer 第 1 部分