使用 Amazon SageMaker AI 跟踪和管理 AI 开发中使用的资产

在这篇文章中,我们将探讨帮助组织跟踪和管理模型开发和部署生命周期的新功能和核心概念。我们将向您展示如何配置这些功能来训练具有自动端到端沿袭的模型,从数据集上传和版本控制到模型微调、评估和无缝端点部署。

来源:亚马逊云科技 _机器学习

构建自定义基础模型需要协调整个开发生命周期中的多个资产,例如数据资产、计算基础设施、模型架构和框架、沿袭和生产部署。数据科学家创建和完善训练数据集,开发自定义评估器来评估模型质量和安全性,并通过迭代微调配置来优化性能。随着这些工作流程跨团队和环境扩展,跟踪生成每个模型的特定数据集版本、评估器配置和超参数变得具有挑战性。团队通常依赖笔记本或电子表格中的手动文档,因此很难重现成功的实验或理解生产模型的沿袭。

在具有多个 AWS 账户用于开发、预演和生产的企业环境中,这一挑战会加剧。随着模型在部署管道中移动,保持对其训练数据、评估标准和配置的可见性需要进行大量协调。如果没有自动跟踪,团队就无法追踪已部署模型的起源,也无法在实验中一致地共享资产。 Amazon SageMaker AI 支持跟踪和管理生成式 AI 开发中使用的资产。借助 Amazon SageMaker AI,您可以注册模型、数据集和自定义评估器并对其进行版本控制,然后在微调、评估和部署生成式 AI 模型时自动捕获关系和沿袭。这减少了手动跟踪开销,并提供了对模型创建方式(从基础模型到生产部署)的完整可见性。

跨实验管理数据集版本

创建可重用的自定义评估器

在整个开发生命周期中自动沿袭跟踪

与 MLflow 集成以进行实验跟踪

开始跟踪和管理生成式 AI 资产

开始使用:

  • 自定义 JumpStart 基础模型以创建模型。