通过增强的安全性加速 ML 实验:AWS PrivateLink 支持使用 MLflow 的 Amazon SageMaker

借助各种生成式 AIfoundation 模型 (FM) 以及在 AmazonSageMaker 中构建和训练自己的机器学习 (ML) 模型的能力,用户希望以无缝且安全的方式试验和选择能够为其业务带来最大价值的模型。在 ML 的初始阶段 […]

来源:亚马逊云科技 _机器学习

有了访问各种生成式 AI 基础模型 (FM) 以及在 Amazon SageMaker 中构建和训练自己的机器学习 (ML) 模型的能力,用户希望以无缝且安全的方式试验和选择为其业务带来最大价值的模型。在 ML 项目的初始阶段,数据科学家密切协作,分享实验结果以应对业务挑战。但是,跟踪大量实验及其参数、指标和结果可能很困难,尤其是在同时处理复杂项目时。MLflow 是一种流行的开源工具,可帮助数据科学家组织、跟踪和分析 ML 和生成式 AI 实验,从而更轻松地重现和比较结果。

生成式 AI Amazon SageMaker MLflow

SageMaker 是一项全面、完全托管的 ML 服务,旨在为数据科学家和 ML 工程师提供处理整个 ML 工作流程所需的工具。带有 MLflow 的 Amazon SageMaker 是 SageMaker 中的一项功能,可让用户无缝创建、管理、分析和比较他们的 ML 实验。它简化了设置和管理 MLflow 环境所涉及的通常复杂且耗时的任务,使 ML 管理员能够在 AWS 上快速建立安全且可扩展的 MLflow 环境。有关更多详细信息,请参阅 Amazon SageMaker 上的完全托管 MLFlow。

带有 MLflow 的 Amazon SageMaker 在 Amazon SageMaker 上完全托管 MLFlow

增强的安全性:AWS VPC 和 AWS PrivateLink

Amazon Virtual Private Cloud (Amazon VPC) 通过 VPC 接口终端节点连接到 SageMaker AWS PrivateLink VPC MLflow 跟踪服务器 通过接口 VPC 终端节点连接到 MLflow 跟踪服务器

在这篇博文中,我们演示了一个用例,用于在私有 VPC(无互联网访问)中设置 SageMaker 环境,同时使用 MLflow 功能来加速 ML 实验。

SageMaker 私有 VPC MLflow 加速 ML 实验

解决方案概述

GitHub @remote 装饰器 博客文章