使用 SageMaker HyperPod 上的交互式 IDE 增强您的 ML 工作流程

采用 Amazon Elastic Kubernetes Service (EKS) 编排的 Amazon SageMaker HyperPod 集群现在支持创建和管理交互式开发环境,例如 JupyterLab 和开源 Visual Studio Code,通过为数据科学家提供熟悉工具的托管环境来简化 ML 开发生命周期。这篇文章展示了 HyperPod 管理员如何为其集群配置空间,以及数据科学家如何创建和连接到这些空间。

来源:亚马逊云科技 _机器学习
采用 Amazon Elastic Kubernetes Service (EKS) 编排的 Amazon SageMaker HyperPod 集群现在支持创建和管理交互式开发环境(例如 JupyterLab 和开源 Visual Studio Code),通过为数据科学家熟悉的工具提供托管环境来简化 ML 开发生命周期。 此功能引入了一个名为 Amazon SageMaker Spaces 的新插件,供 AI 开发人员创建和管理用于运行笔记本的独立环境。组织现在可以通过在同一基础设施上运行交互式工作负载和训练作业来最大化其 GPU 投资,并支持部分 GPU 分配以提高成本效率。此功能降低了管理多个开发环境的复杂性,并专注于构建和部署其 AI 和 ML 模型。这篇文章展示了 HyperPod 管理员如何为其集群配置空间,以及数据科学家如何创建和连接到这些空间。您还将了解如何直接从本地 VS Code 环境连接到 HyperPod 中创建的空间。解决方案概述下图展示了在 HyperPod 集群上创建和管理空间所涉及的不同组件。该功能的工作原理如下:集群管理员从 SageMaker AI 控制台安装 Spaces 插件。管理员可以使用快速安装或自定义安装选项来安装插件。设置集群后,数据科学家和 AI 开发人员可以使用 HyperPod 命令行界面或 kubectl 创建空间。创建空间后,用户可以通过以下两个选项之一连接到正在运行的空间: 访问空间 Web UI:这需要设置 AWS 应用程序负载均衡器 (ALB),并在 Amazon Route 中设置或注册您自己的自定义域名系统 (DNS) 53. 设置自定义域后,用户将能够使用 presi 安全地连接到 JupyterLab 或代码编辑器空间