详细内容或原文请订阅后点击阅览
使用 Amazon SageMaker 中新的 NVIDIA 功能加速您的 AI 推理工作负载
在 re:Invent 2024 上，我们很高兴地宣布了新功能，利用 Amazon SageMaker 上的 NVIDIA 加速计算和软件产品来加速您的 AI 推理工作负载。在这篇文章中，我们将探讨如何使用这些新功能来增强您在 Amazon SageMaker 上的 AI 推理。我们将介绍从 AWS Marketplace 为 SageMaker Inference 部署 NVIDIA NIM 微服务的过程。然后，我们将深入介绍 NVIDIA 在 SageMaker JumpStart 上提供的模型，展示如何直接在 JumpStart 界面中访问和部署 Nemotron-4 模型。这将包括分步说明，说明如何在 JumpStart 目录中找到 Nemotron-4 模型、为您的用例选择它，以及单击几下即可部署它。
来源:亚马逊云科技 _机器学习本帖由 NVIDIA 的 Abhishek Sawarkar、Eliuth Triana、Jiahong Liu 和 Kshitiz Gupta 共同撰写。
本帖由 NVIDIA 的 Abhishek Sawarkar、Eliuth Triana、Jiahong Liu 和 Kshitiz Gupta 共同撰写。在 re:Invent 2024 上，我们很高兴地宣布使用 Amazon SageMaker 上的 NVIDIA 加速计算和软件产品加速您的 AI 推理工作负载的新功能。这些进步建立在我们与 NVIDIA 的合作之上，其中包括增加对推理优化的 GPU 实例的支持以及与 NVIDIA 技术的集成。它们代表了我们持续致力于为客户提供可扩展、经济高效且灵活的 GPU 加速 AI 推理功能。
Amazon SageMaker今天，我们推出了三项关键改进，进一步扩展了我们的 AI 推理能力：
- NVIDIA NIM 微服务现已在 AWS Marketplace 中提供，用于 SageMaker 推理部署，让客户可以轻松访问最先进的生成式 AI 模型。NVIDIA Nemotron-4 现已在 Amazon SageMaker JumpStart 上提供，大大扩展了可供客户使用的高质量预训练模型范围。此集成提供了一个强大的多语言模型，在推理基准测试中表现出色。推理优化的 P5e 和 G6e 实例现已在 Amazon SageMaker 上全面推出，让客户可以使用 NVIDIA H200 Tensor Core 和 L40S GPU 来处理 AI 推理工作负载。