详细内容或原文请订阅后点击阅览

Amazon SageMaker Python SDK 的 LLM 优化集成

2026年8月6日 16:08 33 Comments
X Twitter Instagram Mail

Amazon SageMaker Python SDK v3 现在直接在您的笔记本中公开 Amazon SageMaker AI 中的生成式 AI 推理建议。对端点进行基准测试，生成数据驱动的部署建议，并部署推荐的配置，而无需离开笔记本工作流程。

来源:亚马逊云科技 _机器学习

优化生成式 AI 推理部署需要对端点进行基准测试、评估实例配置并迭代部署设置。 Amazon SageMaker Python SDK v3 现在直接在您的笔记本工作流程中公开 Amazon SageMaker AI 中的生成式 AI 推理建议。还可以通过 Amazon SageMaker AI UI 和 Boto3 API 访问这些建议。在此版本中，您可以对终端节点进行基准测试、生成数据驱动的部署建议，并使用 Amazon SageMaker Python SDK v3 直接从笔记本部署建议的配置。

在这篇文章中，我们演示了如何使用新的 SDK 接口进行端到端工作流程来优化生成式 AI 推理部署。

Amazon SageMaker AI 中生成式 AI 推理建议的优势

Amazon SageMaker AI 中的生成式 AI 推理建议可通过以下方式自动进行推理优化：

  • 针对合成或实际流量工作负载对实时 Amazon SageMaker 终端节点进行基准测试，测量吞吐量、首次令牌时间 (TTFT)、端到端延迟等。
  • 使用您的实际使用模式生成按成本性能权衡排名的部署建议。
  • 将排名最高的配置直接部署到 Amazon SageMaker 实时终端节点。

    • 以前，这些功能需要使用 Amazon SageMaker Studio 或构建适用于 Python (Boto3) API 调用的 AWS 开发工具包。随着此次发布，它们成为 Python SDK 操作，自然地融入现有的笔记本和管道工作流程。

    新的 SDK 接口

    从版本 3.17.0 开始，新功能可在 sagemaker.serve.ai_inference_recommender 包下使用，并公开以下主要操作：

    先决条件

    验证您是否安装了最新版本的 Amazon SageMaker Python SDK：

    pip install --upgrade sagemaker >= 3.17.0

    您还需要：

  • 具有 AWS Identity and Access Management (IAM) 角色和 Amazon SageMaker 执行权限的 AWS 账户。

    • 解决方案概述

    清理

    实际流量 AWS 推理 Python 测试 吞吐量 使用 生成 先决条件 建议 工作负载 驱动的 建议的 端到端 配置 管道工 Amazon 端节点 基准 节点 工具包 部署 进行 SageMaker AI 生成式 数据驱动 现有的 SDK 最高的