详细内容或原文请订阅后点击阅览
宣布为 Amazon SageMaker AI 终端节点提供与 OpenAI 兼容的 API 支持
今天，Amazon SageMaker AI 推出了针对实时推理终端节点的 OpenAI 兼容 API 支持。如果您使用 OpenAI SDK、LangChain 或 Strands Agents，您现在可以通过仅更改端点 URL 来调用 SageMaker AI 上的模型。您不需要自定义客户端、SigV4 包装器或代码重写。概述 通过此次发布，SageMaker AI 端点 [...]
来源:亚马逊云科技 _机器学习今天，Amazon SageMaker AI 推出了针对实时推理终端节点的 OpenAI 兼容 API 支持。如果您使用 OpenAI SDK、LangChain 或 Strands Agents，您现在可以通过仅更改端点 URL 来调用 SageMaker AI 上的模型。您不需要自定义客户端、SigV4 包装器或代码重写。
概述
此次发布后，SageMaker AI 端点公开了一个 /openai/v1 路径，该路径接受聊天完成请求并按原样从容器返回响应，包括流式传输。使用标准 SageMaker AI API 和 SDK 为所有端点和推理组件启用 OpenAI 端点。
SageMaker AI 根据 URL 中的端点名称进行路由，因此任何与 OpenAI 兼容的客户端都可以开箱即用。您现在可以为端点创建有时间限制的不记名令牌，并将其与 OpenAI 客户端一起使用。
有关包括部署和调用的工作示例，请参阅 GitHub 上随附的笔记本。
“我们运行 AI 编码代理，通过使用 OpenAI 聊天完成协议的 LLM 网关 (Bifrost) 使用多个 LLM 提供商。不记名令牌功能让我们可以将 SageMaker 添加为嵌入式 OpenAI 兼容推理端点（无需自定义 SigV4 签名），因此它可以与我们的网关、Vercel AI SDK 和标准 OpenAI 客户端本机配合使用。” Giorgio Piatti（AI/ML 工程师 –Caffeine.AI）说道
用例
自有基础设施上的代理工作流程
如果您使用 Strands Agents 或 LangChain 等框架构建多步骤 AI 代理，您现在可以完全在您自己的 SageMaker AI 端点上运行这些工作流程。您的代理使用与构建模型相同的 OpenAI 兼容接口来调用模型，但推理在您自己帐户中的专用 GPU 实例上运行。
单一界面多模型托管
无需更改代码即可提供微调模型
解决方案概述
在这篇文章中，我们将介绍以下内容：