详细内容或原文请订阅后点击阅览

使用 Amazon Bedrock 自定义模型导入部署 GPT-OSS 模型

2025年11月24日 17:49 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们展示了如何使用自定义模型导入在 Amazon Bedrock 上部署 GPT-OSS-20B 模型，同时保持与当前应用程序的完整 API 兼容性。

来源:亚马逊云科技 _机器学习
Amazon Bedrock 自定义模型导入现在支持具有开放权重的 OpenAI 模型，包括具有 200 亿和 1200 亿参数的 GPT-OSS 变体。 GPT-OSS 模型提供推理功能，可与 OpenAI Chat Completions API 一起使用。通过保留完整的 OpenAI API 兼容性，组织可以将其现有应用程序迁移到 AWS，从而获得企业级安全性、扩展性和成本控制。在本文中，我们将展示如何使用自定义模型导入在 Amazon Bedrock 上部署 GPT-OSS-20B 模型，同时保持与当前应用程序的完整 API 兼容性。Amazon Bedrock 自定义模型导入概述Amazon Bedrock 自定义模型导入可让您将自定义模型引入访问基础模型 (FM) 的同一无服务器环境中。您可以使用一个统一的 API 来处理所有事情；您无需处理多个终端节点或管理单独的基础设施。要使用此功能，请将模型文件上传到 Amazon Simple Storage Service (Amazon S3)，然后通过 Amazon Bedrock 控制台启动导入。 AWS 负责处理繁重的工作，包括配置 GPU、配置推理服务器以及根据需求自动扩展。您可以在 AWS 管理基础设施的同时专注于您的应用程序。GPT-OSS 模型支持 OpenAI 聊天完成 API，包括消息数组、角色定义（系统、用户或助理）以及带有令牌使用指标的标准响应结构。您可以将您的应用程序指向 Amazon Bedrock 终端节点，它们只需对您的代码库进行最少的更改即可工作。 GPT-OSS 模型概述 GPT-OSS 模型是 OpenAI 自 GPT-2 以来的第一个开放权重语言模型，在 Apache 2.0 许可证下发布。您可以免费下载、修改和使用它们，包括商业应用程序。这些模型侧重于推理、工具使用和高效部署。根据您的需求选择正确的模型：GPT-OSS-20B（210 亿个参数）——该模型非常适合速度要求较高的应用程序