详细内容或原文请订阅后点击阅览
引入 Amazon Bedrock 上 OpenAI GPT-5.6 模型的跨区域推理
Amazon Bedrock 现已在超过 25 个 AWS 区域提供具有跨区域推理功能的 OpenAI GPT-5.6 模型(Sol、Terra 和 Luna)。了解美国地理和全球推理配置文件如何路由更高吞吐量的请求、如何使用 OpenAI 和 Converse API 调用模型,以及如何配置 IAM、配额和监控。
来源:亚马逊云科技 _机器学习这篇文章是与 OpenAI 的 Chris Dickens 共同撰写的。
Amazon Bedrock 现在在超过 25 个 AWS 区域的 Amazon Bedrock 上提供 OpenAI GPT-5.6 模型,并具有跨区域推理功能。三个 GPT-5.6 变体支持跨区域推理:Sol、Terra 和 Luna,每种变体都针对功能和成本的不同平衡进行了调整。
Amazon Bedrock 中的跨区域推理 (CRIS) 通过推理配置文件发挥作用,该配置文件定义模型以及 Amazon Bedrock 可将请求路由到的 AWS 区域。您从源区域调用配置文件,Amazon Bedrock 使用该区域中的计算将请求路由到目标区域。 CRIS 主要是一种能力机制。通过允许请求利用更广泛的计算池而不是受限于一个区域的可用容量,它可以提高吞吐量并有助于在负载下保持一致的性能。地理推理配置文件在单个地理区域内路由请求,因此您可以在扩展的同时保持在该地理区域内处理数据。对于 GPT-5.6,本次发布引入了美国地理(美国跨区域推理)和全球 CRIS。全局推理配置文件根据实时容量在部署模型的所有受支持的 AWS 商业区域之间进行路由,让您能够广泛访问 Amazon Bedrock 容量。
在本文中,我们将概述 Amazon Bedrock 上的 GPT-5.6 模型、地理和全球跨区域推理如何适用于这些模型,以及如何从 Amazon Bedrock 控制台以及使用 OpenAI Responses API、OpenAI Chat Completions API 和 Amazon Bedrock Converse API 在代码中调用它们。
Amazon Bedrock 上的 GPT-5.6
Amazon Bedrock 推理配置文件是您传递的逻辑标识符,而不是原始模型 ID。
下表列出了您可以调用 GPT-5.6 推理配置文件的源区域以及可以处理您的请求的目标区域。相同的路由适用于所有三个变体:Sol、Terra 和 Luna。
加拿大:加拿大(中部)ca-central-1
