在 AWS GovCloud(美国)的 Amazon Bedrock 上运行 NVIDIA Nemotron 和 OpenAI GPT OSS 模型

我们很高兴在 AWS GovCloud(美国)中引入基于美国的前沿开放权重模型。通过此版本,Amazon Bedrock 现在支持 OpenAI 的开放权重 GPT OSS 模型(120B 和 20B)和 NVIDIA Nemotron(Nano 9B v2、Nano 12B v2、Nano 30B、Super 120B)模型。在这篇文章中,我们将介绍这些模型及其功能、数据驻留的推理选项、可用的服务层以及如何开始。

来源:亚马逊云科技 _机器学习

在 AWS GovCloud(美国)中运行工作负载的政府机构需要与商业部门保持同步的 AI 功能。与此同时,他们不能损害其任务所需的安全和合规控制。随着开放重量基础模型 (FM) 从实验转向任务系统,每个模型决策都有两个要求。首先,模型必须提供任务所需的能力。其次,推理环境必须满足机构的安全性、合规性和数据驻留义务。对于美国政府机构、国防和情报界以及为其服务的承包商来说,这些要求是不容谈判的。访问先进的开放权重模型对于情报分析、任务规划、采购和合同文档审查、安全日志分析和合规自动化等工作至关重要。此访问不得要求将敏感数据移至管理它的边界之外。

我们很高兴在 AWS GovCloud(美国)中引入基于美国的前沿开放权重模型。通过此版本,Amazon Bedrock 现在支持 OpenAI 的开放权重 GPT OSS 模型(120B 和 20B)和 NVIDIA Nemotron(Nano 9B v2、Nano 12B v2、Nano 30B、Super 120B)模型。借助这些新模型,您可以使用多样化的高性能 FM 来构建和扩展生成式 AI 应用程序。这使得通过单一、统一的 API 可以灵活地使用 OpenAI 和 NVIDIA 的最新模型以及其他领先的 AI 模型。您可以使用这个统一的 API 为每个特定用例选择正确的模型,而无需更改应用程序代码。

Amazon Bedrock 是一项完全托管的服务,用于访问来自独立模型提供商的 FM,推理完全在 AWS 运营的基础设施上运行。

借助 Amazon Bedrock,推理可在 AWS GovCloud(美国)隔离边界内、美国公民在美国领土上运营的基础设施上运行。有关 Amazon Bedrock 如何处理数据的详细信息,请参阅 Amazon Bedrock 中的数据保护。