释放欧洲人工智能的灵活性:欧盟数据处理和模型访问的跨区域推理指南

由于全球需求旺盛,AWS 客户需要获取最新的生成式 AI 模型和高性能加速计算,因此需要工具来利用跨多个 AWS 区域的模型可用性和容量,同时仍满足其安全和隐私要求。 Amazon Bedrock 上的跨区域推理 (CRIS) 通过自动跨多个 [...] 路由请求来满足这些需求

来源:亚马逊云科技 _机器学习

由于全球需求旺盛,AWS 客户需要获取最新的生成式 AI 模型和高性能加速计算,因此需要工具来利用跨多个 AWS 区域的模型可用性和容量,同时仍然满足其安全和隐私要求。Amazon Bedrock 上的跨区域推理 (CRIS) 通过在预定义地理边界内跨多个 AWS 区域自动路由请求来满足这些需求。这使得生成式人工智能应用程序能够消耗地理上的广泛容量,帮助客户构建更具弹性的应用程序,以反映其复杂的地理情况。

在这篇文章中,我们将深入探讨跨区域推理 (CRIS) 并解释欧洲客户如何受益。我们重点介绍 AWS 为客户提供的功能、服务和资源,以帮助他们满足本地数据保护和处理要求。这包括通用数据保护条例 (GDPR),该条例可能适用于他们在使用 CRIS 时的活动。

跨区域推理配置文件

跨区域推理 (CRIS) 是 Amazon Bedrock 中的一项托管功能,可在受支持的 AWS 区域内路由模型推理请求。推理配置文件是 Amazon Bedrock 中的一种资源,用于定义请求可以路由到的区域。这些配置文件在某些​​区域组内路由请求。 CRIS 路由旨在以尽可能低的延迟开销优化模型吞吐量。

Amazon Bedrock 引入了系统定义的推理配置文件。这些推理配置文件以模型及其支持的地理区域命名。这些配置文件可帮助 Amazon Bedrock 消费者使用 AWS 全球范围的足迹来构建其生成式 AI 解决方案。要了解跨区域推理配置文件如何处理推理请求,了解以下关键概念非常重要:

源区域 – 您发出指定推理配置文件的 API 请求的区域。

全局推理

结论

玛戈·克罗宁