探索Mantle的零操作员访问设计

在这篇文章中,我们将探讨 Amazon Bedrock 的下一代推理引擎 Mantle 如何实现零操作员访问 (ZOA) 设计,消除 AWS 操作员访问客户数据的任何技术手段。

来源:亚马逊云科技 _机器学习

在亚马逊,我们的文化建立在对增长机会进行诚实和透明的讨论的基础上,使我们能够专注于投资和创新,不断提高我们为客户提供价值的能力的标准。本月早些时候,我们有机会分享了在 Mantle(我们的 Amazon Bedrock 的下一代推理引擎)中使用此过程的示例。随着生成式 AI 推理和微调工作负载的不断发展,我们需要改进以优化的方式为客户提供推理服务的方式,这导致了 Mantle 的发展。

当我们着手重新构想下一代推理引擎的架构时,我们将提高安全标准作为首要任务。 AWS 与我们的客户一样坚定不移地关注安全和数据隐私。从一开始,这就是我们业务的核心,并且从 Amazon Bedrock 成立之初就尤其受到关注。我们从一开始就明白,生成式 AI 推理工作负载为客户提供了前所未有的机会来利用其数据的潜在价值,但随着这个机会的出现,我们的客户在构建生成式 AI 系统来处理最敏感的数据并与最关键的系统交互时,需要确保安全性、隐私性和合规性方面的最高标准。

Mantle 使用最近发布的 EC2 实例证明功能来为客户数据处理配置强化、受限且不可变的计算环境。 Mantle 中负责处理模型权重并根据客户提示进行推理操作的服务得到了来自 Nitro 可信平台模块 (NitroTPM) 的加密签名证明测量的高度保证的进一步支持。

展望未来

我们不会就此停止;我们致力于继续投资增强您的数据安全性,并就我们如何实现这一目标向您提供更高的透明度和保证。

关于作者