使用 Amazon Bedrock Guardrails 保护生成式 AI 应用程序

在这篇文章中,我们将演示如何通过使用 Amazon Bedrock Guardrails 向自定义多提供商生成式 AI 网关添加集中式保护措施来应对这些挑战。

来源:亚马逊云科技 _机器学习

旨在使用 AI 代理实现流程自动化或使用基于 AI 聊天的助手提高员工工作效率的企业需要实施全面的保障措施和审计控制,以负责任地使用 AI 并通过大型语言模型 (LLM) 处理敏感数据。许多人开发了定制的生成式 AI 网关或采用了现成的解决方案(例如 LiteLLM 或 Kong AI Gateway),为他们的 AI 从业者和开发人员提供从不同提供商获得法学硕士的机会。然而,在来自不同提供商的越来越多的法学硕士中大规模执行和维护一致的政策以实现快速安全和敏感数据保护是一项挑战。

在这篇文章中,我们将演示如何通过使用 Amazon Bedrock Guardrails 向自定义多提供商生成式 AI 网关添加集中式保护措施来应对这些挑战。 Amazon Bedrock Guardrails 提供了一套安全功能,可帮助组织大规模构建负责任的生成式 AI 应用程序。您将了解如何使用 Amazon Bedrock ApplyGuardrail API 帮助实施一致的策略,从而为 Amazon Bedrock 和 Microsoft Azure OpenAI 等第三方提供商的法学硕士提供快速安全和敏感数据保护。所提出的解决方案提供了中央日志记录和监控、分析以及退款机制的额外好处。

解决方案概述

解决方案组件

使用以下工具和技术实现解决方案的可扩展性:

  • nginx 通过在每个容器内负载平衡请求来提供应用程序的最大性能和稳定性。
  • Gunicorn,一个 Python Web 服务器网关接口 (WSGI) HTTP 服务器,通常用于在生产环境中为 Python Web 应用程序提供服务。它是一个高性能服务器,可以有效处理多个工作进程和并发请求。 Gunicorn 仅支持同步通信,但具有强大的进程管理功能。
  • HashiCorp Terraform 用于资源配置。