详细内容或原文请订阅后点击阅览
使用 Amazon Bedrock Batch Inference 运用负责任的 AI 原则
在本文中，我们探讨了一种实用且经济高效的方法，将负责任的 AI 护栏纳入 Amazon Bedrock 批量推理工作流。虽然我们使用呼叫中心的记录摘要作为主要示例，但我们讨论的方法广泛适用于各种批量推理用例，其中道德考虑和数据保护是重中之重。
来源:亚马逊云科技 _机器学习Amazon Bedrock 是一项完全托管的服务，通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FM)，以及一系列广泛的功能，用于构建具有安全性、隐私性和负责任 AI 的生成式 AI 应用程序。
Amazon Bedrock 生成式 AIAmazon Bedrock 最近宣布的批量推理功能使组织能够以比按需定价低 50% 的成本高效处理大量数据。当用例对延迟不敏感且您不需要实时推理时，它特别有用。然而，在我们拥抱这些强大的功能时，我们还必须应对一个关键挑战：在批处理场景中实施负责任的 AI 实践。
Amazon Bedrock 中的批量推理在本文中，我们探索了一种实用且经济高效的方法，将负责任的 AI 护栏纳入 Amazon Bedrock 批量推理工作流程。虽然我们使用呼叫中心的记录摘要作为主要示例，但我们讨论的方法广泛适用于各种批量推理用例，其中道德考虑和数据保护是重中之重。
我们的方法结合了两个关键要素：
- 道德提示 – 我们演示如何将负责任的 AI 原则直接嵌入到用于批量推理的提示中，从一开始就为道德输出做好准备。后处理护栏 – 我们展示了如何将额外的保护措施应用于批量推理输出，确保其余的敏感信息得到妥善处理