使用 AWS SDK for Python (Boto3) 在 Amazon Bedrock 上构建生成式 AI 应用程序

在本博文中,我们将演示如何使用 Amazon Bedrock 和 AWS SDK for Python (Boto3) 以编程方式整合 FM。我们将探讨如何调用特定 FM 并处理生成的文本,展示开发人员在应用程序中使用这些模型用于各种用例的潜力

来源:亚马逊云科技 _机器学习

Amazon Bedrock 是一项完全托管的服务,它通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FM),以及一系列广泛的功能,用于构建具有安全性、隐私性和负责任的 AI 的生成式 AI 应用程序。借助 Amazon Bedrock,您可以试验和评估适合您用例的顶级 FM,使用微调和检索增强生成 (RAG) 等技术使用您的数据私下定制它们,并构建使用您的企业系统和数据源运行任务的代理。由于 Amazon Bedrock 是无服务器的,因此您无需管理任何基础设施,并且可以使用您已经熟悉的 AWS 服务将生成式 AI 功能安全地集成和部署到您的应用程序中。

Amazon Bedrock 生成式 AI

在本文中,我们将演示如何将 Amazon Bedrock 与 AWS SDK for Python (Boto3) 结合使用,以编程方式整合 FM。

AWS SDK for Python (Boto3)

解决方案概述

该解决方案使用 AWS SDK for Python 脚本,该脚本具有在 Amazon Bedrock 上调用 Anthropic 的 Claude 3 Sonnet 的功能。通过使用此 FM,它会使用提示作为输入来生成输出。下图说明了解决方案架构。

先决条件

在调用 Amazon Bedrock API 之前,请确保您具有以下条件:

部署解决方案

完成先决条件后,即可开始使用 Amazon Bedrock。首先按照以下步骤编写脚本:

    导入所需的库:
  • 导入所需的库:
    1. 设置 Boto3 客户端以使用 Amazon Bedrock 运行时并指定 AWS 区域:
  • 设置 Boto3 客户端以使用 Amazon Bedrock 运行时并指定 AWS 区域:
  • Amazon Bedrock 运行时
      使用模型 ID 定义要调用的模型。在此示例中,我们在 Amazon Bedrock 上使用 Anthropic 的 Claude 3 Sonnet:
    模型 ID

    及时的工程技术可以提高 FM 性能并增强结果。

    有效载荷 top_k