详细内容或原文请订阅后点击阅览
Couchbase 如何使用 Amazon Bedrock 为 Capella iQ 构建多模型 AI 架构
本文介绍了 Couchbase 如何采用 Amazon Bedrock 为 Capella iQ 以及 Anthropic 的 Claude 系列模型提供支持、其多模型方法背后的架构决策以及在生产中实现的运营效益。
来源:亚马逊云科技 _机器学习这篇文章是与 Couchbase 的 Tushar Madaan 共同撰写的。
构建一个由人工智能驱动的开发人员助手，可以生成数据库查询、推荐索引并支持多轮对话工作流程，需要的不仅仅是一个大语言模型 (LLM)。它需要灵活、可扩展且有弹性的推理架构。随着企业对 Capella iQ 的采用不断增加，Couchbase 扩展了其 AI 应用程序，以支持多个基础模型 (FM) 提供商，从而提高灵活性、提高运营弹性并与不同的客户部署偏好保持一致。 Couchbase 需要一个与模型无关的推理架构，该架构可以通过流量爆发进行扩展，并在无需预先配置容量的情况下保持跨 AWS 区域的高可用性。
本文介绍了 Couchbase 如何采用 Amazon Bedrock 为 Capella iQ 以及 Anthropic 的 Claude 系列模型提供支持、其多模型方法背后的架构决策以及在生产中实现的运营效益。
解决方案概述
下图说明了 Capella iQ 与 Amazon Bedrock 集成的生产架构。
图 1 — Couchbase Capella iQ 和 Amazon Bedrock 控制平面架构
该架构托管在跨越两个 AWS 区域（us-east-1 和 us-west-2）的 AWS 控制平面内，以实现高可用性。在 us-east-1 内，Amazon Elastic Kubernetes Service (Amazon EKS) 集群运行 Capella iQ 微服务：