详细内容或原文请订阅后点击阅览
构建使用 Amazon OpenSearch Serverless 和 Amazon Bedrock 读取语义缓存
这篇文章介绍了一种优化基于 LLM 的应用程序的策略。鉴于对高效且经济高效的 AI 解决方案的需求日益增加，我们提出了一种使用重复数据模式的无服务器读取缓存蓝图。借助此缓存，开发人员可以有效地保存和访问类似的提示，从而提高系统的效率和响应时间。
来源:亚马逊云科技 _机器学习在生成式 AI 领域，延迟和成本是重大挑战。常用的大型语言模型 (LLM) 通常按顺序处理文本，以自回归方式一次预测一个标记。这种方法可能会引入延迟，导致用户体验不理想。此外，对 AI 驱动的应用程序的需求不断增长，导致对这些 LLM 的调用量很大，可能会超出预算限制并给组织带来财务压力。
生成式 AI这篇文章介绍了一种优化基于 LLM 的应用程序的策略。鉴于对高效且经济高效的 AI 解决方案的需求日益增长，我们提出了一种使用重复数据模式的无服务器读取缓存蓝图。借助此缓存，开发人员可以有效地保存和访问类似的提示，从而提高系统的效率和响应时间。建议的缓存解决方案使用 Amazon OpenSearch Serverless 和 Amazon Bedrock，后者是一项完全托管的服务，通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FM) 选择，以及构建具有安全性、隐私性和负责任 AI 的生成式 AI 应用程序的广泛功能。
Amazon OpenSearch Serverless Amazon Bedrock解决方案概述
想象一个由 LLM 提供支持的礼宾 AI 助理，专为旅游公司设计。它擅长从过去的互动池中提供个性化的回复，确保每个回复都与旅行者的需求相关且量身定制。在这里，我们可能会优先考虑高召回率，这意味着我们宁愿拥有更多缓存的响应，即使它偶尔会导致提示重叠。
本文介绍的解决方案可以通过 AWS CloudFormation 模板进行部署。它使用以下 AWS 服务：
AWS CloudFormation