详细内容或原文请订阅后点击阅览
使用Amazon Bedrock知识库降低LLM代理中LLM代理的幻觉
这篇文章通过使用Amazon Bedrock知识库实施经过验证的语义缓存来介绍一个解决方案，以减少大语言模型（LLMS）的幻觉，该方法在生成新的答案之前检查了用户问题是否匹配策划和验证的答案。该解决方案将LLM的灵活性与可靠，验证的答案相结合，以提高响应准确性，降低潜伏期和降低成本，同时防止医疗保健，财务和法律服务等关键领域的潜在错误信息。
来源:亚马逊云科技 _机器学习大型语言模型（LLM）在产生类似人类的文本方面表现出色，但面临着一个关键的挑战：幻觉 - 产生听起来令人信服但实际上是不正确的反应。尽管这些模型接受了大量通用数据的培训，但它们通常缺乏特定于组织的上下文和在业务环境中进行准确响应所需的最新信息。检索增强发电（RAG）技术通过在推理过程中接地LLM来帮助解决此问题，但是这些模型仍然可以生成非确定性输出，即使在给出了准确的源材料时，也可以偶尔构建信息。对于在生产应用程序中部署LLM的组织，尤其是在医疗保健，金融或法律服务等关键领域中，这些残留幻觉会带来严重的风险，可能导致错误信息，责任问题和用户信任的损失。
亚马逊基岩 亚马逊基岩知识库 亚马逊基岩代理解决方案概述
我们的解决方案使用Amazon Bedrock知识库实现经过验证的语义缓存，以检索API，以减少LLM响应中的幻觉，同时改善延迟并降低成本。这个仅读取的语义缓存充当用户和亚马逊基岩代理之间的智能中间层，存储经过精心策划和经过验证的问答对。
亚马逊基岩知识库检索API这种方法提供了几个关键好处：
- 降低成本：通过最大程度地减少经常回答的问题的不必要的LLM调用，该解决方案可大大降低按比例验证的准确性下降的运营成本：策划和验证的答案最大程度地降低了已知用户查询的幻觉的可能性，而少量提示了类似问题的精确性，以提高类似问题的准确性。较低的延迟：直接检索缓存的答案为已知查询提供了几乎不变的答案，从而改善了整体用户 经验。