使用Amazon Bedrock知识库在人类中的上下文检索

上下文检索通过在生成嵌入之前向每个块添加块的解释性上下文来增强传统抹布。这种方法通过相关的上下文信息丰富了向量表示,在响应用户查询时,可以更准确地检索语义相关的内容。在这篇文章中,我们演示了如何使用人类和亚马逊基石知识库使用上下文检索。

来源:亚马逊云科技 _机器学习
要使AI模型在专用域中有效执行,它需要访问相关的背景知识。例如,客户支持聊天助理需要有关其服务业务的详细信息,并且法律分析工具必须借鉴过去案例的全面数据库。要配备具有这些知识的大型语言模型(LLMS),开发人员经常使用检索增强发电(RAG)。该技术从知识库中检索相关信息,并将其纳入用户的提示中,从而大大改善了模型的响应。但是,传统抹布系统的关键局限性是,它们在编码数据时通常会失去上下文的细微差别,从而导致不相关或不完整的知识基础检索。传统的Ragin传统抹布中,文档通常会分为较小的块以优化检索效率。尽管此方法在许多情况下的表现良好,但是当单个块缺乏必要的环境时,它可能会引入挑战。例如,如果一项政策规定远程工作需要“ 6个月的任期”(块1)和“ HR批准为例外”(块3),但省略了与经理批准的中间块链接,则用户询问有资格获得3个月任期雇员的资格可能会获得“不正确的”,而不是仅在HR批准的情况下获得误解。”之所以发生这种情况,是因为孤立的块无法在子句之间保留依赖关系,从而突出了抹布系统中基本块策略的关键限制。神经下文检索通过在生成嵌入之前向每个块中添加块特定的解释性上下文,从而增强了传统的抹布。这种方法通过相关的上下文信息丰富了向量表示,在响应用户查询时,可以更准确地检索语义相关的内容。例如,当被问及远程工作资格时,它既获取任期要求又提供人力资源异常条款,从而使LLM能够提供