检索增强发电(RAG) - 简介

鉴于要在时间和成本效益的方式中保持模型的最新情况的迫切需求,RAG已成为越来越受欢迎的Architecturethe the theferethe treestrieval Exented Generation(RAG) - 首先出现了介绍数据科学的介绍。

来源:走向数据科学

!它给了我好的答案,然后才开始幻觉。我们都听到或经历过。

它给了我好的答案,然后它才开始幻觉

自然语言生成模型有时会幻觉,即,它们开始生成对所提供的提示不太准确的文本。用外行的话来说,他们开始制作与给出或明显不准确的上下文无关的东西。例如,某些幻觉是可以理解的,例如,提到相关的内容,但不是完全有问题的话题,其他时候它看起来像是合法的信息,但根本不正确,它已经构成了。

组成东西

当我们开始使用生成模型完成任务时,这显然是一个问题,并且我们打算消费它们为做出决策而生成的信息。

问题不一定与模型如何生成文本有关,而是与其用于生成响应的信息有关。一旦您训练LLM,训练数据中编码的信息就会结晶,它将成为模型所知道的所有内容的静态表示,直到那个时间点。为了使模型更新其世界视图或知识库,需要进行重新培训。但是,培训大型语言模型需要时间和金钱。

世界视图
开发抹布的主要动机之一是对事实准确,上下文相关且最新生成的内容的日益增长的需求。[1]

考虑一种使生成模型每天创建的新信息的一种方法时,研究人员开始探索有效的方法来保持这些模型的最新模型,而这些模型不需要连续重新训练模型。

混合模型

此混合模型架构称为检索增强发电,或简称抹布。

检索增强发电或抹布

抹布时代

外部源的示例显示为抹布模型输出的一部分。 (作者图片)
抹布架构 知道

结论

链接