检索增强发电(RAG) - 简介
鉴于要在时间和成本效益的方式中保持模型的最新情况的迫切需求,RAG已成为越来越受欢迎的Architecturethe the theferethe treestrieval Exented Generation(RAG) - 首先出现了介绍数据科学的介绍。
来源:走向数据科学!它给了我好的答案,然后才开始幻觉。我们都听到或经历过。
! 它给了我好的答案,然后它才开始幻觉自然语言生成模型有时会幻觉,即,它们开始生成对所提供的提示不太准确的文本。用外行的话来说,他们开始制作与给出或明显不准确的上下文无关的东西。例如,某些幻觉是可以理解的,例如,提到相关的内容,但不是完全有问题的话题,其他时候它看起来像是合法的信息,但根本不正确,它已经构成了。
组成东西当我们开始使用生成模型完成任务时,这显然是一个问题,并且我们打算消费它们为做出决策而生成的信息。
问题不一定与模型如何生成文本有关,而是与其用于生成响应的信息有关。一旦您训练LLM,训练数据中编码的信息就会结晶,它将成为模型所知道的所有内容的静态表示,直到那个时间点。为了使模型更新其世界视图或知识库,需要进行重新培训。但是,培训大型语言模型需要时间和金钱。
世界视图开发抹布的主要动机之一是对事实准确,上下文相关且最新生成的内容的日益增长的需求。[1]
考虑一种使生成模型每天创建的新信息的一种方法时,研究人员开始探索有效的方法来保持这些模型的最新模型,而这些模型不需要连续重新训练模型。
混合模型此混合模型架构称为检索增强发电,或简称抹布。
检索增强发电或抹布