详细内容或原文请订阅后点击阅览
Hitchhiker的抹布指南与Chatgpt API和Langchain
使用您的本地文件作为上下文建立一个简单的Python Rag管道，该上下文是Hitchhiker的抹布指南与Chatgpt API和Langchain的抹布，首先出现在数据科学上。
来源:走向数据科学基于常识来产生大量的单词和答案，但是当我们需要需要准确和具体知识的答案时会发生什么？仅出于一系列原因，唯一的生成模型经常难以在域特定问题上提供答案。也许他们接受过培训的数据现在已经过时了，也许我们要求的是真正的专业化，也许我们想要考虑到不公开的个人或公司数据的回复……🤷♀️列表还在继续。
真的那么，我们如何在保持我们的响应准确，相关和脚踏实地的同时利用生成性AI？这个问题的一个很好的答案是检索型的一代（RAG）框架。抹布是一个由两个关键组成部分组成的框架：检索和生成（duh！）。与仅在特定数据上进行训练的单独生成模型不同，RAG包含了一个额外的检索步骤，使我们能够将其他信息从外部源（例如数据库或文档）推入模型。换句话说，抹布管道允许提供连贯和自然的响应（由生成步骤提供），这也是实际上准确的，并扎根于我们选择的知识基础（由检索步骤提供）。
检索 - 杰出的一代（抹布）因此，在这篇文章中，我带领您通过使用Chatgpt API，Langchain和Faiss在Python建造简单的RAG管道。
抹布呢？
从更技术的角度来看，抹布是一种通过向LLM的响应增强的技术，通过向其注入其他特定于域的信息来增强LLM的响应。从本质上讲，RAG允许模型还考虑其他外部信息，例如食谱书，技术手册或公司的内部知识库，同时形成其响应。
这很重要，因为它允许我们消除LLMS固有的一堆问题，例如：