使用 AWS Glue for Apache Spark 大规模使用 RAG 为您的 LLM 充电
在本文中，我们将探讨在 LangChain（一个基于 LLM 构建应用程序的开源框架）上构建可重复使用的 RAG 数据管道，并将其与 AWS Glue 和 Amazon OpenSearch Serverless 集成。最终解决方案是可扩展 RAG 索引和部署的参考架构。
来源:亚马逊云科技 _机器学习大型语言模型（LLMS）是非常大的深度学习模型，可以在大量数据上进行训练。 LLM非常灵活。一个模型可以执行完全不同的任务，例如回答问题，汇总文档，翻译语言和完成句子。 LLM有可能彻底改变内容创建以及人们使用搜索引擎和虚拟助手的方式。检索增强生成（RAG）是优化LLM输出的过程，因此在生成响应之前，它在其培训数据源之外引用了权威知识库。尽管LLM经过大量数据培训并使用数十亿个参数来生成原始输出，但RAG将LLMS已经强大的功能扩展到了特定域或组织的内部知识库，而不必重新训练LLM。 RAG是一种快速且具有成本效益的方法，可改善LLM输出，以便在特定情况下保持相关，准确和有用。 RAG引入了信息检索组件，该组件使用用户输入首先从新数据源中提取信息。来自LLM原始培训数据集外部外部的新数据称为外部数据。数据可能以各种格式存在，例如文件，数据库记录或长形式文本。一种称为嵌入语言模型的AI技术将此外部数据转换为数值表示，并将其存储在矢量数据库中。此过程创建了一个知识库，生成的AI模型可以理解。
大语言模型（LLMS） 外部数据 嵌入语言模型RAG介绍了其他数据工程要求： 可扩展的检索索引必须摄取涵盖必要的知识领域的大量文本语料库。 必须对数据进行预处理，以在推理过程中启用语义搜索。这包括归一化，矢量化和索引优化。 Langchain aws胶 Amazon OpenSearch serverless rag的数据预处理 Amazon理解