从混乱到有序:GraphRAG 改变了人工智能与大数据的工作方式

图形和 RAG 算法的协调,用于复杂的文本分析。

来源:安全实验室新闻频道

图形和 RAG 算法的协调,用于复杂的文本分析。

随着 GraphRAG 的推出,微软在自然语言处理技术的发展上迈出了重要的一步,GraphRAG 是一种基于图形增强生成方法 (RAG) 来分析和生成文本信息的创新方法。它现已在 GitHub 平台上提供,为开发人员和研究人员提供了新的机会。

GraphRAG

GraphRAG 显着改进了传统的 RAG 方法。它提供了一种更简化的方式来提取信息并创建完整的答案。 GraphRAG 的核心是一个大型语言模型 (LLM),它可以根据任何文本集自动创建详细的知识网络。

GraphRAG 的主要优点是它能够在用户提出问题之前分析文本的语义结构。怎么运行的?该系统会找到意义密切相关的元素组,称为“社区”。社区按层次结构组织,从一般主题到特定子主题。这将创建所有信息的多层次概览。

GraphRAG 在回答“全局问题”(涉及整个数据集的问题)方面特别有效。例如,“这些文本中讨论的主题是什么?”传统的 RAG 工具不能很好地满足此类请求。他们只是寻找文本中与问题相似的部分并从中构建答案。 GraphRAG 的工作方式有所不同:它将所有信息作为一个整体进行分析。

这是映射缩减方法的工作原理,保留整体数据中的所有相关上下文:

    将社区报告分组为与 LLM 上下文窗口匹配的大小。 向每个小组提出一个问题,以创建社区级别的答复。 将所有相关社区响应合并为最终的总体搜索结果。
  • 将社区报告分组为与 LLM 上下文窗口匹配的大小。
  • 将问题应用于每个组以生成社区级别的响应。
  • 完整性: