代理指针 RAG:解决大型知识图中的实体和关系蔓延

用于实体和关系协调的可扩展语义本地化层代理指针 RAG:解决大型知识图中的实体和关系蔓延问题首先出现在走向数据科学上。

来源:走向数据科学

图已成为使用最广泛的业务语义层,提供组织的供应商、合同、产品、合作伙伴等的统一视图。因此,它们随着时间的推移有机地发展变得非常大,具有数百万个节点(实体)和数倍的边(关系)。

即使有了治理控制和本体,将数据输入图表的不同管道之间的遵守情况通常也不一致。新的业务规则出现,命名约定发生变化,并且由于升级的复杂性和计算成本,图表的旧区域经常保持不变。

所有这些使得大图变得越来越难以维护。最大的操作问题之一发生在摄取层。对于每一个需要添加的新文档,都会反复出现一些需要回答的问题。诸如以下问题:

  • 图表中是否已存在索尼公司?如果是的话,叫什么名字?
  • 此新文件中列出的“索尼公司”与图中已存在的“索尼互动娱乐”是同一实体吗?或者他们与我们的组织有不同的关系,因此需要一个独特的新节点?
  • 存在什么关系?语义模糊(供应、提供、签订合同)使得大规模协调变得越来越困难。
  • 在缺乏可以缩小搜索空间的有效工具的情况下,摄取管道被迫执行昂贵的全局图搜索来扫描变化,这会降低性能并产生大量计算成本。

    如果有一种可扩展、低成本且快速的方法来扫描已摄取到图中的数千个历史文档,并在查询知识图之前确定可能的实体和关系,该怎么办?更好的是使用如此收集的上下文进行语义定位 -

    此预过滤步骤的明显选择是向量索引。

    这就是代理指针架构的用武之地。

    结论