详细内容或原文请订阅后点击阅览
通过多步提示和目标推理在实体链接中利用大型语言模型的力量
实体链接 (EL) 传统上依赖于大型注释数据集和广泛的模型微调。虽然最近的小样本方法通过提示来利用大型语言模型 (LLM) 来减少训练要求，但由于昂贵的基于 LLM 的推理，它们常常效率低下。 ARTER（自适应路由和目标实体推理）提出了一种结构化管道，通过策略性地结合候选生成、基于上下文的评分、自适应路由和选择性推理，无需深度微调即可实现高性能。 ARTER 计算一小组...
来源:Apple机器学习研究实体链接 (EL) 传统上依赖于大型注释数据集和广泛的模型微调。虽然最近的小样本方法通过提示来利用大型语言模型 (LLM) 来减少训练要求，但由于昂贵的基于 LLM 的推理，它们常常效率低下。 ARTER（自适应路由和目标实体推理）提出了一种结构化管道，通过策略性地结合候选生成、基于上下文的评分、自适应路由和选择性推理，无需深度微调即可实现高性能。 ARTER 对检索到的候选信号计算一小组互补信号（包括嵌入信号和基于 LLM 的信号），以将上下文提及分为简单情况和困难情况。然后，这些案例分别由低计算量实体链接器（例如 ReFinED）和更昂贵的基于 LLM 的目标推理来处理。在标准基准测试中，ARTER 的性能比 ReFinED 高出 4.47%，在 6 个数据集中的 5 个数据集上平均增益为 +2.53%，并且在所有提及中的性能与使用基于 LLM 的推理的管道相当，而就 LLM 代币数量而言，效率是 ReFinED 的两倍。
- † 马萨诸塞大学阿默斯特分校信息与计算机科学学院