详细内容或原文请订阅后点击阅览
ReALM：参考分辨率作为语言建模
引用解析是一个重要问题，对于理解和成功处理不同类型的上下文至关重要。此上下文包括先前的轮次和与非对话实体相关的上下文，例如用户屏幕上的实体或在后台运行的实体。虽然 LLM 已被证明对各种任务都非常强大，但它们在引用解析中的使用，特别是对于非对话实体，仍未得到充分利用。本文展示了如何使用 LLM 来创建一个有效的系统来解析各种引用……
来源:Apple机器学习研究参考分辨率是一个重要的问题，对于理解和成功处理不同种类的上下文至关重要。此上下文包括与非交流实体有关的上文和上下文，例如用户屏幕上的实体或在后台运行的实体。尽管已证明LLM在各种任务中非常强大，但它们在参考分辨率中的使用，尤其是对于非交流实体，仍未得到充分利用。本文展示了如何使用LLM来创建一个有效的系统来解决各种类型的参考，尽管如何将参考分辨率转换为语言建模问题，尽管涉及诸如屏幕上的实体形式，而这些实体传统上不利于将其简化为仅文本模式。我们证明了对不同类型参考的现有系统的大量改进，我们的最小模型可获得超过5％的屏幕参考。我们还针对GPT-3.5和GPT-4进行了基准，我们最小的模型可实现与GPT-4相当的性能，而我们的较大模型基本上优于它。