详细内容或原文请订阅后点击阅览
面向稳健评估：大型语言模型时代开放域问答数据集和指标的综合分类
自然语言处理中的开放域问答 (ODQA) 涉及构建使用大规模知识语料库回答事实问题的系统。最近的进展源于多种因素的融合，例如大规模训练数据集、深度学习技术和大型语言模型的兴起。高质量的数据集用于在现实场景中训练模型，并支持对可能看不见的数据进行系统评估。标准化指标有助于比较不同的 ODQA 系统，使研究人员能够客观地跟踪进展……
来源:Apple机器学习研究自然语言处理中的开放域问答 (ODQA) 涉及构建使用大规模知识语料库回答事实问题的系统。最近的进展源于多种因素的融合，例如大规模训练数据集、深度学习技术和大型语言模型的兴起。高质量数据集用于在现实场景中训练模型，并支持对可能看不见的数据进行系统评估。标准化指标有助于比较不同的 ODQA 系统，使研究人员能够客观地跟踪该领域的进展。我们的研究通过回顾 52 个数据集和 20 种跨文本和多模态模态的评估技术，对当前 ODQA 基准测试的现状进行了全面检查。我们引入了一种新的 ODQA 数据集分类法，该分类法结合了问题类型的模态和难度。此外，我们还介绍了 ODQA 评估指标的结构化组织以及对其固有权衡的批判性分析。我们的研究旨在通过提供一个对现代问答系统进行稳健评估的框架来增强研究人员的能力。最后，我们确定了当前的挑战并概述了未来研究和开发的有希望的途径。