Closer

接近 AI 完整问答：一组先决条件真实任务

近期问答研究的蓬勃发展产生了大量的事实阅读理解 (RC) 和常识推理数据集。将它们结合起来提出了一种不同类型的任务：不仅要确定文本中是否存在信息，还要确定是否可以对缺失信息做出有把握的猜测。我们提出了 QuAIL，这是第一个结合基于文本、世界知识和无法回答的问题的 RC 数据集，并提供问题类型注释，使给定的 QA 系统能够诊断推理策略。QuAIL 包含 4 个领域中 800 篇文本的 15K 多项选择题。至关重要的是，它提供了一般问题和特定于文本的问题，这些问题不太可能在预训练数据中找到。我们表明，QuAIL 对当前最先进的系统提出了巨大的挑战，与最相似的现有数据集相比，其准确率下降了 30%。