机构名称：
¥ 1.0
最近，人们对使用语言模型 (LM) 进行人机协作的兴趣日益浓厚。为了向人类解释其推理过程，最先进的 LM 已被证明能够流畅地用自然语言生成自由文本理由 (FTR)，例如通过思路链提示。尽管如此，这些生成的 FTR 能够多有效地为人机协作提供人类效用，即帮助人类解决 NLP 任务，仍不清楚。为了研究是什么让 FTR 对人类有用，本文分析了人类效用与各种 LM/FTR 属性之间的关系。首先，尽管 LM 通常会经过微调/提示以联合生成任务标签和 FTR，但我们发现 LM 的任务性能与人类效用几乎没有相关性，而 LM 大小是人类效用的正向预测指标。其次，我们观察到某些 FTR 属性对是人类效用的强正向预测因素，例如，高效用的 FTR 往往既简洁又包含新信息。第三，我们表明，给定任务实例的高效用 FTR 可以提供可迁移的知识，帮助人类推广到解决新实例。通过揭示 FTR 在实际环境中对人类效用的性质，我们的研究结果可以帮助指导未来设计 LM 和 FTR 生成策略的工作，以实现更强的人机协作。
衡量人机协作中自由文本原理的人类效用
主要关键词
相关文件推荐
