Samyogita Hardikar 5,6、Tirso Gonzalez Alam 10、Boris Bernhardt 7、Hao-Ting Wang 8、Will Strawson 2、Michael Milham 9、Ting Xu 9、Daniel Margulies 10、Giulia L. Poerio 2、Elizabeth Jefferies 11、Jeremy I. Skipper 12、Jeffery Wammes 1、Robert Leech 13 和 Jonathan Smallwood 1
Samyogita Hardikar 5,6、Tirso Gonzalez Alam 10、Boris Bernhardt 7、Hao-Ting Wang 8、Will Strawson 2、Michael Milham 9、Ting Xu 9、Daniel Margulies 10、Giulia L. Poerio 2、Elizabeth Jefferies 11、Jeremy I. Skipper 12、Jeffery Wammes 1、Robert Leech 13 和 Jonathan Smallwood 1
摘要 智能代理必须能够传达意图并解释其决策过程,以建立信任、培养信心并改善人机团队动态。认识到这一需求,学术界和工业界正在迅速提出新的想法、方法和框架,以帮助设计更可解释的人工智能。然而,仍然没有标准化的指标或实验协议来对新方法进行基准测试,研究人员只能依靠自己的直觉或临时方法来评估新概念。在这项工作中,我们提出了第一个全面的(n=286)用户研究,测试了可解释机器学习的广泛方法,包括特征重要性、概率分数、决策树、反事实推理、自然语言解释和基于案例的推理,以及没有解释的基线条件。我们提供了可解释性对人机团队影响的第一个大规模实证证据。我们的研究结果将通过强调反事实解释的好处和可解释性置信度得分的缺点,帮助指导可解释性研究的未来。我们还提出了一种新颖的问卷,用于衡量人类参与者的可解释性,该问卷受到相关先前工作的启发,并与人机协作指标相关联。