输入值,以便将模型预测更改为期望输出,这在可解释人工智能 (XAI) 中越来越多地用于促进人类与人工智能模型的交互 (Miller 2019)。我们通过扩展先前的反事实模型 (Russell 2019) 来形式化置信度的反事实解释。表 1 解释了 Russell (2019) 的模型与我们提出的方法之间的区别。然后,我以两种不同的呈现形式生成这些解释:(1) 基于示例的反事实和 (2) 基于可视化的反事实。为了评估解释,我们进行了用户研究,因为人们越来越接受可解释性技术应该建立在哲学、心理学和认知科学的研究之上 (Miller 2019),并且解释的评估过程应该涉及用户研究。我们为两个不同的领域招募了总共 180 名参与者。为了评估理解,我们使用任务预测(Hoffman 等人,2018 年,第 11 页)。参与者会得到一些实例,他们的任务是决定 AI 模型会为哪个实例预测更高的置信度分数。因此,任务预测有助于评估用户对他们对模型置信度的理解的心理模型。为了评估信任,我们使用了(Hoffman 等人,2018 年,第 49 页)的 10 点李克特信任量表。对于满意度,我们使用了(Hoffman 等人,2018 年,第 39 页)的 10 点李克特解释满意度量表。结果表明,与没有解释的基线相比,这两种形式的反事实解释都增加了信任和理解。值得注意的是,基于可视化和基于示例在提高理解、信任和满意度方面几乎没有差异。使用定性分析,我们观察到这两种方法的一些局限性:•人们使用基于案例的推理来理解基于示例的解释。也就是说,他们在基于示例的演示中找到最接近的例子,而忽略了置信度得分和特征值之间的线性相关性。这个结果表明,我们在使用基于示例的解释来解释连续变量时应该小心谨慎。•虽然使用基于可视化的解释更容易解释相关性,但是当并非所有反事实点都显示在解释中时,人们不愿意推断出最低值和最高值之外的相关性。因此,应该在解释中显示所有反事实点以缓解这个问题。
主要关键词