Thill

当人工智能系统的行为不符合用户预期时，提供解释的挑战 Riveiro， M.；Thill, S. 2022，专著或会议论文集（第 30 届 ACM 用户建模、适应和个性化会议论文集，第 110-120 页）

人工智能 (AI) 中的解释可确保复杂 AI 系统的用户了解系统行为的原因。用户对系统行为的期望会发挥一定作用，因为他们共同决定了解释的适当内容。在本文中，我们研究了当系统以意外方式运行时用户所需的解释内容。具体来说，我们向参与者展示了涉及自动文本分类器的各种场景，然后要求他们在每种场景中指出他们喜欢的解释。一组参与者从多项选择问卷中选择解释类型，另一组参与者必须使用自由文本回答。当输出符合预期时，参与者对于首选的解释类型表现出相当明确的一致意见：大多数人根本不需要解释，而那些需要解释的人则希望得到一个解释，说明输入的哪些特征导致了输出（事实解释）。当输出不符合预期时，用户也喜欢不同的解释。有趣的是，在多项选择问卷中，一致性较低。然而，自由文本回答略微表明，他们更倾向于描述人工智能系统的内部运作如何导致观察到的输出（即机械解释）的解释。总体而言，我们表明用户期望是确定最合适的解释内容（包括是否需要解释）的重要变量。我们还发现不同的结果，尤其是当输出不符合预期时，这取决于参与者是通过多项选择还是自由文本回答。这表明对精确实验设置的敏感性可能解释了文献中的一些变化。