XiaoMi-AI文件搜索系统
World File Search Systemexplainer
可解释人工智能的抽象、验证和概括
架构有可能彻底改变许多人类活动，包括物流、医学和法律 2-4 ；然而，这些系统的负责任和安全地部署取决于它们是否能被人类利益相关者理解。5 针对这一问题提出了两种解决方案：一是设计本质上可解释或透明的系统，这通常会在性能上有所妥协；二是开发定制解决方案来解释一个模糊系统的事后决策。6 在本文中，我们提出了第三种方法，其中可解释性被分析为促进人类理解人工智能 (AI) 系统的问题。因此，我们提出了一种解释人工智能系统的通用方法，通过明确分析提供信息使人类能够理解和预测人工智能的问题。本文的目的是介绍一个统一的框架，从认知科学的角度以可分解组件的角度思考可解释人工智能。我们展示了这个框架如何通过阐明和模块化现有可解释人工智能系统的不同组件为先前的研究提供新的见解。一旦确定，就可以验证这些组件，并讨论这种验证对 XAI 解决方案的普遍性的影响，为 XAI 研究增加了一个新的维度。近年来，有关可解释 AI 的文献激增，7 但仍然缺乏 XAI 技术的连贯理论框架，8 并且现有的分类法是基于解释技术背后的技术基础，而不是其务实目标。这种理论的缺乏阻碍了 XAI 研究，因为它掩盖了哪些经验可以在研究和应用之间安全地转移，以及哪些组件需要在新的环境中重新验证。结果，它既降低了知识积累的速度，也降低了跨部门安全、可解释的 AI 系统的部署速度。此外，大多数 XAI 解决方案往往是由软件工程师为工程师设计的，因此没有考虑如何向非技术用户解释目标系统。 9-12 这是有问题的，因为成功的解释显然取决于用户及其目标，13 如果成功部署了 AI 系统，软件工程师也只是用户的一小部分。可解释的 AI 是一个复杂的问题，既有技术成分，也有心理成分。以结构化和规范的方式阐述 XAI 问题的理论框架可能会揭示以前看似不相关的不同方法和结果之间的关联。这样的框架还将 XAI 问题分解为代表基本组件和依赖关系的抽象，可以单独验证。此外，这种模块化方法将支持部署，因为它允许对解释的哪些子组件可以推广到哪些上下文进行正式测试。我们提出贝叶斯教学作为这样一个框架，它将解释形式化为教师和学习者之间的一种社会行为。在下一节中，我们将解释贝叶斯教学如何将广泛的XAI系统抽象为以下四个组成部分（见表1）：（a）目标推理，（b）解释，（c）被解释者模型，（d）解释者模型。具体来说，我们展示了如何应用贝叶斯教学来分解流行的XAI方法类。然后，我们说明如何通过用户研究半独立地验证分解后的部分，并反思贝叶斯教学如何在XAI研究和应用中促进以人为本。最后，我们讨论分解部分的泛化，包括对组件的操作和重组的评论。
以人为本的可解释人工智能过程模型
引言人工智能 (AI) 的发展已展现出令人瞩目的性能，特别是在图像处理或游戏等明确定义的领域。然而，所部署的技术对于人类用户来说可能是不透明的，这引发了一个问题：人工智能系统如何提供解释 (Neerincx 等人，2018 年；Rosenfeld 和 Richardson，2019 年)，并且监管框架对可解释人工智能 (XAI) 的需求日益增长。话虽如此，2017 年，谷歌的研究主管 Peter Norvig 指出，在人类可能不擅长提供“解释”的情况下期望计算机提供“解释”是具有讽刺意味的。可解释人工智能 (XAI) 的大部分工作都严重依赖于以计算机为中心的视角 (Springer，2019 年)。例如，Holzinger 等人 (2020) 假设人类和人工智能系统可以平等地访问“基本事实”。由此可见，可解释性“……突出了机器表示中与决策相关的部分……，即有助于模型在训练中的准确性或特定预测的部分。”与许多 XAI 文献一样，这并没有为人类提供任何角色，只能作为被动接受者。这意味着人工智能系统能够反省自己的过程来生成解释。然后将得到的解释呈现给用户，并描述人工智能系统的流程或它使用过的特征（“决策相关部分”）。这样，解释就只是一个建议（来自人工智能系统）加上与此相关的特征。正如 Miller (2017) 所指出的那样，这种态度的一个问题在于，它是基于设计师对什么是“好的”解释的直觉，而不是基于对人类如何响应和利用解释的合理理解。这并不能说明为什么选择某些特征，也不能说明为什么建议适合用户的关注点。它也没有将解释置于更广泛的组织中；分析师的解释可能与数据收集管理人员或接受分析师简报的经理的解释不同。对于 Holzinger 等人 (2020) 来说，情况的各个方面（定义为基本事实）被组合成一个陈述；也就是说，解释只是这个陈述的一种表达。这意味着从特征到解释存在线性插值。这类似于 Hempel 和 Oppenheim (1948) 的“覆盖定律模型”，该模型关注的是历史学家如何根据先前的原因来解释事件。然而，“基本事实”（由 Holzinger 的过程模型和覆盖定律模型假设）很少得到完全定义（导致在选择相关特征时产生歧义）。这意味着，仅仅陈述情况方面而不说明为什么选择这些方面（而不是其他方面）可能不会产生有用或可用的解释。霍夫曼等人（2018）对与解释相关的文献进行了全面的回顾。从这篇评论来看，解释涉及人类的理解（将人工智能系统的输出置于特定情境中），我们同意，考虑这一点的适当框架是数据框架的理解模型（Klein 等人，2007）。此外，理解（及其与解释的关系）依赖于认识到过程（提供和接收解释）必须是相互的、迭代的和协商的。这个过程依赖于“解释者”和“被解释者”达成一致。换句话说，解释涉及“共同点”（Clark，1991），其中理解上有足够的一致性以使对话继续进行。对话的性质将取决于提供解释的情况和被解释者的目标。例如，被解释者可能是“受训者”，他试图理解解释以学习决策标准，也可能是“分析师”，使用人工智能系统的建议作为政策。
![< b'^\xb2\xb5\\xb5\\xc31 \xc31 \xc31 \xc3\far5 \xc317}}\xb5\\xb3\xb3\xb5\\xb0\on20\”\\b5\Sb0\4 \" \xb0\2 \" \xb0\2 \xc5\DC5 \Sc5\ \xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc. Nxc.." sV \xc2\xb5\\xc5\f5\xb5\\xb5E}\xb5\\xc5\xc5\xc5\xc5\xc5\xc5\xc42 \xc.1\xc1\xc1\xc...\xc5\xc5\xc5\xc5\xc410\”\kD2 \"xc5\xic5\xc...\xc5\xc1\2\xc5\1 the\five5\"xab1ZSD2 \"xc5\xc. The\f5\"xb5\xc10\2t5\D10\4t10 TheZ on Youron2 \xc.4. vv 2 \ xb5报告\ 80 \ x 8x910 \”舞会在哪里] vpho是] \ sc5 \ x80 \\ xc5 \ c5 \ xc5 \ xc5 \ xc。在哪里]} \ s80 10 aon在哪里3 \\ 3 \ xc3 \ 3 \“ \ xb3 \” \ c“” \ xc3 \ exc”“ exfull”“ \\ xc3 \ exc”，“ sa compand”。 o \xp5\xb8\xc3\xic3\xc.\xc.\xc.\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xron5 El87\c3\ct3\xc3\xc3\xc.3\ccre3\xc3\xc5\\xual5\xc5\xc3\xc5\xc5\xc5\xc5\xc5\xc5\17\4xc5\4xc5\xc3\xc3\xc5\xc5\xc5\1 the \xc.8m22 xxk3 Mox.”在哪里 vZ}\xc2\xb5\xe2\x80\xa2P\xe2\x80\xa2u]\xe2\x80\xa2\xe2\x80\xa2]}v\xe2\x80\xa2\xe2\x80\xa2v\xc5\x92 ]} \ x80 \ i}}} \ xc3 \ xc3 \ xc3 \ f e2\x80\xa2P]\xc3\x80v\xc3\x81]\xc5\xa1Z\xc5\xa1Z\xc3\xad\xc3\xac\xc5\xa1Z\xc5\xa1}\xc3\xb5\xc3\xac\xc5\xa1Z我\ xc3 \ xad <](/simg/g:\will\search\icon\source\6\6c447324f28251640bb2066746ebc16ba1523b2f.webp)
< b'^\xb2\xb5\\xb5\\xc31 \xc31 \xc31 \xc3\far5 \xc317}}\xb5\\xb3\xb3\xb5\\xb0\on20\”\\b5\Sb0\4 \" \xb0\2 \" \xb0\2 \xc5\DC5 \Sc5\ \xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc5\xc. Nxc.." sV \xc2\xb5\\xc5\f5\xb5\\xb5E}\xb5\\xc5\xc5\xc5\xc5\xc5\xc5\xc42 \xc.1\xc1\xc1\xc...\xc5\xc5\xc5\xc5\xc410\”\kD2 \"xc5\xic5\xc...\xc5\xc1\2\xc5\1 the\five5\"xab1ZSD2 \"xc5\xc. The\f5\"xb5\xc10\2t5\D10\4t10 TheZ on Youron2 \xc.4. vv 2 \ xb5报告\ 80 \ x 8x910 \”舞会在哪里] vpho是] \ sc5 \ x80 \\ xc5 \ c5 \ xc5 \ xc5 \ xc。在哪里]} \ s80 10 aon在哪里3 \\ 3 \ xc3 \ 3 \“ \ xb3 \” \ c“” \ xc3 \ exc”“ exfull”“ \\ xc3 \ exc”，“ sa compand”。 o \xp5\xb8\xc3\xic3\xc.\xc.\xc.\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xc3\xron5 El87\c3\ct3\xc3\xc3\xc.3\ccre3\xc3\xc5\\xual5\xc5\xc3\xc5\xc5\xc5\xc5\xc5\xc5\17\4xc5\4xc5\xc3\xc3\xc5\xc5\xc5\1 the \xc.8m22 xxk3 Mox.”在哪里 vZ}\xc2\xb5\xe2\x80\xa2P\xe2\x80\xa2u]\xe2\x80\xa2\xe2\x80\xa2]}v\xe2\x80\xa2\xe2\x80\xa2v\xc5\x92 ]} \ x80 \ i}}} \ xc3 \ xc3 \ xc3 \ f e2\x80\xa2P]\xc3\x80v\xc3\x81]\xc5\xa1Z\xc5\xa1Z\xc3\xad\xc3\xac\xc5\xa1Z\xc5\xa1}\xc3\xb5\xc3\xac\xc5\xa1Z我\ xc3 \ xad <
<< <<> b'^\ xb2 \ xb5 \\ xb5 \\ xc31 \ xc31 \ xc31 \ xc3 \ xc3 \ far5 \ far5 \ xc317}} \ xb5 \\ xb5 \\ xb3 \ xb3 \ xb3 \ xb3 \ xb3 \ xb5 \ xb5 \ xb5 \\ xb0 \ xb0 \ xb0 \ 2 \ xc5 \ dc5 \ xb0 \ d10 \ xc。 meste sv \ xc2 \ xb5 \\ xc5 \ f5 \ xb5 \\ xb5e} \ xb5 \\ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc42 \ xc.1 \ xc1 \ xc1 \ xc ... \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc410 \“ \ kd2 \” xc5 \ xic5 \ xic5 \ xc ... \ f5 \“ xb5 \ xc10 \ 2t5 \ d10 \ 4t10 thez on youzexdc \ 10 \ 2 \ 2 \ 2 \ 210 \ 2 \ 2 \ 2 \ 2 \ 2 \ 210 \ fiverred。 vv 2 \ xb5报告\ 80 \ x 8x910 \'prom] vpho是] \ sc5 \ x80 \ xc5 \ xc5 \ c5 \ c5 \ xc5 \ xc5 \ xc5 \ xc。\ xc5 \ xc5 \ xc5 \ xc5 \ c5 \ c5 \ xc5 \ xc5 \ xc. xc。xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ c5 \ x874u cyclone wher ]} \ s80 10 aon其中3 \\ 3 \ xc3 \ 3 \ 3 \“ \ xb3 \” \ c“” \ xc3 \ eck'\ xc3 \ eck”“ exfull” \\ xc3 \ eck'sa compand''o o \ xp5 \ xb8 \ xc3 \ xic3 \ xc EL87 \ C3 \ CT3 \ XC3 \ XC3 \ XC.3 \ CCRE3 \ XC3 \ XC3 \ XC5 \\ XAUL5 \ XC5 \ XC5 \ XC3 \ XC 5 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ 17 \ 4xc5 \ 4xc5 \ 4xc5 \ xc3 \ xc3 \ xc3 \ xc5 \ xc5 \ xc5 \ xc5 \ xc5 \ 1 \ xc.8m22 xxk3 mox vz} \ xc2 \ xb5 \ xe2 \ x80 \ xa2p \ xe2 \ x80 \ xa2u] \ xe2 \ x80 \ xa 2 \ xe2 \ x80 \ xa2]} v \ xe2 \ x80 \ xa2 \ xe2 \ xe2 \ x80 \ xa2v \ xc5 \ x92 ]} \ x80 \ i}}} \ xc3 \ xc3 \ xc3 \ f e2 \ x80 \ xa2p] \ xc3 \ x80v \ xc3 \ x81] \ xc5 \ xa1z \ xc5 \ xc5 \ xa1z \ xc3 \ xc3 \ xc3 XAD \ XC3 \ XAC \ XC5 \ XA1Z \ XC5 \ XA1} \ XC3 \ XB5 \ XB5 \ XC3 \ XAC \ XAC \ XC5 \ XA1Z i i} i \ xc5 \ xb8} v \ xe2 \ x80 \ xa2（} \ xc5 \ x92 \ xc5 \ xa1z \ xe2 \ x80 \ xa2} \ xc2 \ xb5 \ xb5 \ xc5 \ xc5 \ xa1z \ xc3 \ x81 \ x81 \ x81 \ x80 \ x80 \ x80 \ xa2 \ xa2 \ xc5 \ xc5 \ xc5 \ xa1w \ xa1w] .x 2'\ sc 2'\ sc 2'\ sc 2'\ sc 2'\ sc 2'\ sc 2'\ sc 2'\ sc 2'\