● D. Gunning,可解释的人工智能(xAI),技术代表,国防高级研究计划局(DARPA)(2017)● AB Arrieta,等人。可解释的人工智能(XAI):概念、分类法、机遇和挑战,走向负责任的人工智能。信息融合 58(2020):82-115。● E. Tjoa、C. Guan,可解释的人工智能(XAI)调查:面向医学 XAI (2019)。arXiv:1907.07374。● LH Gilpin、D. Bau、BZ Yuan、A. Bajwa、M. Specter、L. Kagal,解释解释:机器学习可解释性概述 (2018)。 arXiv:1806.00069 ● FK Došilović、M. Brćić、N. Hlupić,可解释的人工智能:一项调查,载于:第 41 届信息和通信技术、电子和微电子国际会议 (MIPRO),2018 年,第 210-215 页。● A. Adadi、M. Berrada,窥视黑匣子内部:可解释的人工智能 (XAI) 调查,IEEE Access 6 (2018) 52138-52160。● O. Biran、C. Cotton,机器学习中的解释和论证:一项调查,载于:IJCAI-17 可解释人工智能 (XAI) 研讨会,第 8 卷,2017 年,第 1 页。● ST Shane、T. Mueller、RR Hoffman、W. Clancey、G. Klein,《人机交互系统中的解释:可解释人工智能的关键思想和出版物及参考书目的文献元评论概要》,国防高级研究计划局 (DARPA) XAI 计划技术代表 (2019)。● R. Guidotti、A. Monreale、S. Ruggieri、F. Turini、F. Giannotti、D. Pedreschi,《解释黑盒模型的方法调查》,ACM 计算调查 51 (5) (2018) 93:1–93:42。
最先进的人工智能 (AI) 技术已经达到了令人印象深刻的复杂性。因此,研究人员正在发现越来越多的方法将它们用于实际应用。但是,这种系统的复杂性要求引入使这些系统对人类用户透明的方法。AI 社区正试图通过引入可解释 AI (XAI) 领域来克服这一问题,该领域旨在使 AI 算法不那么晦涩难懂。但是,近年来,人们越来越清楚地认识到 XAI 不仅仅是一个计算机科学问题:由于它与通信有关,因此 XAI 也是人机交互问题。此外,AI 走出实验室是为了在现实生活中使用。这意味着需要针对非专家用户量身定制的 XAI 解决方案。因此,我们提出了一个以用户为中心的 XAI 框架,该框架侧重于其社交互动方面,灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式 XAI 解决方案的结构。
摘要背景:在人工智能 (AI) 应用于医疗保健领域时,可解释性是最受争议的话题之一。尽管人工智能驱动的系统已被证明在某些分析任务中表现优于人类,但缺乏可解释性仍然引发批评。然而,可解释性不是一个纯粹的技术问题,相反,它引发了一系列需要彻底探索的医学、法律、伦理和社会问题。本文对可解释性在医学人工智能中的作用进行了全面评估,并对可解释性对于将人工智能驱动的工具应用于临床实践的意义进行了伦理评估。方法:以基于人工智能的临床决策支持系统为例,我们采用多学科方法从技术、法律、医学和患者的角度分析了可解释性对医学人工智能的相关性。基于这一概念分析的结果,我们随后进行了伦理评估,使用 Beauchamp 和 Childress 的“生物医学伦理原则”(自主、仁慈、不伤害和正义)作为分析框架,以确定医疗 AI 中可解释性的必要性。结果:每个领域都强调了一组不同的核心考虑因素和价值观,这些因素与理解可解释性在临床实践中的作用有关。从技术角度来看,可解释性必须从如何实现和从发展角度来看有什么好处两个方面来考虑。从法律角度来看,我们将知情同意、医疗器械认证和批准以及责任确定为可解释性的核心接触点。医学和患者的观点都强调了考虑人类行为者和医疗 AI 之间相互作用的重要性。我们得出的结论是,在临床决策支持系统中忽略可解释性会对医学的核心伦理价值观构成威胁,并可能对个人和公共健康产生不利影响。结论:为了确保医疗 AI 兑现其承诺,需要让开发人员、医疗保健专业人员和立法者意识到医疗 AI 中不透明算法的挑战和局限性,并促进多学科合作。关键词:人工智能、机器学习、可解释性、可解释性、临床决策支持
最近,密集的潜在变量模型已显示出令人鼓舞的结果,但是它们的分布式和潜在的代码使它们降低了易于解释,并且对噪声的影响较低。另一方面,稀疏表示更为简约,提供了更好的解释性和噪声稳健性,但是由于涉及的复杂性和计算成本,很难实现稀疏性。在此过程中,我们提出了一种新颖的无监督学习方法,以利用逐渐稀疏的尖峰和平板分布作为我们的先验,以在发电机模型的潜在空间上强化稀疏性。我们的模型由自上而下的发电网络组成,该网络将潜在变量映射到观测值。我们使用最大似然采样来推断发电机后方向的潜在变量,并且推理阶段的尖峰和平板正则化可以通过将非信息性潜在维度推动到零来引起稀疏性。我们的实验表明,学到的稀疏潜在表示保留了大多数信息,我们的模型可以学习解开的语义,并赋予潜在代码的解释性,并增强分类和denosing任务的鲁棒性。
van der waals异质结构中的Moiré超级晶格代表了高度可调的量子系统,在多体模型和设备应用中都引起了极大的兴趣。然而,在室温下,Moiré电位对光物质相互作用的影响在很大程度上仍然没有。在我们的研究中,我们证明了MOS 2 /WSE 2中的Moiré潜力促进了室温下层间激子(IX)的定位。通过执行反射对比光谱,我们证明了原子力显微镜实验支持的原子重建在修饰内部激子中的重要性。降低扭转角时,我们观察到IX寿命会更长,并且发光增强,表明诸如缺陷之类的非辐射衰减通道被Moiré电位抑制。此外,通过将Moiré超晶格与硅单模腔的整合,我们发现,使用Moiré捕获的IXS的设备显示出明显较低的阈值,与利用DelaCalized IXS的设备相比,较小的一个数量级。这些发现不仅鼓励在升高温度下在Moiré超晶格中探索多体物理学,而且还为利用光子和光电应用中的这些人工量子材料铺平了道路。
可解释人工智能 (XAI) 领域已迅速成为一个蓬勃发展且成果丰硕的社区。然而,该领域一个不为人知、反复出现且公认的问题是缺乏对其术语的共识。特别是,每一项新贡献似乎都依赖于其自己的(通常是直观的)术语版本,例如“解释”和“阐释”。这种混乱阻碍了该领域进步的巩固,无法满足科学和监管要求,例如在比较方法或确定其对偏见和公平约束的遵从性时。我们提出了一个理论框架,它不仅为这些术语提供了具体的定义,而且还概述了产生解释和阐释所需的所有步骤。该框架还允许重新语境化现有贡献,以便可以衡量其范围,从而使它们与其他方法具有可比性。我们表明,该框架符合对解释、可解释性和评估指标的要求。我们提供了一个用例,展示了如何使用该框架来比较 LIME、SHAP 和 MDNet,确定它们的优点和缺点。最后,我们从我们的框架的角度讨论了 XAI 的相关趋势以及对未来工作的建议。
引言人工智能 (AI) 的发展已展现出令人瞩目的性能,特别是在图像处理或游戏等明确定义的领域。然而,所部署的技术对于人类用户来说可能是不透明的,这引发了一个问题:人工智能系统如何提供解释 (Neerincx 等人,2018 年;Rosenfeld 和 Richardson,2019 年),并且监管框架对可解释人工智能 (XAI) 的需求日益增长。话虽如此,2017 年,谷歌的研究主管 Peter Norvig 指出,在人类可能不擅长提供“解释”的情况下期望计算机提供“解释”是具有讽刺意味的。可解释人工智能 (XAI) 的大部分工作都严重依赖于以计算机为中心的视角 (Springer,2019 年)。例如,Holzinger 等人 (2020) 假设人类和人工智能系统可以平等地访问“基本事实”。由此可见,可解释性“……突出了机器表示中与决策相关的部分……,即有助于模型在训练中的准确性或特定预测的部分。”与许多 XAI 文献一样,这并没有为人类提供任何角色,只能作为被动接受者。这意味着人工智能系统能够反省自己的过程来生成解释。然后将得到的解释呈现给用户,并描述人工智能系统的流程或它使用过的特征(“决策相关部分”)。这样,解释就只是一个建议(来自人工智能系统)加上与此相关的特征。正如 Miller (2017) 所指出的那样,这种态度的一个问题在于,它是基于设计师对什么是“好的”解释的直觉,而不是基于对人类如何响应和利用解释的合理理解。这并不能说明为什么选择某些特征,也不能说明为什么建议适合用户的关注点。它也没有将解释置于更广泛的组织中;分析师的解释可能与数据收集管理人员或接受分析师简报的经理的解释不同。对于 Holzinger 等人 (2020) 来说,情况的各个方面(定义为基本事实)被组合成一个陈述;也就是说,解释只是这个陈述的一种表达。这意味着从特征到解释存在线性插值。这类似于 Hempel 和 Oppenheim (1948) 的“覆盖定律模型”,该模型关注的是历史学家如何根据先前的原因来解释事件。然而,“基本事实”(由 Holzinger 的过程模型和覆盖定律模型假设)很少得到完全定义(导致在选择相关特征时产生歧义)。这意味着,仅仅陈述情况方面而不说明为什么选择这些方面(而不是其他方面)可能不会产生有用或可用的解释。霍夫曼等人(2018)对与解释相关的文献进行了全面的回顾。从这篇评论来看,解释涉及人类的理解(将人工智能系统的输出置于特定情境中),我们同意,考虑这一点的适当框架是数据框架的理解模型(Klein 等人,2007)。此外,理解(及其与解释的关系)依赖于认识到过程(提供和接收解释)必须是相互的、迭代的和协商的。这个过程依赖于“解释者”和“被解释者”达成一致。换句话说,解释涉及“共同点”(Clark,1991),其中理解上有足够的一致性以使对话继续进行。对话的性质将取决于提供解释的情况和被解释者的目标。例如,被解释者可能是“受训者”,他试图理解解释以学习决策标准,也可能是“分析师”,使用人工智能系统的建议作为政策。
随着机器学习方法越来越多地用于增强人类决策能力,可解释人工智能 (XAI) 研究探索了将系统行为传达给人类的方法。然而,这些方法往往无法解释人类在与解释互动时的情感反应。面部情感分析研究人类面部的情绪表达,是了解用户如何参与解释的一个有前途的视角。因此,在这项工作中,我们的目标是 (1) 确定人们与 XAI 界面交互时哪些面部情感特征会很明显,以及 (2) 开发一个多任务特征嵌入,将面部情感信号与参与者对解释的使用联系起来。我们的分析和结果表明,当参与者未能有效地使用解释时,面部 AU1 和 AU4 以及唤醒的发生和值会增加。这表明面部情感分析应该纳入 XAI,以根据个人的互动风格个性化解释,并根据执行任务的难度调整解释。
- 从数据中可以了解到虚假相关性,这通常会妨碍模型的泛化能力并导致糟糕的现实世界结果。 - 失去可调试性和透明度,导致信任度低以及无法修复或改进模型和/或结果。此外,这种缺乏透明度阻碍了这些模型的采用,特别是在受监管的行业,例如银行和金融或医疗保健。 - 代理目标导致模型离线执行(通常是匹配代理指标)与部署在应用程序中时的性能之间存在很大差异。 - 由于模型从业者在有问题的情况下本地调整模型行为的能力下降而失去控制。 - 不良的数据放大反映了与我们的社会规范和原则不一致的偏见。
