注意:这篇文章是在几种人工智能(AI)工具的帮助下准备的。这些工具用于各种任务,包括搜索信息、收集和组织数据以及生成摘要。无论如何,这篇文章的最终材料是由人而不是人工智能编写的。
人工智能模型的应用越来越广泛,这促使各种利益相关者对解释的需求不断增加。然而,这种需求是模棱两可的,因为有许多类型的“解释”,其评价标准也不同。本着多元化的精神,我绘制了解释类型的分类图,以及可以解决这些问题的相关可解释人工智能方法。当我们试图揭示人工智能模型的内部机制时,我们会开发诊断性解释。当我们试图使模型输出变得易于理解时,我们会生成阐释性解释。当我们希望形成模型的稳定概括时,我们会生成期望性解释。最后,当我们想要证明模型的使用合理时,我们会生成角色解释,将模型置于其社会背景中。这种多元化观点的动机源于将原因视为可操纵的关系,将不同类型的解释视为识别人工智能系统中我们可以干预以影响我们期望的变化的相关点。本文减少了 XAI 领域中使用“解释”一词的歧义,为从业者和利益相关者提供了一个有用的模板,以避免歧义并评估 XAI 方法和推定的解释。
论证和可解释人工智能 (XAI) 密切相关,因为近年来,论证已用于为人工智能提供可解释性。论证可以逐步展示人工智能系统如何做出决策;它可以对不确定性提供推理,并在面临冲突信息时找到解决方案。在这篇综述中,我们通过回顾所有重要的方法和研究,以及使用论证为人工智能提供可解释性的实现,详细阐述了论证和 XAI 相结合的主题。更具体地说,我们展示了论证如何为解决决策、意见论证和对话中的各种问题提供可解释性。随后,我们详细阐述了论证如何帮助在各种应用领域构建可解释系统,例如医学信息学、法律、语义网、安全、机器人技术和一些通用系统。最后,我们提出了将机器学习和论证理论相结合的方法,以建立更具解释性的预测模型。
1 简介 机器学习 (ML) 模型广泛应用于许多实际应用的决策过程。现代 ML 方法的快速发展、实际成就和整体成功 [LeCun et al. , 2015; Jordan and Mitchell, 2015; Mnih et al. , 2015; ACM, 2018] 保证了机器学习将作为一种通用计算范式盛行,并将找到越来越多的实际应用,其中许多与我们生活的各个方面有关。不幸的是,ML 模型有时会灾难性地失败 [Zhou and Sun, 2019; CACM Letters to the Editor, 2019]。它们还可能由于模型中的偏见(例如种族、性别、年龄)而支持糟糕的决策 [Angwin et al. , 2016]。由于脆弱性,它们的决策可能会令人困惑 [Szegedy et al. , 2017]。 ,2014;Goodfellow 等人,2015]。因此,迫切需要了解 ML 模型的行为,分析模型(或用于训练模型的数据)的(潜在)故障,对其进行调试并可能进行修复。这引起了人们对验证 ML 模型操作的兴趣日益浓厚 [Ruan 等人,2018;Narodytska,2018;Narodytska 等人,2018b;Katz 等人,2017],同时也激发了旨在设计可解释人工智能(XAI)方法的努力 [Ribeiro 等人,2018;Lundberg 和 Lee,2017;Ignatiev 等人,2018;Narodytska 等人,2018a;Ribeiro 等人, 2016;伊格纳季耶夫等人。 , 2019a;
皮肤癌检测是临床决策支持的一个常见应用 [7]。由于皮肤癌患者数量的增加和早期检测的良好治疗效果,过去几年来,人们在该领域进行了大量研究。在此背景下,DNN 已成为开发皮肤图像分类模型的可行方法 [2、8、12、30]。社区的高度关注导致出现了各种不同方法,其性能水平也参差不齐。1 所有方法的共同点都是训练一个可用于诊断并从而用于临床决策支持的模型。因此,新方法的评估标准通常是它们是否能够使模型在各种皮肤病诊断任务中取得更好的性能结果 [21]。同时,其他 AI 研究领域也越来越多地考虑对模型预测的解释。相比之下,这些技术在皮肤图像分类中的应用几乎没有得到解决,尽管最近的一些研究已经认识到
最先进的人工智能 (AI) 技术已经达到了令人印象深刻的复杂性。因此,研究人员正在发现越来越多的方法将它们用于实际应用。但是,这种系统的复杂性要求引入使这些系统对人类用户透明的方法。AI 社区正试图通过引入可解释 AI (XAI) 领域来克服这一问题,该领域旨在使 AI 算法不那么晦涩难懂。但是,近年来,人们越来越清楚地认识到 XAI 不仅仅是一个计算机科学问题:由于它与通信有关,因此 XAI 也是人机交互问题。此外,AI 走出实验室是为了在现实生活中使用。这意味着需要针对非专家用户量身定制的 XAI 解决方案。因此,我们提出了一个以用户为中心的 XAI 框架,该框架侧重于其社交互动方面,灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式 XAI 解决方案的结构。
7.此外,2021 年,欧洲议会提出了《人工智能法案》(AI Act),以规范欧盟的人工智能使用。这项拟议法规为人工智能系统制定了监管框架,包括道德发展、透明度、安全性和准确性的要求,以及治理和监督系统。《人工智能法案》将人工智能应用分为不同风险等级(不可接受的做法、高风险系统以及低风险或有限风险系统),并规定了高风险系统的透明度和人工监督要求,这些要求将在整个联盟范围内执行。这可能会引发适应该法规的举措,包括全面的模型文档、可解释性技术、监控仪表板和模型警报。
摘要。可解释人工智能 (XAI) 正在迅速成为一个新兴且快速增长的研究领域;然而,尽管 XAI 可以为人工智能在该行业的应用带来潜力,但它在医疗保健领域的应用仍处于早期阶段。仍有许多挑战有待解决,包括制定解释标准、不同利益相关者与模型之间的互动程度、质量和性能指标的实施、安全和问责标准的一致意见、将其集成到临床工作流程和 IT 基础设施中。本文有两个目标。第一个是介绍文献调查的总结结果,并强调可解释性的最新进展,包括 XAI 在医疗保健行业的差距、挑战和机遇。为了更容易理解和加入这个研究领域,我们建议采用综合分类法对可解释性方法进行分类。第二个目标是问一个问题,即通过特定的问题/领域视角,应用一种新的方式来看待可解释性问题空间,并以与 AutoML 类似的方式自动化该方法,是否有助于缓解上述挑战。在文献中,人们倾向于从模型优先的角度来看待人工智能的可解释性,这将具体的问题和领域放在一边。例如,患者生存模型的可解释性与解释医院费用程序计算相同。有了明确确定的 XAI 应该应用的问题/领域,范围就很明确,使我们能够(半)自动地找到合适的模型,优化它们的参数及其解释、指标、利益相关者、安全/问责水平,并提出将它们整合到临床工作流程中的方法。
生成的AI(Genai)标志着AI从能够“识别”到AI的转变,可以“生成”各种任务的解决方案。随着生成的解决方案和应用变得越来越复杂和多方面,新颖的需求,目标和可能性已出现以解释性(XAI)。在这项工作中,我们阐述了Xai为何在Genai的兴起及其在解释性研究中的挑战中变得重要。我们还揭露了解释应该实现的小说和新兴的逃避者,例如验证能力,互动性,安全性和成本方面。为此,我们专注于调查现有作品。此外,我们提供了相关维度的分类法,使我们能够更好地表征Genai的现有XAI机制和方法。我们讨论了不同的途径,以确保XAI,从培训数据到提示。我们的论文为非技术读者提供了Genai的简短而简洁的技术背景,重点介绍了文本和图像,以更好地了解Genai的新颖或改编的XAI技术。但是,由于Genai的大量作品,我们决定放弃与解释的评估和使用相关的XAI的详细方面。因此,手稿既利益,都以技术为导向的人和其他学科,例如社会科学家和信息系统研究人员。我们的研究路线图为未来的研究提供了十个以上的方向。
在本文中,我们提出了三种可解释的深度学习架构,根据语言能力自动检测阿尔茨海默病患者。这些架构使用:(1)仅词性特征;(2)仅语言嵌入特征和(3)通过统一架构同时使用这两个特征类。我们使用自注意力机制和可解释的一维卷积神经网络 (CNN) 来生成两种类型的模型行为解释:类内解释和类间解释。类间解释捕获该类中每个不同特征的相对重要性,而类间解释捕获类之间的相对重要性。请注意,尽管我们在本文中考虑了两类特征,但由于该架构具有模块化,因此很容易扩展到更多类。大量的实验和与最近的几个模型的比较表明,我们的方法优于这些方法,准确率为 92.2%,F1 分数为 0。 952 在 DementiaBank 数据集上,同时能够生成解释。我们通过示例展示如何使用注意力值生成这些解释。