[1] Imran Ahmed、Gwanggil Jeon 和 Francesco Piccialli。2022 年。从人工智能到工业 4.0 中的可解释人工智能:关于什么、如何和在哪里的调查。IEEE 工业信息学汇刊 (2022)。[2] Saleema Amershi、Dan Weld、Mihaela Vorvoreanu、Adam Fourney、Besmira Nushi、Penny Collisson、Jina Suh、Shamsi Iqbal、Paul N Bennett、Kori Inkpen 等人。2019 年。人机交互指南。在 2019 年计算系统人为因素 chi 会议论文集上。1–13。[3] ]castillo2019study José Castillo、Edith Galy、Pierre Thérouanne 和 Raoul Do Nascimento。[n. d.]。研究使用数字技术在工作场所产生的心理工作量和压力。在 H-Workload 2019:第三届人类心理工作量国际研讨会:模型和应用(正在进行的工作)中。105。[4] Chien-Chun Chen、Chiu-Chi Wei、Su-Hui Chen、Lun-Meng Sun 和 Hsien-Hong Lin。2022。AI 预测能力模型以最大化工作绩效。控制论与系统 53, 3 (2022), 298–317。
各国政府都在研究可解释人工智能 (XAI) 的潜力,以应对人们对人工智能算法决策不透明性的批评。尽管 XAI 作为自动化决策的解决方案很有吸引力,但政府面临的挑战的棘手性使 XAI 的使用变得复杂。棘手性意味着定义问题的事实是模棱两可的,并且对解决此问题的规范标准没有达成共识。在这种情况下,使用算法可能会导致不信任。尽管有许多研究推动 XAI 技术的发展,但本文的重点是可解释性的策略。使用三个说明性案例来表明,公众通常不认为可解释的数据驱动决策是客观的。这种背景可能会引起强烈的动机去质疑和不信任人工智能的解释,结果遭到了社会的强烈抵制。为了克服 XAI 固有的问题,提出了针对决策的策略,以使社会接受基于人工智能的决策。我们建议采取可解释的决策和流程、与社会参与者共同制定决策、从工具性方法转向制度性方法、使用竞争性和价值敏感算法,并调动专业人士的隐性知识
与模型无关的可解释人工智能工具通过“局部”特征贡献来解释其预测。我们通过实证研究了两种优于当前方法的潜在改进。第一种方法是始终以用户认为对结果有积极贡献的形式来呈现特征贡献(“积极框架”)。第二种方法是添加“语义标签”,解释每个特征贡献的方向性(“该特征可使合格率提高 5%”),从而减少额外的认知处理步骤。在一项用户研究中,参与者评估了针对贷款申请和音乐推荐的不同框架和标签条件的解释的可理解性。我们发现,即使预测为负面,积极框架也能提高可理解性。此外,添加语义标签可以消除任何框架对可理解性的影响,积极标签的表现优于消极标签。我们在 ArgueView[11] 包中实现了我们的建议。
联结主义的复兴和巨大成功创造了一个以数据集大小、模型复杂度(以参数或权重的数量衡量)和计算时间为王的体系。深度学习模型性能的爆炸式提升伴随着模型复杂度和计算成本的爆炸式增长。有人认为,这些大型、昂贵的模型可能实际上没有必要。彩票假说 [1] 认为,较大的模型表现更好,因为它们更有可能包含有利于随机初始化的参数。因此,随机初始化的网络可能包含一个小得多的子网络,经过单独训练,该子网络的性能可以与原始网络相媲美。修剪这些模型是一个活跃的研究和辩论领域 [2,3]。尽管如此,较大模型在经验上更优异的性能使得杰出的研究人员得出结论:“利用计算的通用方法最终是最有效的”(萨顿的“惨痛教训”[4])。 “扩展假设”认为,一旦找到合适的基本架构,我们只需实例化该架构的较大版本,即可生成任意级别的智能。因此,神经网络结构的操纵和表达已成为机器学习研究界的首要关注点,尽管也饱受批评。
由内华达大学里诺分校用户于 2022 年 2 月 23 日从 http://direct.mit.edu/dint/article-pdf/doi/10.1162/dint_a_00119/1987143/dint_a_00119.pdf 下载
摘要 可解释人工智能 (XAI) 是一个新兴的多学科研究领域,旨在开发使 AI 系统更易于解释或解读的方法和工具。XAI 研究人员越来越多地认识到可解释性是一种对环境、受众和目的敏感的现象,而不是一个可以直接测量和优化的单一明确定义的属性。然而,由于目前没有可解释性的总体定义,这给这个多学科领域内的许多不同研究人员带来了沟通不畅的风险。这是我们在本文中试图解决的问题。我们概述了一个称为解释实用主义的框架,我们认为它有两个吸引人的特点。首先,它允许我们在明确的环境、受众和目的相关术语中概念化可解释性,同时保留可解释性的统一底层定义。其次,它使任何可能支撑关于寻求解释目的的可解释性相互冲突的主张的规范性分歧变得显而易见。第三,它使我们能够区分 AI 可解释性的几个维度。我们通过将这个框架应用于一个案例研究来说明这个框架,该案例研究涉及一个机器学习模型,用于预测患有意识障碍的患者是否有可能恢复意识。
为了找到一种对特定蛋白质有效且安全的药物,药理学家必须测试数千种化合物。5然而,药物靶标相互作用(DTA)的实验测量既耗时又耗资源。DTA预测的计算机模拟方法因其效率高、成本低而备受关注。现有的计算机模拟方法主要可分为三类:基于结构的方法、基于特征的方法和深度学习方法。基于结构的方法可以通过考虑小分子和蛋白质的三维结构来探索潜在的结合位点。对接是一种成熟的基于结构的方法,它使用多种模式定义和评分函数来最小化结合的自由能。分子动力学模拟是另一种流行的基于结构的方法,它可以提供有关单个粒子运动随时间变化的最终细节。6然而,基于结构的方法非常耗时,如果蛋白质的三维结构未知,则无法使用。7
神经科学对脑网络进行了广泛的研究,以便更好地理解人类行为以及识别和描述神经和精神疾病条件下的分布式脑异常。已经提出了几种用于脑网络分析的深度图学习模型,但大多数当前模型缺乏可解释性,这使得很难从结果中获得任何启发性的生物学见解。在本文中,我们提出了一种新的可解释图学习模型,称为分层脑嵌入(HBE),以根据网络社区结构提取脑网络表示,从而产生可解释的分层模式。我们应用我们的新方法从使用 ICA 从人类连接组计划扫描的 1,000 名年轻健康受试者获得的功能性脑网络中预测攻击性、违反规则和其他标准化行为分数。我们的结果表明,所提出的 HBE 在预测行为指标方面优于几种最先进的图学习方法,并且展示出与临床症状相关的类似分层脑网络模式。
论证和可解释人工智能 (XAI) 密切相关,因为近年来,论证已用于为人工智能提供可解释性。论证可以逐步展示人工智能系统如何做出决策;它可以对不确定性提供推理,并在面临冲突信息时找到解决方案。在这篇综述中,我们通过回顾所有重要的方法和研究,以及使用论证为人工智能提供可解释性的实现,详细阐述了论证和 XAI 相结合的主题。更具体地说,我们展示了论证如何为解决决策、意见论证和对话中的各种问题提供可解释性。随后,我们详细阐述了论证如何帮助在各种应用领域构建可解释系统,例如医学信息学、法律、语义网、安全、机器人技术和一些通用系统。最后,我们提出了将机器学习和论证理论相结合的方法,以建立更具解释性的预测模型。
摘要背景:人们普遍担心在医疗保健等敏感环境中使用黑盒建模方法。尽管性能有所提升且备受炒作,但这些问题阻碍了人工智能 (AI) 的普及。人们认为可解释的人工智能有助于缓解这些担忧。但是,现有的可解释定义并未为这项工作奠定坚实的基础。方法:我们批评了最近关于以下文献的评论:团队中人工智能的代理;心理模型,尤其是它们应用于医疗保健时,以及它们引出的实际方面;以及现有和当前的可解释性定义,尤其是从人工智能研究人员的角度来看。在此文献的基础上,我们创建了可解释的新定义和支持术语,提供了可以客观评估的定义。最后,我们将可解释的新定义应用于三个现有模型,展示了它如何应用于先前的研究,并为基于此定义的未来研究提供指导。结果:现有的解释定义以全球适用性为前提,并未解决“谁可以理解?”的问题。如果将人工智能视为团队成员,那么引出心理模型可以比作创建可解释的人工智能。在此基础上,我们根据模型的背景来定义可解释性,包括模型和解释的目的、受众和语言。作为示例,此定义应用于手术室团队中的回归模型、神经网络和人类心理模型。结论:现有的解释定义在确保解决实际应用问题方面存在局限性。根据应用背景来定义可解释性会迫使评估与模型的实际目标保持一致。此外,它将允许研究人员明确区分针对技术受众和普通受众的解释,从而允许对每种解释应用不同的评估。关键词:可解释性、xAI、黑盒模型、心理模型