引言人工智能 (AI) 的发展已展现出令人瞩目的性能,特别是在图像处理或游戏等明确定义的领域。然而,所部署的技术对于人类用户来说可能是不透明的,这引发了一个问题:人工智能系统如何提供解释 (Neerincx 等人,2018 年;Rosenfeld 和 Richardson,2019 年),并且监管框架对可解释人工智能 (XAI) 的需求日益增长。话虽如此,2017 年,谷歌的研究主管 Peter Norvig 指出,在人类可能不擅长提供“解释”的情况下期望计算机提供“解释”是具有讽刺意味的。可解释人工智能 (XAI) 的大部分工作都严重依赖于以计算机为中心的视角 (Springer,2019 年)。例如,Holzinger 等人 (2020) 假设人类和人工智能系统可以平等地访问“基本事实”。由此可见,可解释性“……突出了机器表示中与决策相关的部分……,即有助于模型在训练中的准确性或特定预测的部分。”与许多 XAI 文献一样,这并没有为人类提供任何角色,只能作为被动接受者。这意味着人工智能系统能够反省自己的过程来生成解释。然后将得到的解释呈现给用户,并描述人工智能系统的流程或它使用过的特征(“决策相关部分”)。这样,解释就只是一个建议(来自人工智能系统)加上与此相关的特征。正如 Miller (2017) 所指出的那样,这种态度的一个问题在于,它是基于设计师对什么是“好的”解释的直觉,而不是基于对人类如何响应和利用解释的合理理解。这并不能说明为什么选择某些特征,也不能说明为什么建议适合用户的关注点。它也没有将解释置于更广泛的组织中;分析师的解释可能与数据收集管理人员或接受分析师简报的经理的解释不同。对于 Holzinger 等人 (2020) 来说,情况的各个方面(定义为基本事实)被组合成一个陈述;也就是说,解释只是这个陈述的一种表达。这意味着从特征到解释存在线性插值。这类似于 Hempel 和 Oppenheim (1948) 的“覆盖定律模型”,该模型关注的是历史学家如何根据先前的原因来解释事件。然而,“基本事实”(由 Holzinger 的过程模型和覆盖定律模型假设)很少得到完全定义(导致在选择相关特征时产生歧义)。这意味着,仅仅陈述情况方面而不说明为什么选择这些方面(而不是其他方面)可能不会产生有用或可用的解释。霍夫曼等人(2018)对与解释相关的文献进行了全面的回顾。从这篇评论来看,解释涉及人类的理解(将人工智能系统的输出置于特定情境中),我们同意,考虑这一点的适当框架是数据框架的理解模型(Klein 等人,2007)。此外,理解(及其与解释的关系)依赖于认识到过程(提供和接收解释)必须是相互的、迭代的和协商的。这个过程依赖于“解释者”和“被解释者”达成一致。换句话说,解释涉及“共同点”(Clark,1991),其中理解上有足够的一致性以使对话继续进行。对话的性质将取决于提供解释的情况和被解释者的目标。例如,被解释者可能是“受训者”,他试图理解解释以学习决策标准,也可能是“分析师”,使用人工智能系统的建议作为政策。
- 从数据中可以了解到虚假相关性,这通常会妨碍模型的泛化能力并导致糟糕的现实世界结果。 - 失去可调试性和透明度,导致信任度低以及无法修复或改进模型和/或结果。此外,这种缺乏透明度阻碍了这些模型的采用,特别是在受监管的行业,例如银行和金融或医疗保健。 - 代理目标导致模型离线执行(通常是匹配代理指标)与部署在应用程序中时的性能之间存在很大差异。 - 由于模型从业者在有问题的情况下本地调整模型行为的能力下降而失去控制。 - 不良的数据放大反映了与我们的社会规范和原则不一致的偏见。
●……严格禁止。这包括使用AI来生成想法,概述方法,回答问题,解决问题或创建原始语言。本课程中的所有工作都必须是您自己的或在允许的小组工作中创建的。●…应在有限的基础上允许。您将被告知可以使用AI的作业。您也欢迎您在任何作业上使用AI写作工具的事先批准。在任何一种情况下,都应谨慎使用AI写作工具,因为应适当地使用AI的使用。未经我允许或授权使用AI写作工具,或者即使在允许的情况下也无法正确引用AI,构成了违反UT Austin关于学术完整性的机构规则的违反。●…适用于AI产生的内容,允许使用它们的学生。如果您考虑使用AI写作工具,但不确定是否允许或适当地使用它们的程度,请询问。”
摘要 在胸部 X 光 (CXR) 诊断领域,现有研究通常仅侧重于确定放射科医生的注视点,通常是通过检测、分割或分类等任务。然而,这些方法通常被设计为黑盒模型,缺乏可解释性。在本文中,我们介绍了可解释人工智能 (I-AI),这是一种新颖的统一可控可解释流程,用于解码放射科医生在 CXR 诊断中的高度关注度。我们的 I-AI 解决了三个关键问题:放射科医生注视的位置、他们在特定区域关注的时间以及他们诊断出的发现。通过捕捉放射科医生凝视的强度,我们提供了一个统一的解决方案,可深入了解放射学解释背后的认知过程。与当前依赖黑盒机器学习模型的方法不同,这些方法在诊断过程中很容易从整个输入图像中提取错误信息,而我们通过有效地屏蔽不相关的信息来解决这个问题。我们提出的 I-AI 利用视觉语言模型,可以精确控制解释过程,同时确保排除不相关的特征。为了训练我们的 I-AI 模型,我们利用眼球注视数据集来提取解剖注视信息并生成地面真实热图。通过大量实验,我们证明了我们方法的有效性。我们展示了旨在模仿放射科医生注意力的注意力热图,它编码了充分和相关的信息,仅使用 CXR 的一部分即可实现准确的分类任务。代码、检查点和数据位于 https://github.com/UARK-AICV/IAI。1. 简介
最先进的人工智能 (AI) 技术已经达到了令人印象深刻的复杂性。因此,研究人员正在发现越来越多的方法将它们用于实际应用。但是,这种系统的复杂性要求引入使这些系统对人类用户透明的方法。AI 社区正试图通过引入可解释 AI (XAI) 领域来克服这一问题,该领域旨在使 AI 算法不那么晦涩难懂。但是,近年来,人们越来越清楚地认识到 XAI 不仅仅是一个计算机科学问题:由于它与通信有关,因此 XAI 也是人机交互问题。此外,AI 走出实验室是为了在现实生活中使用。这意味着需要针对非专家用户量身定制的 XAI 解决方案。因此,我们提出了一个以用户为中心的 XAI 框架,该框架侧重于其社交互动方面,灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式 XAI 解决方案的结构。
© 编辑(如适用)和作者 2022。本书是开放获取出版物。开放获取 本书根据知识共享署名 4.0 国际许可证(http://creativecommons.org/licenses/by/4.0/)的条款获得许可,允许以任何媒体或格式使用、共享、改编、分发和复制,只要您给予原作者和来源适当的信用,提供知识共享许可证的链接并指明是否进行了更改。本书中的图像或其他第三方材料包含在本书的知识共享许可证中,除非在材料的致谢中另有说明。如果材料未包含在本书的知识共享许可证中,并且您的预期用途不被法定法规允许或超出允许用途,则您需要直接从版权所有者处获得许可。本出版物中使用一般描述性名称、注册名称、商标、服务标记等。即使没有具体声明,也不意味着这些名称不受相关保护法律和法规的约束,因此可以自由使用。出版商、作者和编辑可以放心地认为,本书中的建议和信息在出版之日是真实准确的。出版商、作者或编辑均不对此处包含的材料或可能出现的任何错误或遗漏提供明示或暗示的保证。出版商对已出版地图和机构隶属关系中的司法管辖权主张保持中立。
抽象可解释的人工智能(XAI)在实现明智决定的过程中发挥了作用。现代各种供应链(SC)平台的出现改变了SC相互作用的性质,导致了显着的不确定性。这项研究旨在对现有的有关决策支持系统(DSS)的文献进行彻底分析,并在SC领域内对XAI功能的结合。我们的分析揭示了XAI对SC领域决策过程的影响。本研究利用Shapley添加说明(SHAP)技术使用Python机器学习(ML)过程分析在线数据。解释性算法是专门为通过为其产生的预测提供理由来提高ML模型的清醒性的。本研究旨在建立可衡量的标准,以识别XAI和DSS的组成部分,从而在SC的背景下增强决策。这项研究评估了对他们做出预测的能力,在线数据集的利用,所检查的变量数量,学习能力的发展以及在决策背景下进行验证的研究,强调了需要在不确定条件下涉及智能决策的其他探索领域的研究领域。
缺乏深度学习模型的解释性限制了在临床实践中采用此类模型。基于原型的模型可以提供固有的可解释预测,但是这些预测主要是为分类任务而设计的,尽管医学想象中有许多重要的任务是连续的回归问题。因此,在这项工作中,我们介绍了专家:专门为回归任务设计的可解释原型模型。使用原型标签的加权平均值,我们提出的模型从分离到潜在空间中的一组学习原型的样本预测。潜在空间中的距离正规化为相对于标签差异,并且可以将每个原型视为训练集中的样本。图像级距离是从斑块级距离构建的,其中两个图像的贴片使用最佳传输在结构上匹配。因此,这提供了一个基于示例的解释,并在推理时间提供了补丁级的细节。我们演示了我们提出的两个成像数据集上的脑年龄预测模型:成人MR和胎儿超声。我们的方法实现了最先进的预测性能,同时洞悉模型的推理过程。
摘要人工智能(AI)和机器学习(ML)正在彻底改变各个领域的人类活动,而医学和传染病并不能免除其快速和指数的增长。此外,可解释的AI和ML的领域已经获得了特别的相关性,并引起了人们的兴趣越来越大。传染病已经开始从可解释的AI/ML模型中受益。例如,在抗菌病毒预测和量子疫苗算法中,它们已被采用或提议更好地理解旨在改善2019年冠状病毒疾病诊断和管理的复杂模型。尽管有关解释性和可解释性之间二分法的某些问题仍然需要仔细关注,但对复杂的AI/ML模型如何得出其预测或建议的深入了解对于正确地面对本世纪传染病的日益严重的挑战变得越来越重要。
