XiaoMi-AI文件搜索系统
World File Search System解释
以人为本的可解释人工智能过程模型
引言人工智能 (AI) 的发展已展现出令人瞩目的性能，特别是在图像处理或游戏等明确定义的领域。然而，所部署的技术对于人类用户来说可能是不透明的，这引发了一个问题：人工智能系统如何提供解释 (Neerincx 等人，2018 年；Rosenfeld 和 Richardson，2019 年)，并且监管框架对可解释人工智能 (XAI) 的需求日益增长。话虽如此，2017 年，谷歌的研究主管 Peter Norvig 指出，在人类可能不擅长提供“解释”的情况下期望计算机提供“解释”是具有讽刺意味的。可解释人工智能 (XAI) 的大部分工作都严重依赖于以计算机为中心的视角 (Springer，2019 年)。例如，Holzinger 等人 (2020) 假设人类和人工智能系统可以平等地访问“基本事实”。由此可见，可解释性“……突出了机器表示中与决策相关的部分……，即有助于模型在训练中的准确性或特定预测的部分。”与许多 XAI 文献一样，这并没有为人类提供任何角色，只能作为被动接受者。这意味着人工智能系统能够反省自己的过程来生成解释。然后将得到的解释呈现给用户，并描述人工智能系统的流程或它使用过的特征（“决策相关部分”）。这样，解释就只是一个建议（来自人工智能系统）加上与此相关的特征。正如 Miller (2017) 所指出的那样，这种态度的一个问题在于，它是基于设计师对什么是“好的”解释的直觉，而不是基于对人类如何响应和利用解释的合理理解。这并不能说明为什么选择某些特征，也不能说明为什么建议适合用户的关注点。它也没有将解释置于更广泛的组织中；分析师的解释可能与数据收集管理人员或接受分析师简报的经理的解释不同。对于 Holzinger 等人 (2020) 来说，情况的各个方面（定义为基本事实）被组合成一个陈述；也就是说，解释只是这个陈述的一种表达。这意味着从特征到解释存在线性插值。这类似于 Hempel 和 Oppenheim (1948) 的“覆盖定律模型”，该模型关注的是历史学家如何根据先前的原因来解释事件。然而，“基本事实”（由 Holzinger 的过程模型和覆盖定律模型假设）很少得到完全定义（导致在选择相关特征时产生歧义）。这意味着，仅仅陈述情况方面而不说明为什么选择这些方面（而不是其他方面）可能不会产生有用或可用的解释。霍夫曼等人（2018）对与解释相关的文献进行了全面的回顾。从这篇评论来看，解释涉及人类的理解（将人工智能系统的输出置于特定情境中），我们同意，考虑这一点的适当框架是数据框架的理解模型（Klein 等人，2007）。此外，理解（及其与解释的关系）依赖于认识到过程（提供和接收解释）必须是相互的、迭代的和协商的。这个过程依赖于“解释者”和“被解释者”达成一致。换句话说，解释涉及“共同点”（Clark，1991），其中理解上有足够的一致性以使对话继续进行。对话的性质将取决于提供解释的情况和被解释者的目标。例如，被解释者可能是“受训者”，他试图理解解释以学习决策标准，也可能是“分析师”，使用人工智能系统的建议作为政策。
聚焦 LRP：用于人脸变形攻击检测的可解释 AI
近年来，检测变形人脸图像的任务变得非常重要，以确保基于人脸图像的自动验证系统（例如自动边境控制门）的安全性。基于深度神经网络 (DNN) 的检测方法已被证明非常适合此目的。然而，它们在决策过程中并不透明，而且不清楚它们如何区分真实人脸图像和变形人脸图像。这对于旨在协助人类操作员的系统尤其重要，因为人类操作员应该能够理解其中的推理。在本文中，我们解决了这个问题，并提出了聚焦分层相关性传播 (FLRP)。该框架在精确的像素级别向人类检查员解释深度神经网络使用哪些图像区域来区分真实人脸图像和变形人脸图像。此外，我们提出了另一个框架来客观地分析我们方法的质量，并将 FLRP 与其他 DNN 可解释性方法进行比较。该评估框架基于移除检测到的伪影并分析这些变化对 DNN 决策的影响。特别是，如果 DNN 的决策不确定甚至不正确，与其他方法相比，FLRP 在突出显示可见伪影方面表现得更好。
医疗保健领域人工智能的可解释性
摘要背景：在人工智能 (AI) 应用于医疗保健领域时，可解释性是最受争议的话题之一。尽管人工智能驱动的系统已被证明在某些分析任务中表现优于人类，但缺乏可解释性仍然引发批评。然而，可解释性不是一个纯粹的技术问题，相反，它引发了一系列需要彻底探索的医学、法律、伦理和社会问题。本文对可解释性在医学人工智能中的作用进行了全面评估，并对可解释性对于将人工智能驱动的工具应用于临床实践的意义进行了伦理评估。方法：以基于人工智能的临床决策支持系统为例，我们采用多学科方法从技术、法律、医学和患者的角度分析了可解释性对医学人工智能的相关性。基于这一概念分析的结果，我们随后进行了伦理评估，使用 Beauchamp 和 Childress 的“生物医学伦理原则”（自主、仁慈、不伤害和正义）作为分析框架，以确定医疗 AI 中可解释性的必要性。结果：每个领域都强调了一组不同的核心考虑因素和价值观，这些因素与理解可解释性在临床实践中的作用有关。从技术角度来看，可解释性必须从如何实现和从发展角度来看有什么好处两个方面来考虑。从法律角度来看，我们将知情同意、医疗器械认证和批准以及责任确定为可解释性的核心接触点。医学和患者的观点都强调了考虑人类行为者和医疗 AI 之间相互作用的重要性。我们得出的结论是，在临床决策支持系统中忽略可解释性会对医学的核心伦理价值观构成威胁，并可能对个人和公共健康产生不利影响。结论：为了确保医疗 AI 兑现其承诺，需要让开发人员、医疗保健专业人员和立法者意识到医疗 AI 中不透明算法的挑战和局限性，并促进多学科合作。关键词：人工智能、机器学习、可解释性、可解释性、临床决策支持
xxAI - 超越可解释的 AI
© 编辑（如适用）和作者 2022。本书是开放获取出版物。开放获取 本书根据知识共享署名 4.0 国际许可证（http://creativecommons.org/licenses/by/4.0/）的条款获得许可，允许以任何媒体或格式使用、共享、改编、分发和复制，只要您给予原作者和来源适当的信用，提供知识共享许可证的链接并指明是否进行了更改。本书中的图像或其他第三方材料包含在本书的知识共享许可证中，除非在材料的致谢中另有说明。如果材料未包含在本书的知识共享许可证中，并且您的预期用途不被法定法规允许或超出允许用途，则您需要直接从版权所有者处获得许可。本出版物中使用一般描述性名称、注册名称、商标、服务标记等。即使没有具体声明，也不意味着这些名称不受相关保护法律和法规的约束，因此可以自由使用。出版商、作者和编辑可以放心地认为，本书中的建议和信息在出版之日是真实准确的。出版商、作者或编辑均不对此处包含的材料或可能出现的任何错误或遗漏提供明示或暗示的保证。出版商对已出版地图和机构隶属关系中的司法管辖权主张保持中立。
以用户为中心的可解释人工智能框架...
最先进的人工智能 (AI) 技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法将它们用于实际应用。但是，这种系统的复杂性要求引入使这些系统对人类用户透明的方法。AI 社区正试图通过引入可解释 AI (XAI) 领域来克服这一问题，该领域旨在使 AI 算法不那么晦涩难懂。但是，近年来，人们越来越清楚地认识到 XAI 不仅仅是一个计算机科学问题：由于它与通信有关，因此 XAI 也是人机交互问题。此外，AI 走出实验室是为了在现实生活中使用。这意味着需要针对非专家用户量身定制的 XAI 解决方案。因此，我们提出了一个以用户为中心的 XAI 框架，该框架侧重于其社交互动方面，灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式 XAI 解决方案的结构。
面向情感 XAI：通过面部情感分析来理解可解释的人机交互
随着机器学习方法越来越多地用于增强人类决策能力，可解释人工智能 (XAI) 研究探索了将系统行为传达给人类的方法。然而，这些方法往往无法解释人类在与解释互动时的情感反应。面部情感分析研究人类面部的情绪表达，是了解用户如何参与解释的一个有前途的视角。因此，在这项工作中，我们的目标是 (1) 确定人们与 XAI 界面交互时哪些面部情感特征会很明显，以及 (2) 开发一个多任务特征嵌入，将面部情感信号与参与者对解释的使用联系起来。我们的分析和结果表明，当参与者未能有效地使用解释时，面部 AU1 和 AU4 以及唤醒的发生和值会增加。这表明面部情感分析应该纳入 XAI，以根据个人的互动风格个性化解释，并根据执行任务的难度调整解释。
警惕医疗领域人工智能的解释
人工智能和机器学习 (AI/ML) 算法在医疗保健领域的发展日渐成熟，用于诊断和治疗各种医疗状况 ( 1 )。然而，尽管此类系统技术实力雄厚，但它们的采用却一直充满挑战，它们是否能真正改善医疗保健以及在多大程度上改善医疗保健仍有待观察。一个主要原因是，基于 AI/ML 的医疗设备的有效性在很大程度上取决于其用户的行为特征，例如，用户往往容易受到有据可查的偏见或算法厌恶的影响 ( 2 )。许多利益相关者越来越多地将预测算法所谓的黑箱性质视为用户持怀疑态度、缺乏信任和接受缓慢的核心原因 ( 3, 4 )。因此，立法者一直在朝着要求提供黑箱算法决策解释的方向发展 (5) 。事实上，学术界、政府和民间社会团体几乎一致支持可解释的 AI/ML。许多人被这种方法吸引，因为它既能利用不可解释的人工智能/机器学习（如深度学习或神经网络）的准确性优势，又能支持透明度、信任和采用。我们认为，这种共识至少在应用于医疗保健领域时，既夸大了要求黑盒算法可解释的好处，又低估了其弊端。
可解释的脑时代预测的原型学习
缺乏深度学习模型的解释性限制了在临床实践中采用此类模型。基于原型的模型可以提供固有的可解释预测，但是这些预测主要是为分类任务而设计的，尽管医学想象中有许多重要的任务是连续的回归问题。因此，在这项工作中，我们介绍了专家：专门为回归任务设计的可解释原型模型。使用原型标签的加权平均值，我们提出的模型从分离到潜在空间中的一组学习原型的样本预测。潜在空间中的距离正规化为相对于标签差异，并且可以将每个原型视为训练集中的样本。图像级距离是从斑块级距离构建的，其中两个图像的贴片使用最佳传输在结构上匹配。因此，这提供了一个基于示例的解释，并在推理时间提供了补丁级的细节。我们演示了我们提出的两个成像数据集上的脑年龄预测模型：成人MR和胎儿超声。我们的方法实现了最先进的预测性能，同时洞悉模型的推理过程。
从聚类效应角度解释神经网络的对抗鲁棒性
对抗训练（AT）是提高深度神经网络鲁棒性的最常用机制。最近，一种针对中间层的新型对抗攻击利用了对抗训练网络的额外脆弱性，输出错误的预测。这一结果说明对抗训练中对抗扰动的搜索空间不足。为了阐明中间层攻击有效的原因，我们将前向传播解释为聚类效应，表征神经网络对于与训练集具有相同标签的样本的中间层表示相似，并通过相应的信息瓶颈理论从理论上证明了聚类效应的存在。随后我们观察到中间层攻击违反了 AT 训练模型的聚类效应。受这些重要观察的启发，我们提出了一种正则化方法来扩展训练过程中的扰动搜索空间，称为充分对抗训练（SAT）。我们通过严格的数学证明给出了经过验证的神经网络鲁棒性界限。实验评估表明，SAT 在防御针对输出层和中间层的对抗性攻击方面优于其他最先进的 AT 机制。我们的代码和附录可以在 https://github.com/clustering-effect/SAT 找到。
解释器：我从哪里开始？确定保护融资是否可以对您有效的第一步
从根本上讲，保护融资工具旨在提供可持续的资金流和/或提供投资回报率。产生现金流量和来自自然投资的回报需要某人愿意支付的价值流。这就是为什么林业和农业企业具有相关商品（例如木材和农作物）对投资者来说更为直接的途径：现金流以及提供投资回报率的能力。生态系统服务，无论是碳固换，洪水调节还是改善的空气质量都与实际成本有关。但是，为了提供投资回报率，金融工具需要使三个不同的群体保持一致：愿意为服务付费的人，从交付中受益的人以及将得到补偿的人。