XiaoMi-AI文件搜索系统
World File Search SystemXAI
物联网的可解释人工智能（XAI）
摘要 — 人工智能 (AI) 模型的黑箱性质不允许用户理解甚至信任此类模型创建的输出。在 AI 应用中，不仅结果而且结果的决策路径都至关重要，这种黑箱 AI 模型是不够的。可解释人工智能 (XAI) 解决了这个问题，并定义了一组可由用户解释的 AI 模型。最近，许多 XAI 模型已经解决了医疗、军事、能源、金融和工业等各个应用领域中黑箱模型缺乏可解释性和可解释性的问题。虽然 XAI 的概念最近引起了广泛关注，但它与物联网领域的集成尚未完全定义。在本文中，我们对最近在物联网领域使用 XAI 模型的研究进行了深入而系统的回顾。我们根据方法论和应用领域对研究进行分类。此外，我们旨在关注具有挑战性的问题和未解决问题，并给出未来的方向，以指导开发人员和研究人员进行未来的调查。
XAI & I：促进相互理解的自解释型人工智能
传统上，可解释的人工智能寻求提供高性能黑盒模型（例如深度神经网络）的解释和可解释性。由于此类模型的复杂性很高，因此对其进行解释仍然很困难。另一种方法是强制深度神经网络使用人类可理解的特征作为其决策的基础。我们使用岩石类型的自然类别域测试了这种方法。我们将使用 Resnet50 的迁移学习黑盒实现的性能与首先训练以预测专家识别的特征然后被迫使用这些特征对岩石图像进行分类的网络的性能进行了比较。这个特征约束网络的性能与无约束网络的性能几乎相同。此外，部分受限的网络被迫压缩为少数未使用专家特征进行训练的特征，这不会导致这些抽象特征变得可理解；尽管如此，可以发现这些特征的仿射变换与专家可理解的特征很好地一致。这些发现表明，让人工智能本质上可理解并不一定以牺牲性能为代价。© 2022 作者。由 ELSEVIER B.V. 出版。这是一篇根据 CC BY-NC-ND 许可开放获取的文章（https://creativecommons.org/licenses/by-nc-nd/4.0）由 KES International 科学委员会负责同行评审 关键词：不言自明的人工智能；深度神经网络；迁移学习；XAI；类别学习
以人为本的可解释人工智能 (XAI)
图2.Dodge 等人比较了四种类型的 XAI 特征。[29]（对原始论文中的解释名称进行了小幅更新）以支持人们对 ML 模型的公平性判断，其中 ML 模型的用例执行再犯风险预测。对比解释（左上）侧重于被告需要如何改变才能被预测为低风险。与底部的两个全局解释相比，它更有效地揭示了不公平模型的个体公平问题——来自不同受保护群体的类似个体受到不同的对待。基于示例的解释可以通过揭示决策的矛盾性来表明公平性问题（只有 60% 的类似个人资料会再次犯罪）。
深度学习可重复性和可解释人工智能 (XAI)
本文借助图像分类示例研究了深度学习 (DL) 训练算法的不确定性及其对神经网络 (NN) 模型可解释性的影响。为了讨论这个问题，我们训练了两个卷积神经网络 (CNN) 并比较了它们的结果。比较有助于探索在实践中创建确定性、稳健的 DL 模型和确定性可解释人工智能 (XAI) 的可行性。本文详细描述了所有努力的成功和局限性。本文列出了所获得的确定性模型的源代码。可重复性被列为模型治理框架的开发阶段组成部分，该框架由欧盟在其 AI 卓越方法中提出。此外，可重复性是建立因果关系以解释模型结果和建立信任以应对 AI 系统应用的迅猛扩展的必要条件。本文研究了在实现可重复性的过程中必须解决的问题以及处理其中一些问题的方法。
DARPA 的可解释人工智能 (XAI) 项目：回顾
XAI 计划假设机器学习性能（例如预测准确性）和可解释性之间存在内在矛盾，这一担忧与当时的研究结果一致。通常，性能最高的方法（例如深度学习）是最难解释的，而最易解释的方法（例如决策树）是最不准确的。该计划希望创建一个新的机器学习和解释技术组合，为未来的从业者提供更广泛的设计选项，涵盖性能-可解释性权衡空间。如果应用程序需要更高的性能，XAI 产品组合将包括更多可解释、高性能、深度学习技术。如果应用程序需要更高的可解释性，XAI 将包括性能更高、可解释的模型。
社论：系统神经科学中的可解释人工智能 (XAI)
Error 500 (Server Error)!!1500.That’s an error.There was an error. Please try again later.That’s all we know.
可解释人工智能（XAI）综述
摘要 — 最近，人工智能和机器学习在从图像处理到自然语言处理等许多任务中都表现出色，尤其是深度学习 (DL) 的出现。随着研究的进展，它们已经侵入许多不同的领域和学科。其中一些领域需要高度的责任感和透明度，例如医疗部门。因此需要对机器决策和预测进行解释以证明其可靠性。这需要更高的可解释性，这通常意味着我们需要了解算法背后的机制。不幸的是，DL 的黑箱性质仍未解决，许多机器决策仍然不太理解。我们回顾了不同研究工作提出的可解释性并对其进行了分类。不同的类别展示了可解释性研究的不同维度，从提供“明显”可解释信息的方法到复杂模式的研究。通过将相同的分类应用于医学研究中的可解释性，希望：1) 临床医生和从业者随后可以谨慎对待这些方法； 2）随着对医疗实践的更多考虑，对可解释性的洞察将随之产生；3）鼓励推动基于数据、数学和技术的医学教育。
FXAIM02 AI模块 - 三菱动力
使用时，请仔细阅读产品附带的使用说明书并正确使用。未经许可，不得分发或复制本目录的全部或部分内容。请注意，由于产品的改进和修改，本目录中的产品描述可能与实际产品在某些方面有所不同。DIASYS Netmation/DIASYS Netmation4S 是三菱重工业株式会社的注册商标。本目录中描述的其他公司的服务名称和产品名称是各公司的商标或注册商标。
![通过分层相关性传播增强核电站 AI 模型的可解释性 Seung Geun Kim a*、Seunghyoung Ryu a、Hyeonmin Kim b、Kyungho Jin b、Jaehyun Cho ba 应用人工智能实验室/b 韩国原子能研究院风险评估与管理研究团队，韩国大田儒城区大德大路 989 号街 111，34057 * 通讯作者：sgkim92@kaeri.re.kr 1.简介 随着人工智能 (AI) 技术的快速发展，各个领域的应用数量巨大。核领域也紧跟这一趋势，许多研究利用 AI 模型解决事件诊断和自动/自主操作等问题。然而，占据近期 AI 技术应用最大份额的深度神经网络 (DNN) 具有不透明且可解释性低的局限性。对于基于 DNN 的模型，很难了解模型的内部逻辑或模型如何从给定的输入推断出输出。由于这一限制，尽管基于 DNN 的模型的性能可以接受，但人们对将其实际应用于安全关键领域和与道德/法律问题相关的领域仍犹豫不决。为了克服可解释性低的限制，已经提出了许多可解释的人工智能 (XAI) 方法。XAI 方法可以提供详细的解释，例如模型的内部逻辑和输入与输出之间的关系。然而，尽管可解释性问题对于安全关键的核领域至关重要，但缺乏处理 XAI 的研究。在本研究中，为了提高核领域人工智能模型的可解释性和实用性，研究了分层相关性传播 (LRP) [1]，它是 XAI 方法之一，与其他 XAI 方法相比，它在许多应用中表现出更好的性能。论文的其余部分组织如下。在第 2 章中，对 XAI 和 LRP 进行了简要说明。第 3 章描述了可行性检查实验，第 4 章总结了本文。 2. 前言 2.1 可解释人工智能 可解释人工智能 (XAI) 是一种使人类轻松理解 AI 模型的技术。大多数 AI 模型在数据处理和解决问题的方法方面与人类不同。例如，AI 模型识别具有像素 RGB 值的图像，而人类则不能。提出 XAI 是为了减轻理解 AI 模型内部过程或推断某些输出的原因的难度。](/simg/d/dd5abf0752fcc9f891dc4a96743f916f96f28350.png)
通过分层相关性传播增强核电站 AI 模型的可解释性 Seung Geun Kim a*、Seunghyoung Ryu a、Hyeonmin Kim b、Kyungho Jin b、Jaehyun Cho ba 应用人工智能实验室/b 韩国原子能研究院风险评估与管理研究团队，韩国大田儒城区大德大路 989 号街 111，34057 * 通讯作者：sgkim92@kaeri.re.kr 1.简介 随着人工智能 (AI) 技术的快速发展，各个领域的应用数量巨大。核领域也紧跟这一趋势，许多研究利用 AI 模型解决事件诊断和自动/自主操作等问题。然而，占据近期 AI 技术应用最大份额的深度神经网络 (DNN) 具有不透明且可解释性低的局限性。对于基于 DNN 的模型，很难了解模型的内部逻辑或模型如何从给定的输入推断出输出。由于这一限制，尽管基于 DNN 的模型的性能可以接受，但人们对将其实际应用于安全关键领域和与道德/法律问题相关的领域仍犹豫不决。为了克服可解释性低的限制，已经提出了许多可解释的人工智能 (XAI) 方法。XAI 方法可以提供详细的解释，例如模型的内部逻辑和输入与输出之间的关系。然而，尽管可解释性问题对于安全关键的核领域至关重要，但缺乏处理 XAI 的研究。在本研究中，为了提高核领域人工智能模型的可解释性和实用性，研究了分层相关性传播 (LRP) [1]，它是 XAI 方法之一，与其他 XAI 方法相比，它在许多应用中表现出更好的性能。论文的其余部分组织如下。在第 2 章中，对 XAI 和 LRP 进行了简要说明。第 3 章描述了可行性检查实验，第 4 章总结了本文。 2. 前言 2.1 可解释人工智能 可解释人工智能 (XAI) 是一种使人类轻松理解 AI 模型的技术。大多数 AI 模型在数据处理和解决问题的方法方面与人类不同。例如，AI 模型识别具有像素 RGB 值的图像，而人类则不能。提出 XAI 是为了减轻理解 AI 模型内部过程或推断某些输出的原因的难度。
通过分层相关性传播增强核电站 AI 模型的可解释性 Seung Geun Kim a*、Seunghyoung Ryu a、Hyeonmin Kim b、Kyungho Jin b、Jaehyun Cho ba 应用人工智能实验室/b 韩国原子能研究院风险评估与管理研究团队，韩国大田儒城区大德大路 989 号街 111，34057 * 通讯作者：sgkim92@kaeri.re.kr 1.简介 随着人工智能 (AI) 技术的快速发展，各个领域的应用数量巨大。核领域也紧跟这一趋势，许多研究利用 AI 模型解决事件诊断和自动/自主操作等问题。然而，占据近期 AI 技术应用最大份额的深度神经网络 (DNN) 具有不透明且可解释性低的局限性。对于基于 DNN 的模型，很难了解模型的内部逻辑或模型如何从给定的输入推断出输出。由于这一限制，尽管基于 DNN 的模型的性能可以接受，但人们对将其实际应用于安全关键领域和与道德/法律问题相关的领域仍犹豫不决。为了克服可解释性低的限制，已经提出了许多可解释的人工智能 (XAI) 方法。XAI 方法可以提供详细的解释，例如模型的内部逻辑和输入与输出之间的关系。然而，尽管可解释性问题对于安全关键的核领域至关重要，但缺乏处理 XAI 的研究。在本研究中，为了提高核领域人工智能模型的可解释性和实用性，研究了分层相关性传播 (LRP) [1]，它是 XAI 方法之一，与其他 XAI 方法相比，它在许多应用中表现出更好的性能。论文的其余部分组织如下。在第 2 章中，对 XAI 和 LRP 进行了简要说明。第 3 章描述了可行性检查实验，第 4 章总结了本文。 2. 前言 2.1 可解释人工智能 可解释人工智能 (XAI) 是一种使人类轻松理解 AI 模型的技术。大多数 AI 模型在数据处理和解决问题的方法方面与人类不同。例如，AI 模型识别具有像素 RGB 值的图像，而人类则不能。提出 XAI 是为了减轻理解 AI 模型内部过程或推断某些输出的原因的难度。