摘要:目前,可解释性是人工智能 (AI) 在各个应用领域的实际实施方面面临的主要障碍。为了解决对基于 AI 的系统缺乏理解的问题,可解释人工智能 (XAI) 旨在使黑盒 AI 模型对人类更加透明和易于理解。幸运的是,已经引入了大量 XAI 方法从不同角度解决可解释性问题。然而,由于搜索空间巨大,对于 ML 从业者和数据科学家来说,从开发 XAI 软件开始并选择最合适的 XAI 方法是一项挑战。为了应对这一挑战,我们引入了 XAIR,这是对最有前途的 XAI 方法和工具的新颖的系统元评论。XAIR 通过将其结果与软件开发过程的五个步骤(包括需求分析、设计、实施、评估和部署)保持一致,从而与现有评论区分开来。通过这种映射,我们旨在更好地理解开发 XAI 软件的各个步骤,并促进创建包含可解释性的现实世界 AI 应用程序。最后,我们强调了未来研究的新方向。
摘要 - 机器学习的许多形式(ML)和人工智能(AI)技术在通信网络中采用以执行所有优化,安全管理和决策任务。而不是使用常规的黑框模型,而是使用可解释的ML模型来提供透明度和问责制。此外,由于网络的分布性和安全隐私问题,联合学习(FL)类型ML模型比典型的集中学习(CL)模型变得越来越流行。因此,研究如何使用可解释的AI(XAI)在不同的ML模型中找到解释能力是非常及时的。本文在网络中使用XAI在CL和FL的异常检测中进行了全面分析。我们将深层神经网络用作黑框模型,其中两个数据集,即UNSW-NB15和NSL-KDD,以及Shapley添加说明(SHAP)作为XAI模型。我们证明,FL的解释与客户端异常百分比不同。索引术语-6G,安全性,隐私,可解释的AI,中央学习,联合学习。
摘要:可解释的人工智能(XAI)方法阐明了机器学习算法的预测。存在几种不同的方法,并且已经在气候科学中应用。然而,通常缺少地面真相解释使他们的评估和比较变得复杂,随后阻碍了XAI方法的选择。因此,在这项工作中,我们在气候环境中介绍了XAI评估,并讨论了不同所需的解释属性,即稳健性,忠诚,随机化,复杂性和本地化。为此,我们选择了预测的预测年度平均温度图的案例研究。在训练多层感知器(MLP)和卷积神经网络(CNN)之后,应用了多种XAI方法,并参考每个属性计算其针对随机均匀解释的技能得分。独立于网络,我们发现XAI方法(例如综合梯度,相关性传播)和输入时间梯度梯度表现出可观的鲁棒性,忠诚和复杂性,同时牺牲随机性表现。灵敏度方法,梯度,光滑,噪声果质和融合,与稳健性的技能相匹配,但牺牲性忠诚度和复杂性对于统治技能。我们发现有关不同XAI方法的鲁棒性,复杂性和本地化技能的体系结构依赖性性能差异,从而强调了研究任务评估的必要性。,我们旨在支持气候研究人员选择合适的XAI方法。总的来说,我们的工作概述了气候科学环境中不同评估属性的概述,并展示了如何比较和台式 - 基于优势和劣势评估其适合性,以评估其特定研究问题。
摘要:可解释人工智能 (XAI) 特性在深度学习模型的仇恨言论检测中具有灵活和多方面的潜力。本研究的目的是解释和说明复杂人工智能 (AI) 模型做出的决策,以了解这些模型的决策过程。作为本研究的一部分,我们采用了两个数据集来演示使用 XAI 进行仇恨言论检测。我们进行了数据预处理,以清除数据中的任何不一致之处、清理推文文本、对文本进行标记和词形还原等。我们还简化了分类变量,以便生成干净的数据集用于训练目的。我们对数据集进行了探索性数据分析,以发现各种模式和见解。我们将各种预先存在的模型应用于 Google Jigsaw 数据集,例如决策树、k-最近邻、多项朴素贝叶斯、随机森林、逻辑回归和长短期记忆 (LSTM),其中 LSTM 的准确率达到 97.6%。将 LIME(局部可解释模型 - 不可知解释)等可解释方法应用于 HateXplain 数据集。创建了 BERT(来自 Transformer 的双向编码器表示)模型的变体,例如准确率为 93.55% 的 BERT + ANN(人工神经网络)和准确率为 93.67% 的 BERT + MLP(多层感知器),以在使用 ERASER(评估基本原理和简单英语推理)基准的可解释性方面取得良好的表现。
通过人工智能 (AI) 系统实现的各种流程的自动化已经取得了重大进展。最近,无论是通过自我监管和指南等软法,还是通过法律监管(例如欧盟的《通用数据保护条例》(GDPR)或《人工智能条例》),显然这一发展需要伴随措施,以保障受人工智能系统影响的人的基本权利和安全。从这个意义上说,可解释人工智能 (XAI) [ 2 ] 对于设计可信系统至关重要。基于答案集编程的 s(LAW) [ 3 ] 等提案已展示出它们能够利用基于规则的模型来建模价值观并解释其决策原因。但这些解释可能会导致敏感信息的泄露,例如有关性别暴力受害者的详细信息。这可能会侵犯隐私权和保密权,甚至引起法律问题等。虽然可以调整解释以防止泄漏,例如使用 s(CASP) 框架来控制显示和/或隐藏哪些元素 [4],但调整模型需要应用遗忘(变量消除)等技术,以避免在审计期间泄露敏感信息。然而,当前的遗忘技术大多仅应用于命题 ASP 程序,并且它们在处理偶数循环时存在局限性。在这项工作中,我们提出了 𝑓 𝐶𝐴𝑆𝑃,一种支持约束答案集程序中非分层否定存在的新遗忘技术。𝑓 𝐶𝐴𝑆𝑃 基于目标导向的 CASP 推理器 s(CASP) 的对偶规则,因此,我们相信它可以应用于通用 CASP 程序而无需基础。我们通过解决文献中的旗舰案例验证了我们的提议,我们计划在学校名额分配的背景下使用这项技术,同时保护性别暴力受害者的隐私。
模型反转 [1] 和模型提取(窃取)攻击 [2] 是先进的对抗技术,可危及机器学习 (ML) 模型的安全和隐私。这些攻击从模型中提取敏感信息,例如训练数据和超参数。出于对日益增长的安全和隐私问题的担忧,文献中研究了越来越多的 ML-as-a-service 系统,这些系统提供使用机密数据训练的 ML 模型以及这些模型的可公开访问的查询界面。对黑盒 AI 模型可解释性的研究引发了一个新的研究课题可解释人工智能 (XAI) [3]。XAI 旨在描述难以被人类理解的 AI 模型的内部工作原理,以便可以描述模型的准确性、公平性、透明度和结果 [4]。其中一种方法是局部可解释模型不可知解释 (LIME) [5],它通过围绕该样本生成局部替代数据集来识别给定样本的最重要特征(影响 AI 的决策)。通过结合 XAI 产生的额外漏洞,可以增强对抗性 ML 攻击的能力。因此,我们提出了一种名为 AUTOLYCUS 的新型模型提取攻击,它使用来自 LIME 的模型解释来生成比最先进的攻击更少的查询,以揭示决策树模型的决策边界,并将这些边界提取到本地训练的代理模型。AUTOLYCUS 还可以从其他资源获得的样本中获取信息。这些资源可能包括先前采样的查询和其他数据集。我们演示
交通事故仍然是死亡,伤害和高速公路严重中断的主要原因。理解这些事件的促成因素对于提高道路网络安全性至关重要。最近的研究表明,预性建模在洞悉导致事故的因素方面具有效用。但是,缺乏重点放在解释复杂的机器学习和深度学习模型的内部工作以及各种特征影响事故词典模型的方式。因此,这些模型可能被视为黑匣子,而利益相关者可能不会完全信任他们的发现。这项研究的主要目的是使用各种转移学习技术创建预测模型,并使用Shapley值对最有影响力的因素提供见解。预测合格中伤害的严重程度,多层感知器(MLP),卷积神经网络(CNN),长期短期记忆(LSTM),残留网络(RESNET),EfficityNetB4,InceptionV3,InceptionV3,极端的Incep-Tion(Xpection)(Xpection)(Xpection)和Mobilenet和Mobilenet。在模型中,MobileNet显示出最高的结果,精度为98.17%。此外,通过了解不同的特征如何影响事故预测模型,研究人员可以更深入地了解导致事故的造成的范围,并制定更有效的干预措施以防止发生事故。
模型反转 [1] 和模型提取(窃取)攻击 [2] 是先进的对抗技术,可危及机器学习 (ML) 模型的安全和隐私。这些攻击从模型中提取敏感信息,例如训练数据和超参数。出于对日益增长的安全和隐私问题的担忧,文献中研究了越来越多的 ML-as-a-service 系统,这些系统提供使用机密数据训练的 ML 模型以及这些模型的可公开访问的查询界面。对黑盒 AI 模型可解释性的研究引发了一个新的研究课题可解释人工智能 (XAI) [3]。XAI 旨在描述难以被人类理解的 AI 模型的内部工作原理,以便可以描述模型的准确性、公平性、透明度和结果 [4]。其中一种方法是局部可解释模型不可知解释 (LIME) [5],它通过围绕该样本生成局部替代数据集来识别给定样本的最重要特征(影响 AI 的决策)。通过结合 XAI 产生的额外漏洞,可以增强对抗性 ML 攻击的能力。因此,我们提出了一种名为 AUTOLYCUS 的新型模型提取攻击,它使用来自 LIME 的模型解释来生成比最先进的攻击更少的查询,以揭示决策树模型的决策边界,并将这些边界提取到本地训练的代理模型。AUTOLYCUS 还可以从其他资源获得的样本中获取信息。这些资源可能包括先前采样的查询和其他数据集。我们演示
局部可解释和模型无关解释 (LIME) 是一种可解释的人工智能 (XAI) 方法,用于识别智能磨削过程中预测平均表面粗糙度 (Ra) 的全局重要时频带。智能磨削装置包括一台 Supertech CNC 精密表面磨床,配备一个 Dytran 压电加速度计,沿切线方向 (Y 轴) 安装在尾座主轴上。每次磨削时,都会捕获振动特征,并使用 Mahr Marsurf M300C 便携式表面粗糙度轮廓仪记录地面真实表面粗糙度值。在整个实验中,粗糙度值范围为 0.06 至 0.14 微米。提取磨削过程中收集的每个振动信号的时间频域频谱图帧。建模卷积神经网络 (CNN) 以基于这些频谱图帧及其图像增强来预测表面粗糙度。最佳 CNN 模型能够预测粗糙度值,总体 R2 分数为 0.95,训练 R2 分数为 0.99,测试 R2 分数为 0.81,仅使用 80 组振动信号(对应 4 次实验,每次 20 次试验)。虽然数据量不足以保证在现实场景中达到这样的性能指标,但可以提取这些复杂的深度学习模型捕获的关系背后的统计一致的解释。在开发的表面粗糙度 CNN 模型上实施了 LIME 方法,以识别影响预测的重要时频带(即频谱图的超像素)。基于在频谱图帧上确定的重要区域,确定了影响表面粗糙度预测的相应频率特性。基于 LIME 结果的重要频率范围约为 11.7 至 19.1 kHz。通过基于重要频率范围并考虑奈奎斯特标准将采样率从 160 kHz 降低到 30、20、10 和 5 kHz,证明了 XAI 的强大功能。通过仅提取低于其相应奈奎斯特截止值的时间频率内容,为这些范围开发了单独的 CNN 模型。通过比较模型性能提出了一种适当的数据采集策略,以论证选择足够的采样率来成功且稳健地捕捉磨削过程。© 2023 制造工程师协会 (SME)。由 Elsevier Ltd. 出版。保留所有权利。这是一篇根据 CC BY-NC-ND 许可开放获取的文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)由 NAMRI/SME 科学委员会负责同行评审。关键词:卷积神经网络;可解释机器学习;XML;可解释人工智能;XAI;局部可解释和模型无关解释;LIME;表面粗糙度;表面磨削;光谱图
基于人工智能 (AI) 的系统的快速增长和使用引发了对解释能力的担忧。最近的研究讨论了对可解释人工智能 (XAI) 的新兴需求;然而,从最终用户的角度对可解释人工智能进行系统回顾可以全面了解当前情况并有助于缩小研究差距。本研究的目的是从最终用户的角度对可解释人工智能进行系统的文献综述并综合研究结果。确切地说,目标是 1) 确定最终用户解释需求的维度;2) 研究解释对最终用户感知的影响,3) 确定研究差距并提出 XAI 的未来研究议程,特别是从基于当前知识的最终用户的角度来看。系统文献综述 (SLR) 的最终搜索查询是在 2022 年 7 月进行的。最初,我们从 Scopus 和 Web of Science 数据库中提取了 1707 篇期刊和会议文章。然后应用纳入和排除标准,并为 SLR 选择了 58 篇文章。研究结果显示,塑造 AI 解释的四个维度是格式(解释表示格式)、完整性(解释应包含所有必需信息,包括补充信息)、准确性(有关解释准确性的信息)和时效性(解释应包含最新信息)。此外,除了解释的自动表示外,用户还可以根据需要请求其他信息。我们还描述了 XAI 效果的五个维度:信任、透明度、可理解性、可用性和公平性。我们调查了选定文章中的当前知识,以将未来的研究议程作为研究问题以及可能的研究路径进行问题化。因此,我们开发了一个关于 XAI 及其对用户行为的可能影响的综合框架。