摘要:但是,随着机器学习(ML)模型越来越多地嵌入必须做出的关键决策中,可解释性成为关键功能,因为我们需要确保透明度和对自动化系统的信任。当前,尚无旨在处理复杂或不完整数据的可解释性方法,这严重限制了其对现实世界问题的应用。在本文中,我使用不完整信息(ECII)算法的增强概念归纳来介绍通过引入自动化概念诱导来增强ML的可解释性。使用描述逻辑和域特定背景知识的使用可以通过使用ECII算法来生成有关ML决策的直观,可理解的解释。我们讨论了该算法的方法,它与描述逻辑的集成,并在几个域中呈现其应用程序,并证明其关闭了复杂的ML模型输出和用户频道解释性之间的低点。关键字:机器学习,可解释性,不完整信息(ECII),描述逻辑,不完整数据,自动概念诱导,特定领域特定知识,AI中的透明度。
机器学习技术越来越多地用于高风险决策,例如大学录取,贷款归因或累犯预测。因此,至关重要的是,确保人类用户可以审核或理解所学的模型,不要创建或再现歧视或偏见,并且不会泄露有关其培训数据的敏感信息。的确,可解释性,公平性和隐私是负责任的机器学习开发的关键要求,在过去的十年中,这三者进行了广泛的研究。但是,它们主要被孤立地考虑,而在实践中,它们相互相互作用,无论是积极还是负面的。在本次调查文件中,我们回顾了有关这三个Desiderata之间相互作用的文献。更确切地说,对于每种成对相互作用,我们总结了认同的协同作用和紧张局势。这些发现突出了几种基本的理论和经验性冲突,同时还指出,当一个人旨在保留高水平时,共同考虑这些不同的要求是具有挑战性的。为了解决这个问题,我们还讨论了可能的调解机制,表明仔细的设计可以成功处理实践中这些不同的问题。
最近的工作表明,稀疏的自动编码器(SAE)能够有效地发现语言模型中的人解释功能,从玩具模型到最先进的大语言模型等等。这项工作探讨了SAE的使用是否可以推广到机器学习的其他品种,特定的,加固学习,以及如何(如果有的话)将SAES适应这一实质上不同的任务所需的修改。本研究使用玩具加强学习环境来进行经验实验,研究了SAE代表强化学习模型作为可解释特征的能力的定性和定量度量。发现SAE成功地将深Q网络的内部激活分解为可解释的特征,此外,这些人解释的某些特征代表了对仅凭深度Q网络单独输出而无法发现的基本任务的内部理解。
讨论•图2和3显示了SVM,KNN和LR模型的比较,表明SVM和KNN在准确性,精度,召回和F1得分等关键指标中的表现始终优于LR。•SVM总体上表现出最强大的性能,而KNN的精确性和召回率具有竞争力。lr虽然效率较低,但在更简单的情况下表现出了可接受的结果。•葡萄糖是最具影响力的特征,较高的值强烈促进阳性糖尿病预测。年龄和BMI也是重要的预测因子,其中较高的值通常表明风险增加。该图在视觉上区分高(粉红色)和低(蓝色)特征值及其相应的形状值,显示了单个特征如何影响模型的预测。•LinearSVC的表现最高,精度最高(0.76)和F1-SCORE(0.63)。
现有的用于预测电子设备故障率的模型通常会显示出差异,与实际测量相比,稳定时期的预测值较高,在流失期间的值较低。尽管它们经常用于模拟时间序列过程中的强度函数,但复发性神经网络(RNN)却难以捕获事件序列之间的长距离依赖性。此外,强度函数的固定参数形式可以限制模型的概括。为了解决这些缺点,提出了一种新颖的方法,利用注意机制在不依赖强度函数的情况下生成时间点过程。为了量化模型和现实分布之间的差异,模型使用Wasserstein距离来创建损失函数。此外,为了提高可解释性和概括性,使用一种自动机制来评估过去事件对当前发生的影响。比较测试表明,这种方法的表现超过了可能的可能性模型,而没有先前了解强度功能和类似RNN的生成模型,从而将相对错误率降低了3.59%,并将错误预测准确性提高了3.91%。
机器学习 (ML) 模型在医疗保健、金融和自主系统等关键领域的部署日益增多,凸显了人工智能决策对透明度和问责制的迫切需求。这促使人们越来越关注可解释人工智能 (XAI),这是一个致力于开发方法和工具的子领域,使复杂的 ML 模型可以被人类解释。本文探讨了 XAI 的主要趋势,研究了用于增强机器学习模型可解释性的理论基础和实用方法。我们全面回顾了可解释模型设计、事后可解释性技术和评估解释质量和可信度的评估指标方面的最新进展。本文还深入探讨了模型准确性和可解释性之间的权衡,以及为包括数据科学家、最终用户和监管机构在内的各种利益相关者提供有用且可理解的解释所面临的挑战。最后,我们重点介绍了 XAI 研究中的新兴方向,包括因果推理、公平性和道德考虑在可解释模型开发中的作用。通过综合当前的趋势和挑战,本文旨在更广泛地了解 XAI 的最新进展及其促进更透明、更负责和更用户友好的 AI 系统的潜力。关键词:xai、机器学习、可解释性、可解释性、公平性、敏感性、黑盒。1.介绍
因此,可解释性被提出作为增强基于人工智能的系统可理解性的替代概念。与可解释性的区别在于“可解释模型是学习更结构化、可解释或因果模型的机器学习技术”[4]。换句话说,简单地说,可以说可解释性回答了“人工智能模型是如何工作的?”的问题,而可解释性则侧重于“为什么人工智能模型会提出这样的决定?”。许多作者都做出了这种区分[8-9],尽管其他一些人以不加区分的方式使用“可解释性”和“可解释性”这两个术语[10-13],或者最终坚持可解释模型的卓越性,特别是如果自动决策算法影响人类[14-15]。这种缺乏共识至少在一定程度上是由于解决可解释性问题的领域的异质性。然而,这些关键概念的定义对于研究项目的构建和推进至关重要。这就是为什么我们提出探索这样一个假设,即管理可解释性和可解释性之间的协同作用可以对决策过程产生积极影响,我们为此目的进行系统的文献综述。
通过可解释的AI(XAI)技术增强神经网络中的可解释性。电子。电子。eng。,卷。1,否。1,pp。1-5,2024。版权:从医疗保健诊断到财务建模的各种应用程序中神经网络的快速发展,已大大提高了决策过程的准确性和效率。但是,这些模型通常可以用作黑匣子,几乎没有深入了解它们如何到达特定的预测。这种缺乏解释性为其在信任,问责制和透明度至关重要的关键领域中采用的主要障碍。本研究旨在通过开发一个集成了多种可解释的AI(XAI)技术来增强神经网络的可解释性的新型框架来解决这一问题。所提出的框架结合了特征分析,层相关性传播(LRP)和视觉解释方法,例如梯度加权类激活映射(Grad-CAM)。这些技术共同对神经网络的决策过程提供了全面的看法,使它们对利益相关者更加透明和可以理解。简介和背景1.1。1.2。2。方法论2.1。数据收集我们的实验结果表明,综合的XAI框架不仅可以提高可解释性,而且还保持了高度的准确性,从而弥合了性能和透明度之间的差距。这项研究为在关键应用程序中部署可解释的神经网络提供了基础,确保了AI驱动的决策是可靠且可理解的。关键字:神经网络;可解释的AI;毕业-CAM;解释性;准确性缩写:XAI:可解释的AI; LRP:层次相关性传播; Grad-CAM:梯度加权类激活映射; AI:人工智能; FNNS:前馈神经网络; CNN:卷积神经网络; Shap:Shapley添加说明1。引言人工智能(AI)已成为现代技术进步的基石,神经网络在各种应用中起着关键作用,例如图像识别,自然语言处理和预测分析。尽管取得了成功,但阻碍神经网络更广泛接受的主要挑战之一,尤其是在医疗保健,金融和自治系统等关键领域,它们缺乏解释性。这些模型的黑框性质使得很难理解它们如何处理输入数据并生成输出,从而导致信任和问责制。可解释的AI(XAI)已成为一个关键的研究领域,旨在使AI系统更加透明和可解释。XAI技术努力阐明复杂模型的内部运作,从而允许用户理解,信任和有效地管理AI驱动的决策。本文着重于通过将各种XAI技术整合到一个凝聚力框架中来增强神经网络的可解释性。目标是为利益相关者提供对模型预测的明确和可行的解释,促进信任并使AI系统在高风险环境中的部署。背景这项研究的动机源于AI系统对透明度和问责制的需求不断增长。例如,在医疗保健中,临床医生需要了解AI驱动的诊断建议,以信任和对它们采取行动。同样,在金融中,利益相关者必须理解基于AI的风险评估,以确保公平性和法规合规性。在自主系统(例如自动驾驶汽车)中,了解决策过程对于安全性和可靠性至关重要。解决这些需求时,我们的研究旨在弥合高性能神经网络与可解释性的基本要求之间的差距,从而促进对各种关键应用程序的AI系统的更大接受和信任。神经网络,尤其是深度学习模型,由于能够从大型数据集中学习并捕获复杂的模式,因此在众多应用程序中取得了前所未有的成功。但是,它们的复杂体系结构通常由多个隐藏的层和数百万个参数组成,使它们变得不透明且难以解释。对AI的解释性的需求导致了旨在揭开这些黑盒模型的几种XAI技术的开发[1,2]。
生成AI模型发展的快速增长使其评估与发现其生成能力一样至关重要,例如音频文本,音频,图像和视频生成。我的研究重点是从解释性,可解释性和可信度来分析这些模型。解释性着重于这些模型的决策过程。我的研究试图回答以下问题:该模型能否解释它如何做出明显的决定?此外,它探讨了什么可以帮助该模型产生有关预测背后原因的有意义和可理解的解释。鉴于神经网络的性质,分析每个神经元中的参数通常是没有生产力的。因此,已经开发了各种甲基分析,例如事后分析,以从不同角度解决这个问题。但是,许多方法,例如事后分析,只是刮擦神经网络的表面。需要进一步的研究来解决这个新兴领域中众多未解决的问题。可解释性涉及了解模型的内部工作。鉴于其功能强大的固定功能,确定该模型是否已经完全理解所有要求并生成准确的内容是一项挑战,尤其是当用户不确定正确的答案时。因此,我对因果追踪感兴趣,例如机械性解释性,以深入了解模型。鉴于我对研究概念的讨论,这里有一些利用这些概念的方法和应用:解释性和可解释性旨在实现相同的目标:了解生成过程并解释生成模型的能力。这种不明智的想法将通过增加对模型输出的信任和有效利用来增强用户体验,从而导致可信赖性的方面。
脑电图 (EEG) 是一种非侵入性工具,通过将电极放置在人体头皮上来测量大脑活动,从而检测神经元放电电压。虽然 EEG 技术存在信噪比差和仅捕获表面大脑活动等局限性,但它仍然是诊断癫痫和睡眠障碍等疾病的可靠方法 [ 1 ]。自动编码器 [ 2 ] 是一类特殊的神经网络,用作编码器-解码器对。编码器通过逐步减少各层的神经元数量,最终达到瓶颈层,将输入数据压缩为压缩表示,称为潜在空间。相反,解码器通过逐渐增加后续层中的神经元数量从这种压缩形式重建输入数据。这种压缩和重建过程使网络能够有效地捕获输入数据的显着特征。卷积变分自动编码器 (CVAE) [ 3 , 4 ] 通过合并卷积层扩展了此框架,使其特别适合处理图像数据。与标准自动编码器不同,CVAE 生成概率潜在空间。这种概率方法有助于学习稳健的特征,并增强模型生成类似于训练数据的新数据实例的能力。利用卷积层,CVAE 可以利用数据中的空间层次结构,从而增强其分析和重建图像数据中固有的复杂模式和纹理的能力。因此,CVAE 在要求详细