Gitta Kutyniok于2000年获得了Paderborn University的数学博士学位。她在普林斯顿大学,圣安福德,耶鲁大学和佐治亚理工学院等顶级大学中担任过各种学术职务。她于2006年在吉森大学获得了数学领域的习惯。从2008年至2011年,她一直是Osnabrück大学的全面应用分析教授,并且是应用分析小组(AAG)的负责人(随后她为2011年柏林技术大学至2020年的Ma -Thematics授予爱因斯坦主持人。从2019年至2023年,她一直是Tromsø大学机器学习的兼职教授。自2020年以来,她担任巴伐利亚人AI的数学基础,在路德维希 - 马克西米利人 - 慕尼黑大学。她获得了各种荣誉和奖项,包括DFG在2007年获得的冯·卡文奖。她于2013年被邀请在Ömg-DMV大会上担任Noether讲师,2021年在欧洲第八届欧洲数学大会(8ECM)的全体讲师。在2022年国际数学家国际大会(ICM 2022)和国际工业与应用数学大会(ICIAM)(ICIAM)上,她也受到了邀请的讲座的荣誉。她于2019年成为暹罗研究员,于2016年加入柏林 - 布兰登堡科学与人文学院,并于2022年当选为欧洲科学院。Gitta Kutyniok的研究重点是应用数学,艺术智能和深度学习。
摘要 - 源自人工智能技术可用于对患者的体育活动进行分类,并预测远程患者监测的生命体征。基于深度学习模型(例如深度学习模型)的非线性模型的回归分析,由于其黑盒性质而具有有限的解释性。这可能需要决策者根据非线性模型结果,尤其是在医疗保健应用中实现盲目的信仰飞跃。在非侵入性监测中,跟踪传感器的患者数据及其易感性临床属性是预测未来生命体征的输入特征。解释各种特征对监视应用程序的整体输出的贡献对于临床医生的决策至关重要。在这项研究中,提出了一个可解释的用于定量分析的AI(QXAI)框架,并通过临时模型的解释性和内在的解释性来解释和分类任务,以有监督的学习方法。这是通过利用Shapley价值观概念并将注意机制纳入深度学习模型中来实现的。我们采用了人工神经网络(ANN)和基于注意力的双向LSTM(BILSTM)模型,以根据传感器数据对心率和身体活动的分类进行预测。深度学习模型实现了最先进的预测和分类任务。在输入数据上进行了全球解释和局部解释,以了解各种患者数据的特征贡献。使用PPG-Dalia数据评估了提出的QXAI框架,以预测心率和移动健康(MHealth)数据,以根据传感器数据对体育活动进行分类。将蒙特卡洛近似应用于框架,以克服Shapley价值计算所需的时间复杂性和高计算功率要求。
通过可解释的AI(XAI)技术增强神经网络中的可解释性。电子。电子。eng。,卷。1,否。1,pp。1-5,2024。版权:从医疗保健诊断到财务建模的各种应用程序中神经网络的快速发展,已大大提高了决策过程的准确性和效率。但是,这些模型通常可以用作黑匣子,几乎没有深入了解它们如何到达特定的预测。这种缺乏解释性为其在信任,问责制和透明度至关重要的关键领域中采用的主要障碍。本研究旨在通过开发一个集成了多种可解释的AI(XAI)技术来增强神经网络的可解释性的新型框架来解决这一问题。所提出的框架结合了特征分析,层相关性传播(LRP)和视觉解释方法,例如梯度加权类激活映射(Grad-CAM)。这些技术共同对神经网络的决策过程提供了全面的看法,使它们对利益相关者更加透明和可以理解。简介和背景1.1。1.2。2。方法论2.1。数据收集我们的实验结果表明,综合的XAI框架不仅可以提高可解释性,而且还保持了高度的准确性,从而弥合了性能和透明度之间的差距。这项研究为在关键应用程序中部署可解释的神经网络提供了基础,确保了AI驱动的决策是可靠且可理解的。关键字:神经网络;可解释的AI;毕业-CAM;解释性;准确性缩写:XAI:可解释的AI; LRP:层次相关性传播; Grad-CAM:梯度加权类激活映射; AI:人工智能; FNNS:前馈神经网络; CNN:卷积神经网络; Shap:Shapley添加说明1。引言人工智能(AI)已成为现代技术进步的基石,神经网络在各种应用中起着关键作用,例如图像识别,自然语言处理和预测分析。尽管取得了成功,但阻碍神经网络更广泛接受的主要挑战之一,尤其是在医疗保健,金融和自治系统等关键领域,它们缺乏解释性。这些模型的黑框性质使得很难理解它们如何处理输入数据并生成输出,从而导致信任和问责制。可解释的AI(XAI)已成为一个关键的研究领域,旨在使AI系统更加透明和可解释。XAI技术努力阐明复杂模型的内部运作,从而允许用户理解,信任和有效地管理AI驱动的决策。本文着重于通过将各种XAI技术整合到一个凝聚力框架中来增强神经网络的可解释性。目标是为利益相关者提供对模型预测的明确和可行的解释,促进信任并使AI系统在高风险环境中的部署。背景这项研究的动机源于AI系统对透明度和问责制的需求不断增长。例如,在医疗保健中,临床医生需要了解AI驱动的诊断建议,以信任和对它们采取行动。同样,在金融中,利益相关者必须理解基于AI的风险评估,以确保公平性和法规合规性。在自主系统(例如自动驾驶汽车)中,了解决策过程对于安全性和可靠性至关重要。解决这些需求时,我们的研究旨在弥合高性能神经网络与可解释性的基本要求之间的差距,从而促进对各种关键应用程序的AI系统的更大接受和信任。神经网络,尤其是深度学习模型,由于能够从大型数据集中学习并捕获复杂的模式,因此在众多应用程序中取得了前所未有的成功。但是,它们的复杂体系结构通常由多个隐藏的层和数百万个参数组成,使它们变得不透明且难以解释。对AI的解释性的需求导致了旨在揭开这些黑盒模型的几种XAI技术的开发[1,2]。
通过人工智能 (AI) 系统实现的各种流程的自动化已经取得了重大进展。最近,无论是通过自我监管和指南等软法,还是通过法律监管(例如欧盟的《通用数据保护条例》(GDPR)或《人工智能条例》),显然这一发展需要伴随措施,以保障受人工智能系统影响的人的基本权利和安全。从这个意义上说,可解释人工智能 (XAI) [ 2 ] 对于设计可信系统至关重要。基于答案集编程的 s(LAW) [ 3 ] 等提案已展示出它们能够利用基于规则的模型来建模价值观并解释其决策原因。但这些解释可能会导致敏感信息的泄露,例如有关性别暴力受害者的详细信息。这可能会侵犯隐私权和保密权,甚至引起法律问题等。虽然可以调整解释以防止泄漏,例如使用 s(CASP) 框架来控制显示和/或隐藏哪些元素 [4],但调整模型需要应用遗忘(变量消除)等技术,以避免在审计期间泄露敏感信息。然而,当前的遗忘技术大多仅应用于命题 ASP 程序,并且它们在处理偶数循环时存在局限性。在这项工作中,我们提出了 𝑓 𝐶𝐴𝑆𝑃,一种支持约束答案集程序中非分层否定存在的新遗忘技术。𝑓 𝐶𝐴𝑆𝑃 基于目标导向的 CASP 推理器 s(CASP) 的对偶规则,因此,我们相信它可以应用于通用 CASP 程序而无需基础。我们通过解决文献中的旗舰案例验证了我们的提议,我们计划在学校名额分配的背景下使用这项技术,同时保护性别暴力受害者的隐私。
在第一篇论文“使用大型语言模型的人工智能体推理综述”中,作者为 XAI 应对快速发展的大型语言模型的可解释性挑战做出了贡献。人工智能体中大型语言模型的日益复杂和使用凸显了研究其推理能力的必要性。作者通过他们的论文旨在了解大型语言模型如何很好地支持对人工智能体有用的各种推理形式。为此,他们使用 PRISMA 和滚雪球法进行了系统的文献综述。他们在 82 篇论文中映射了推理主张和大型语言模型能力。本文的研究结果揭示了推理主张与用于验证它们的测试之间的不匹配,研究存在重大差距,尤其是在道德推理方面。
图1。显着图和GCX解释结果的示例。图1.A显示了应用于AI-ECG的显着性图,在视觉上突出了T波,因为TAVE对AI-ECG的预测特别重要。在ECG痕迹下方的热图,范围从黑色到黄色,表明每个片段的重要性不同,T波标记为至关重要。图1.B引入了生成反事实XAI(GCX)方法,说明了反事实场景中每个主要的ECG特征如何影响AI的预测。与原始的ECG(黑线)相比,蓝线代表负反事实(CF)ECG,突出了T波幅度的增加和峰值T波幅度,QRS复合物的扩大和延长的PR间隔,并且P波平坦的影响AI-ECG的影响力预测结果。
人工智能(AI)在医疗保健中的整合正在彻底改变诊断和治疗程序,提供了前所未有的准确性和效率。然而,由于对信任,透明度和可解释性的关注,许多高级AI模型(通常被描述为“黑匣子”)的不透明度在采用方面造成了挑战,尤其是在像医疗保健这样的高风险环境中。可解释的AI(XAI)通过提供一个框架不仅可以实现高性能,而且还提供了对决策方式的见解,从而解决了这些问题。本研究探讨了XAI技术在医疗保健中的应用,重点是疾病诊断,预测分析和个性化治疗建议等关键领域。该研究将分析各种XAI方法,包括模型 - 现实方法(石灰,外形),可解释的深度学习模型以及XAI的领域特定应用。它还评估了道德意义,例如问责制和偏见缓解,以及XAI如何促进临床医生与AI系统之间的协作。最终,目标是创建既有功能又值得信赖的AI系统,从而促进在医疗保健领域的广泛采用,同时确保患者的道德和安全成果。
本报告的目的是探讨如何(或不能)与法律和道德治理制度集成并嵌入并嵌入法律和道德治理制度,以确保算法决策系统的设计和部署(包括利用AI的设计和部署),将专注于法律义务,将其专注于跨跨跨跨副准则和责任。它的重点是由旨在告知或自动化的输出的组织部署的算法(ADM)系统,该组织可以自动化“决策”,从而导致实质性干预措施,从而实现实质性干预,从而对受影响的人(一个决策”)产生法律或其他重大影响。我们的分析进行的基础是,在实际实践中,ADM系统通常嵌入更大的社会技术系统中,并通过“组织决策系统架构”执行,其成员应遵循其任务和职责。这样的架构通常会识别决策授权的正式链条,通过这些链条进行了执行指定任务和职责的责任。
过去十年,全球对可解释人工智能 (XAI) 的研究不断增加,这导致了许多领域特定方法的开发,用于解释机器学习 (ML) 模型并生成人类可理解的解释 (Abusitta 等人,2024 年;Aria 等人,2021 年)。这种增长在很大程度上是由 ML(尤其是深度学习)在电子商务、医疗保健和金融等各个领域的广泛采用推动的,在这些领域,人工智能系统的透明度至关重要 (Adadi 和 Berrada,2018 年)。XAI 在医疗保健等关键领域尤为重要,它有助于解释 ML 模型以进行疾病预测和诊断,在金融领域,它有助于解释信用评分模型和欺诈检测系统,确保法规遵从性和客户信任 (Whig 等人,2023 年;Bussmann 等人,2021 年)。先前的研究强调了整理跨各个子领域的 AI 可解释性文献的必要性(Burkart 和 Huber,2021 年;Molnar 等人,2020 年;Guidotti 等人,2018 年)。大多数 XAI 方法侧重于解释整个 ML 过程,解释采用规则、数值数据或视觉效果等形式,使用通常从人机交互 (HCI) 中得出的指标进行评估(Aria 等人,2024 年)。在先前努力的基础上,本文对全球 XAI 研究进行了系统、透明且可重复的文献计量综述(Donthu 等人,2021 年)。通过对 Web of Science 数据库中 6,148 篇文献进行系统文献综述 (SLR),本研究使用 Bibliometrix R 软件包 (Aria 和 Cuccurullo,2017),对 XAI 研究的现状、历史演变和未来方向进行了深入分析,包括科学活动趋势、主要出版物、作者贡献和国际合作。
摘要 — 人工智能 (AI) 在社会中发挥着重要作用,包括如何做出至关重要、往往改变生活的决定。因此,近年来,人们对可解释人工智能 (XAI) 的兴趣日益浓厚,它是一种揭示通常被描述为黑匣子中的流程和操作的手段,黑匣子是一个通常不透明的系统,其决策难以被最终用户理解。本文介绍了一个有 20 名参与者(计算机科学和平面设计专业学生)参加的设计思维研讨会的结果,我们试图调查用户在与 AI 系统交互时的心理模型。参与者使用两个角色,被要求同情 AI 驱动的招聘系统的两个最终用户,识别用户体验中的痛点并构思这些痛点的可能解决方案。这些任务用于探索用户对 AI 系统的理解、AI 系统的可理解性以及如何向最终用户解释这些系统的内部工作原理。我们发现,视觉反馈、分析和比较、特征突出显示以及事实、反事实和主要推理解释可用于改善用户对人工智能系统的心理模型。