在我们的工作中,我们想强调模型可解释性的重要性。我们不仅将其理解为在输入或算法参数发生变化的情况下预测模型输出将发生什么的能力,而且将其理解为业务领域——将算法参数对建模现象的影响联系起来。我们认为可解释性和可解释性的评估应定义为业务流程的一部分,并集成到组织的过程图中。我们建议对跨行业数据挖掘标准流程 (CRISP DM) 进行适当修改,并将其作为子流程。我们指出了为 AI 提供信任的正式方法,即所谓的事后可解释性方法,并根据经济决策用例对其中一种方法进行了评估。
1,2技术科学学院 - Sebha 3高级技术工程研究所 - Sebha摘要:随着人工智能(AI)继续推动各个领域的进步,AI模型中对解释性的需求变得越来越重要。许多最先进的机器学习模型,尤其是深度学习体系结构,都是“黑匣子”,使他们的决策过程难以解释。可解释的AI(XAI)旨在提高模型透明度,确保AI驱动的决策是可以理解的,可信赖的,并且与道德和监管标准保持一致。本文探讨了AI解释性的不同方法,包括本质上可解释的模型,例如决策树和逻辑回归,以及诸如Shap(Shapley添加说明)和Lime(局部可解释的模型 - 敏捷的解释)之类的事后方法。此外,我们讨论了解释性的挑战,包括准确性和可解释性之间的权衡,可伸缩性问题以及特定领域的要求。本文还重点介绍了XAI在医疗保健,金融和自治系统中的现实应用。最后,我们研究了未来的研究方向,强调了混合模型,因果解释性和人类协作。通过培养更容易解释的AI系统,我们可以增强数据科学应用程序中的信任,公平性和问责制。关键字:可解释的AI(XAI),可解释性,机器学习,黑盒模型,模型透明度,摇摆,石灰,道德AI,可信赖的AI,事后解释性,偏置缓解性,调节性,监管合规性,人类 - ai相互作用。
摘要 — 随着机器学习在工业和科学领域得到更广泛和高度成功的应用,对可解释人工智能的需求日益增长。因此,可解释性和解释方法正受到越来越多的关注,以便更好地理解非线性机器学习(特别是深度神经网络)的解决问题的能力和策略。在这项工作中,我们的目标是 (1) 及时概述这一活跃的新兴领域,重点关注“事后”解释,并解释其理论基础;(2) 使用大量模拟从理论和比较评估的角度对可解释性算法进行测试;(3) 概述最佳实践方面,即如何最好地将解释方法纳入机器学习的标准使用中;(4) 在具有代表性的应用场景中展示可解释人工智能的成功使用。最后,我们讨论了这一令人兴奋的机器学习基础领域面临的挑战和未来可能的方向。
● 泛化:对未知数据和新类型虚假信息的错误率更高 ● 对新数据的鲁棒性:特定于平台的格式、API、元数据 ● 多模式和跨模式检测(例如脱离上下文) ● 高水平的透明度,包括可解释性和可解释性
首先,以受邀演讲、投稿论文和参与结构化讨论的形式,解决表征对齐的问题以及机器学习可解释性和安全性领域的相关问题,这些问题都是 ICLR 和其他机器学习会议持续关注的问题。这些问题源于以下中心主题:智能系统何时以及为何学习对齐的表示,以及科学家和工程师如何干预这种对齐?例如,由于大型模型在各个行业和科学领域的使用增加(例如,Gemini Team Google,2023 年;OpenAI,2023 年),该领域需要找到更好地解释和最终理解这些系统的方法。模型可解释性与这些系统形成的表示紧密相关(参见 Doshi-Velez 和 Kim,2017 年;Sucholutsky 等人,2023 年;Lampinen 等人,2024 年;Muttenthaler 等人,2024 年)。因此,更好地理解表示及其与参考系统(通常是人类目标)的一致性,反过来会促进模型的可解释性和可解释性。另一组问题集中于表示学习与计算神经科学和认知科学之间的联系。这些领域已经相对独立地开发了评估和增强人工智能与人类智能系统在神经和行为层面的一致性的方法(Collins 等人,2024 年;Muttenthaler 等人,2024 年;Dorszewski 等人,2024 年;Bonnen 等人,2024 年;Sundaram 等人,2024 年)。我们的研讨会旨在就确定衡量和增强人工智能与人类智能系统一致性的最有用方法展开公开讨论。
采用 AI 应用程序的一个关键要素是算法的可解释性、过度拟合和可重复性。具体而言,AI 模型受到可解释性或黑盒限制的影响,因为它们依赖于复杂的非线性、多维决策边界。这些模型还存在过度拟合的问题,可以识别医学图像中完全不相关的强目标相关伪影,导致泛化能力差。因此,得出误导性预测的可能成本反而非常高昂且耗时。因此,必须使用最先进的技术来识别 AI 模型中的任何这些问题。例如,激活图(也称为加热图)显示了模型在使用亮度进行预测时关注的内容。因此,它可以突出显示每个预测的关注领域,这可能有助于人类理解 AI 模型用于得出结果的过程。
摘要 机器学习模型的可解释性越来越受到人工智能 (AI) 和人机交互 (HCI) 社区研究人员的关注。现有的大多数工作都侧重于决策,而我们考虑知识发现。具体来说,我们专注于评估人工智能在艺术和人文学科中发现的知识 / 规则。从特定场景出发,我们提出了一种实验程序来收集和评估人类对人工智能生成的音乐理论 / 规则的口头解释,这些解释呈现为复杂的符号 / 数字对象。我们的目标是揭示在解码来自人工智能源的表达性信息的过程中存在的可能性和挑战。我们将此视为迈向 1) 更好地设计人类可解释的人工智能表示和 2) 评估人工智能发现的知识表示的可解释性的通用方法的第一步。
用人工智能(AI)摘要影响了诸如面部验证之类的敏感应用的决策过程,以确保决策的透明度,公平性和责任感是很有趣的。尽管存在可解释的人工智能(XAI)技术来澄清AI的决策,但向人类表达这些决定的解释同样重要。在本文中,我们提出了一种结合计算机和人类视野的方法,以提高解释对面部验证的解释性。特别是我们受到人类感知攻击的启发,以了解机器在面部比较任务中如何感知到面对面的人类语义。我们使用MediaPipe,它提供了一种分割技术,该技术可以识别不同的人类语义式区域,从而实现了机器的感知分析。补充说,我们改编了两种模型不足的算法,以对决策过程提供可解释的见解。
AI提供了一个强大的DTE工具包,但需要解决某些限制。AI模型的准确性在很大程度上取决于培训数据的质量和数量。需要进一步的研究来创建特定于DTE的大型,标准化的数据集,包括多样化的患者人群和生物材料特征。此外,随着AI更加集成到临床工作流程中,需要解决有关患者数据隐私和AI预测的解释性的道德考虑。将AI整合到DTE中具有改变口服再生场的巨大潜力。通过克服生物材料设计,细胞行为预测和治疗个性化的当前局限性,AI为未来铺平了道路,使患者可以通过个性化的DTE治疗体验新的功能恢复和改善的生活质量。持续的研发工作集中在数据获取,道德考虑和AI模型的解释性上,对于实现DTE中这种强大技术的全部潜力至关重要。
大脑是我们迄今为止所知的最智能的系统。显然,现有的深度学习系统在效率、可解释性、记忆力和鲁棒性等许多重要方面仍远远落后于人脑。例如,要将大型语言模型训练到实用的程度,需要提供巨大的存储空间和相当大的功率。相比之下,人脑通过管理数十亿个神经元并以极低的功率协调数万亿个连接,实现了其令人难以置信的壮举(