AI近年来已经变得普遍,但最先进的方法主要忽略了对AI系统的必要性。相反,AI指南提倡可竞争性(例如由OECD)和对统计决策的监管(例如gdpr)。在这个位置,我们探讨了如何在AI中和AI中实现竞争性。We argue that contestable AI re- quires dynamic (human-machine and/or machine-machine) explainability and decision-making processes, whereby ma- chines can 1. interact with humans and/or other machines to progressively explain their outputs and/or their reasoning as well as assess grounds for contestation provided by these hu- mans and/or other machines, and 2. revise their decision– making processes to redress any issues successfully raised during比赛。鉴于当前的许多AI土地层是针对静态AIS量身定制的,因此可容纳可配合的需求的需求将需要激进的重新思考,我们认为,计算论证理想地适合支持。
随着人工智能 (AI) 变得越来越普遍,监管机构越来越需要为此类系统做出的决策提供解释。然而,执行有意义的解释权的需求与机器学习系统满足此类法律要求的能力之间存在着持续的差距。监管机构对人工智能系统“解释权”的呼吁可以归因于解释在法律中的重要作用,解释是“理由给出”概念的一部分。因此,在本文中,我们研究了法律中理由给出的目的,以分析最终用户可解释性提供的理由是否能够充分满足这些目的。我们发现,理由给出的法律目的包括:(a) 做出更好、更公正的决策,(b) 促进正当程序,(c) 验证人类代理,以及 (d) 增强决策者的权威。使用这种方法,我们证明了终端用户可解释性不足以履行法律中的理由赋予职能,因为理由赋予职能依赖于其对人类决策者的影响。因此,终端用户可解释性未能或不适合履行第一、第二和第三个法律职能。相比之下,我们发现终端用户可解释性在第四个职能上表现出色,考虑到最近的终端用户可解释性研究趋势、大型语言模型的能力以及人类和机器操纵终端用户的能力,这一品质带来了严重风险。因此,我们认为在某些情况下,人工智能系统的解释权可能会给终端用户带来更多的伤害而不是好处。因此,这项研究具有一些重要的政策影响,因为它呼吁监管者和机器学习从业者重新考虑对终端用户可解释性和人工智能系统解释权的广泛追求。
连接预测、可解释性和行动 与仅提供预测的传统 AI 系统不同,Menhir AI 的平台采用三步方法:预测性 AI 模型、通过 Menhir xAI 集成的可解释性,以及自动触发业务流程的基于行动的输出,例如发送短信、电子邮件或启动工作流。这个全周期系统确保组织不仅可以获得洞察,还可以立即采取行动——无论是吸引客户、管理风险还是优化运营。
这就是 XAI 发挥作用的地方。XAI 是一个新兴领域,它提供克服算法和 ML 模型偏见并生成标准人类解释的技术。XAI 突出的主要原因是建立信任并在早期阶段检测偏见以消除它们。人工智能的可解释性是为了确保人工智能模型的适应性和可解释性,这些模型进一步融入了上下文推理。对 XAI 进行分类的方法有很多种,从方法对不同模型的适用性到解释的范围。一种较新的方法是在已部署的 ML 模型中添加一层可解释性。这称为事后方法,其中首先进行预测,然后添加一层可解释性以进行推理。但是,如果出现问题,就会出现问责问题。在这种情况下,就会出现谁应该负责的问题:构建机器学习模型的团队,还是构建可解释性模型的团队。这是
论证和可解释人工智能 (XAI) 密切相关,因为近年来,论证已用于为人工智能提供可解释性。论证可以逐步展示人工智能系统如何做出决策;它可以对不确定性提供推理,并在面临冲突信息时找到解决方案。在这篇综述中,我们通过回顾所有重要的方法和研究,以及使用论证为人工智能提供可解释性的实现,详细阐述了论证和 XAI 相结合的主题。更具体地说,我们展示了论证如何为解决决策、意见论证和对话中的各种问题提供可解释性。随后,我们详细阐述了论证如何帮助在各种应用领域构建可解释系统,例如医学信息学、法律、语义网、安全、机器人技术和一些通用系统。最后,我们提出了将机器学习和论证理论相结合的方法,以建立更具解释性的预测模型。
近年来,人工智能决策的可解释性问题引起了广泛关注。在考虑人工智能诊断时,我们建议将可解释性解释为“有效的可争议性”。从以患者为中心的角度来看,我们认为患者应该能够对人工智能诊断系统的诊断提出异议,而对人工智能诊断中与患者相关的方面进行有效质疑需要获得不同类型的信息,这些信息包括:1)人工智能系统对数据的使用,2)系统的潜在偏见,3)系统性能,以及 4)系统与医疗专业人员之间的分工。我们论证并定义了“可争议性”所要求的十三个具体信息。我们进一步表明,可争议性不仅比一些提出的可解释性标准要求更弱,而且它不会为人工智能和医疗专业人员的诊断引入毫无根据的双重标准,也不会以牺牲人工智能系统性能为代价。最后,我们简要讨论一下这里介绍的可争议性要求是否是特定于领域的。
透明度和可解释性 了解人工智能的工作原理及其决策原因。示例:贷款申请算法 – 您应该了解您的贷款被拒绝的原因,而不仅仅是收到通用的“拒绝”消息(透明度)。原因可以解释为“收入不足”或“不良信用记录”(可解释性)。公平与偏见 不会根据您的身份而受到不公平对待,并且没有偏见。示例:面部识别技术 – 人工智能不应根据肤色或其他个人特征错误识别人(公平性)。它应该准确且不偏不倚(公平性)。
摘要。可解释人工智能 (XAI) 正在迅速成为一个新兴且快速增长的研究领域;然而,尽管 XAI 可以为人工智能在该行业的应用带来潜力,但它在医疗保健领域的应用仍处于早期阶段。仍有许多挑战有待解决,包括制定解释标准、不同利益相关者与模型之间的互动程度、质量和性能指标的实施、安全和问责标准的一致意见、将其集成到临床工作流程和 IT 基础设施中。本文有两个目标。第一个是介绍文献调查的总结结果,并强调可解释性的最新进展,包括 XAI 在医疗保健行业的差距、挑战和机遇。为了更容易理解和加入这个研究领域,我们建议采用综合分类法对可解释性方法进行分类。第二个目标是问一个问题,即通过特定的问题/领域视角,应用一种新的方式来看待可解释性问题空间,并以与 AutoML 类似的方式自动化该方法,是否有助于缓解上述挑战。在文献中,人们倾向于从模型优先的角度来看待人工智能的可解释性,这将具体的问题和领域放在一边。例如,患者生存模型的可解释性与解释医院费用程序计算相同。有了明确确定的 XAI 应该应用的问题/领域,范围就很明确,使我们能够(半)自动地找到合适的模型,优化它们的参数及其解释、指标、利益相关者、安全/问责水平,并提出将它们整合到临床工作流程中的方法。
深度学习方法在原始脑电图(EEG)数据中的应用越来越普遍。这些方法提供了相对于手动设计功能的其他方法提高性能的可能性,但它们也提出了可解释性降低的问题。因此,许多研究试图提供与基于深度学习的RAW EEG分类领域的独特性解释性方法。在这项研究中,我们提供了这些方法的分类法,确定了提供有关空间,光谱和时间特征的见解的现有方法。然后,我们提出了一个新的框架,该框架由一系列解释性方法组成,以了解对经过原始脑电图数据培训的分类器的洞察力。我们的框架提供了类似于现有方法的空间,光谱和时间解释。,据我们所知,它还提出了第一种解释性方法,以洞悉脑电图中的空间和时空相互作用。鉴于脑电图和神经精神疾病分析的频繁使用和特征的重要性,这一点尤其重要。我们在自动化的重度抑郁症(MDD)诊断的背景下演示了我们提出的框架,培训在公开可用的数据集中采用强大的交叉验证方法训练高性能的一维卷积神经网络。我们确定了中央电极与其他电极之间的相互作用,并确定健康对照组和MDD个体之间额叶θ,β和γ的差异。我们的研究代表了基于深度学习的RAW EEG分类领域的重要一步,从而在互动性上提供了新的功能,并通过我们建议的分类法为未来的创新提供了方向。
