现有可解释人工智能 (XAI) 算法的边界局限于基于技术用户对可解释性需求的问题。这种研究范式不成比例地忽略了更大的非技术最终用户群体,而他们对人工智能解释的需求要高得多,原因多种多样,例如做出更安全、更好的决策以及改善用户的预测结果。缺乏以可解释性为重点的最终用户功能支持可能会妨碍人工智能在医疗保健、刑事司法、金融和自动驾驶系统等高风险领域安全和负责任地使用。基于先前对最终用户对 XAI 需求的人为因素分析,我们确定并建模了四个新颖的 XAI 技术问题,涵盖了从设计到 XAI 算法评估的整个范围,包括基于边缘案例的推理、可定制的反事实解释、可折叠决策树和评估 XAI 效用的可验证性指标。基于这些新发现的研究问题,我们还讨论了以用户为中心的 XAI 技术开发中的未解决的问题,以启发未来的研究。我们的工作将以人为中心的 XAI 与技术 XAI 社区联系起来,并呼吁在以用户为中心的 XAI 技术开发方面建立一种新的研究范式,以便在关键任务中负责任地使用 AI。
机器学习的最新进展导致人们对可解释人工智能(xAI)的兴趣日益浓厚,它使人类能够洞察机器学习模型的决策。尽管最近人们对 xAI 技术产生了浓厚的兴趣,但它在人机协作中的实用性尚未得到体现。重要的是,xAI 有望增强团队态势感知(SA)和共享心理模型开发,这是有效人机团队的关键特征。快速开发这种心理模型对于临时的人机协作尤为重要,因为在这种协作中,代理并不事先了解其他人的决策策略。在本文中,我们提出了两个新颖的以人为主体的实验,量化了在人机协作场景中部署 xAI 技术的好处。首先,我们表明 xAI 技术可以支持 SA(p < 0.05)。其次,我们研究通过协作 AI 策略抽象诱导的不同 SA 级别如何影响临时的人机协作性能。重要的是,我们发现 xAI 的好处并不是普遍的,因为它在很大程度上依赖于人机团队的组成。新手受益于 xAI 提供的更高 SA(p < 0.05),但容易受到认知开销的影响(p < 0.05)。另一方面,随着基于 xAI 的支持的增加,专家的表现会下降(p < 0.05),这表明关注 xAI 的成本超过了通过提供额外信息来增强 SA 所获得的好处。我们的结果表明,研究人员必须通过仔细考虑人机团队组成以及 xAI 方法如何增强 SA,在正确的场景中精心设计和部署正确的 xAI 技术。
摘要:自动驾驶的最新进展伴随着损害自动驾驶汽车网络(AVS)的网络安全问题,激发了使用AI模型来检测这些网络上的异常情况。在这种情况下,用于解释这些异常检测AI模型的行为的可解释AI(XAI)的用法至关重要。这项工作介绍了一个综合框架,以评估AVS内的黑框XAI技术,以促进对全球和局部XAI方法的检查,以阐明XAI技术的决定,以解释AI模型对异常AV行为进行分类的AI模型的行为。通过考虑六个评估指标(描述性准确性,稀疏性,稳定性,效率,稳健性和完整性),该框架评估了两种众所周知的黑盒XAI技术,摇滚和石灰,涉及应用XAI技术,以应用XAI技术来确定对隔离式跨度的重要跨度的自动范围,并确定主要的分类,并跨越了六个驱动器。 Veremi和传感器。这项研究推进了在自主驾驶系统中用于现实世界异常检测的黑盒XAI方法的部署,从而有价值的见解对此关键领域内当前的Black-Box XAI方法的优势和局限性有了宝贵的见解。
摘要。人工智能 (AI) 为组织提供了前所未有的机遇。然而,使用 AI 的风险之一是其结果和内部运作不可理解。在信任至关重要的行业(例如医疗保健和金融)中,可解释的 AI (XAI) 是必需的。但是,XAI 的实施并不简单,因为它需要解决技术和社会两个方面的问题。以前对 XAI 的研究主要侧重于技术或社会方面,缺乏实用视角。本研究旨在实证检验 AI 系统开发人员、用户和管理者在 AI 系统开发过程中面临的 XAI 相关方面。为此,在两家荷兰金融服务公司中使用四个用例进行了多案例研究。我们的研究结果揭示了在实施 XAI 期间必须考虑的广泛方面,我们将其分组并集成到概念模型中。该模型可帮助从业者在开发 XAI 时做出明智的决策。我们认为,需要考虑的方面多种多样,因此需要采用 XAI“设计”方法,尤其是在金融、公共服务和医疗保健等高风险行业的高风险用例中。因此,概念模型为与 XAI 相关的方法、技术和工具的方法工程提供了分类法。
摘要 人们对可解释人工智能 (XAI) 的兴趣高涨,导致了大量关于该主题的算法工作的出现。虽然许多人认识到在人工智能系统中加入可解释性特征的必要性,但如何满足现实世界用户对理解人工智能的需求仍然是一个悬而未决的问题。通过采访 20 位从事各种人工智能产品的用户体验和设计从业者,我们试图找出当前 XAI 算法工作与创建可解释人工智能产品的实践之间的差距。为此,我们开发了一个算法驱动的 XAI 问题库,其中用户对可解释性的需求以用户可能会问到的有关人工智能的典型问题的形式表示出来,并将其用作研究探针。我们的工作为 XAI 的设计空间提供了见解,为支持该领域的设计实践的努力提供了信息,并确定了未来 XAI 工作的机会。我们还提供了一个扩展的 XAI 问题库,并讨论了如何使用它来创建以用户为中心的 XAI。
摘要 人们对可解释人工智能 (XAI) 的兴趣激增,导致了大量关于该主题的算法工作。虽然许多人认识到在人工智能系统中加入可解释性特征的必要性,但如何满足现实世界用户对理解人工智能的需求仍然是一个悬而未决的问题。通过采访 20 名从事各种人工智能产品的用户体验和设计从业者,我们试图找出当前 XAI 算法工作与创建可解释人工智能产品的实践之间的差距。为此,我们开发了一个基于算法的 XAI 问题库,其中用户对可解释性的需求以用户可能会问到的关于人工智能的典型问题的形式表示出来,并将其用作研究探索。我们的工作为 XAI 的设计空间提供了见解,为支持该领域的设计实践的努力提供了信息,并确定了未来 XAI 工作的机会。我们还提供了扩展的 XAI 问题库,并讨论了如何使用它来创建以用户为中心的 XAI。
可解释人工智能 (XAI) 最近已成为一个非常活跃的领域,这主要是由于神经网络等黑箱模型的广泛发展。最新技术定义了最近的 XAI 目标,并提出了具体方法。在 XAI 和其他领域之间可以找到隐式链接,尤其是与知识和神经网络相关的领域。我们在此旨在强调这些隐式链接。我们对两个领域的研究工作进行了叙述性回顾:(i)知识领域,重点关注知识发现和表示,以及(ii)表示学习。我们讨论了这些领域与 XAI 之间的相似性和连接点。我们得出结论,为了使黑匣子更加透明,XAI 方法应该受到更多启发,并利用知识和表示学习领域的过去和最近的工作。通过本文,我们为多学科研究人员和人工智能专家以及人工智能知识渊博的用户提供了 XAI 领域的切入点。
人工智能 (AI) 和机器学习 (ML) 正迅速普及,影响着全球所有人的生活。为了让原本“黑匣子”的 AI/ML 系统更易于理解,可解释人工智能 (XAI) 领域应运而生,其目标是开发算法、工具包、框架和其他技术,使人们能够理解、信任和管理 AI 系统。然而,尽管 XAI 是一个快速发展的研究领域,但大部分工作都集中在全球北方的背景下,对于 XAI 技术是否或如何在全球南方社区进行设计、部署或测试,人们知之甚少。这种差距令人担忧,尤其是考虑到政府、公司和学术界对使用 AI/ML “解决”全球南方问题的热情日益高涨。我们的论文首次系统地回顾了全球南方的 XAI 研究,为该领域的新兴工作提供了初步的了解。我们从 15 个不同的会场中确定了 16 篇论文,这些论文针对广泛的应用领域。所有论文均在过去三年内发表。在这 16 篇论文中,有 13 篇专注于应用技术 XAI 方法,所有这些方法都涉及使用(至少一些)本地数据。但是,只有三篇论文与人类合作或让人类参与工作,只有一篇尝试向目标用户部署他们的 XAI 系统。最后,我们反思了全球南方 XAI 研究的现状,讨论了在这些地区构建和部署 XAI 系统的数据和模型考虑因素,并强调了全球南方需要以人为本的 XAI 方法。
人工智能 (AI) 和机器学习 (ML) 正迅速普及,影响着全球所有人的生活。为了让原本“黑匣子”的 AI/ML 系统更容易理解,可解释人工智能 (XAI) 领域应运而生,其目标是开发算法、工具包、框架和其他技术,使人们能够理解、信任和管理 AI 系统。然而,尽管 XAI 是一个快速发展的研究领域,但大部分工作都集中在全球北方的背景下,人们对 XAI 技术是否或如何在全球南方的社区中进行设计、部署或测试知之甚少。这一差距令人担忧,尤其是考虑到政府、公司和学术界对使用 AI/ML 解决全球南方问题的热情日益高涨。我们的论文首次系统性地回顾了全球南方的 XAI 研究,为该领域的新兴工作提供了初步了解。我们从 15 个不同的场所确定了 16 篇论文,这些论文针对广泛的应用领域。所有论文均在过去三年内发表。在 16 篇论文中,有 13 篇侧重于应用技术 XAI 方法,所有这些方法都涉及使用(至少部分)本地数据。但是,只有三篇论文涉及或涉及人类参与工作,只有一篇尝试向目标用户部署他们的 XAI 系统。最后,我们反思了全球南方 XAI 研究的现状,讨论了在这些地区构建和部署 XAI 系统的数据和模型考虑因素,并强调了全球南方 XAI 需要以人为本的方法。
摘要。欧盟提出了《人工智能法案》,其中引入了人工智能系统透明度的详细要求。这些要求中的许多可以通过可解释人工智能 (XAI) 领域来解决,但是,在透明度方面,XAI 和该法案之间存在根本区别。该法案将透明度视为支持更广泛价值观的一种手段,例如问责制、人权和可持续创新。相比之下,XAI 将透明度狭隘地视为其本身的目的,专注于解释复杂的算法属性而不考虑社会技术背景。我们将这种差异称为“透明度差距”。如果不能解决透明度差距,XAI 可能会遗留一系列未解决的透明度问题。为了开始弥合这一差距,我们概述并澄清了 XAI 和欧洲法规(该法案和相关的通用数据保护条例 (GDPR))如何看待透明度的基本定义的术语。通过比较 XAI 和法规的不同观点,我们得出了实际工作可以弥合透明度差距的四个轴心:定义透明度的范围、澄清 XAI 的法律地位、解决一致性评估问题以及为数据集建立可解释性。