在第一篇论文“使用大型语言模型的人工智能体推理综述”中,作者为 XAI 应对快速发展的大型语言模型的可解释性挑战做出了贡献。人工智能体中大型语言模型的日益复杂和使用凸显了研究其推理能力的必要性。作者通过他们的论文旨在了解大型语言模型如何很好地支持对人工智能体有用的各种推理形式。为此,他们使用 PRISMA 和滚雪球法进行了系统的文献综述。他们在 82 篇论文中映射了推理主张和大型语言模型能力。本文的研究结果揭示了推理主张与用于验证它们的测试之间的不匹配,研究存在重大差距,尤其是在道德推理方面。
认知科学关于人们如何理解解释的见解对于开发可解释人工智能 (XAI) 中以用户为中心的稳健解释颇具指导意义。我调查了人们在构建解释和从中做出推断时表现出的主要倾向,这些倾向与为人工智能系统提供决策自动解释有关。我首先回顾了人们在构建解释时表现出的一些倾向的实验发现,包括解释深度错觉、直觉解释与反思解释以及解释立场的证据。然后,我考虑了人们如何推理因果解释的发现,包括推理抑制、因果折扣和解释简单性的证据。我认为,XAI 努力的核心是要求人工智能系统提供的自动解释应该对人类用户有意义。
摘要 — 最近,人工智能和机器学习在从图像处理到自然语言处理等许多任务中都表现出色,尤其是深度学习 (DL) 的出现。随着研究的进展,它们已经侵入许多不同的领域和学科。其中一些领域需要高度的责任感和透明度,例如医疗部门。因此需要对机器决策和预测进行解释以证明其可靠性。这需要更高的可解释性,这通常意味着我们需要了解算法背后的机制。不幸的是,DL 的黑箱性质仍未解决,许多机器决策仍然不太理解。我们回顾了不同研究工作提出的可解释性并对其进行了分类。不同的类别展示了可解释性研究的不同维度,从提供“明显”可解释信息的方法到复杂模式的研究。通过将相同的分类应用于医学研究中的可解释性,希望:1) 临床医生和从业者随后可以谨慎对待这些方法; 2)随着对医疗实践的更多考虑,对可解释性的洞察将随之产生;3)鼓励推动基于数据、数学和技术的医学教育。
本文借助图像分类示例研究了深度学习 (DL) 训练算法的不确定性及其对神经网络 (NN) 模型可解释性的影响。为了讨论这个问题,我们训练了两个卷积神经网络 (CNN) 并比较了它们的结果。比较有助于探索在实践中创建确定性、稳健的 DL 模型和确定性可解释人工智能 (XAI) 的可行性。本文详细描述了所有努力的成功和局限性。本文列出了所获得的确定性模型的源代码。可重复性被列为模型治理框架的开发阶段组成部分,该框架由欧盟在其 AI 卓越方法中提出。此外,可重复性是建立因果关系以解释模型结果和建立信任以应对 AI 系统应用的迅猛扩展的必要条件。本文研究了在实现可重复性的过程中必须解决的问题以及处理其中一些问题的方法。
摘要 — 人工智能 (AI) 模型的黑箱性质不允许用户理解甚至信任此类模型创建的输出。在 AI 应用中,不仅结果而且结果的决策路径都至关重要,这种黑箱 AI 模型是不够的。可解释人工智能 (XAI) 解决了这个问题,并定义了一组可由用户解释的 AI 模型。最近,许多 XAI 模型已经解决了医疗、军事、能源、金融和工业等各个应用领域中黑箱模型缺乏可解释性和可解释性的问题。虽然 XAI 的概念最近引起了广泛关注,但它与物联网领域的集成尚未完全定义。在本文中,我们对最近在物联网领域使用 XAI 模型的研究进行了深入而系统的回顾。我们根据方法论和应用领域对研究进行分类。此外,我们旨在关注具有挑战性的问题和未解决问题,并给出未来的方向,以指导开发人员和研究人员进行未来的调查。
邮寄地址:荷兰乌得勒支大学医学中心乌得勒支大学图像科学研究所,Q.02.4.45,邮政信箱 85500,3508 GA 乌得勒支
最近,包括 Weld 和 Bansal (2018) 177 在内的多位 HCI 社区成员都认为,对话式解释系统是实现可解释的人机交互的最佳途径。这一建议通常没有支持论据,因此我们着手撰写这篇论文,以阐明对话式可解释人工智能 (XAI) 系统背后的呼声。首先,我们调查了有关人工智能系统对解释的需求以及模型提供解释的能力的研究。其次,我们提出了一系列解释和理解这些解释的障碍,并通过借鉴人机交互、机器学习、认知科学和教育理论的几项研究结果来解释这些障碍。最后,我们考虑到这些障碍来论证对话式解释系统,并提出了一个绿野仙踪 (WoZ) 实验来检验我们的一些假设。