资金致谢:•PHRMA,ANRF,CU医学院(F.Z.)•NIH/NLM授予T15LM009451(J.Y。)•生物医学信息学系•医学院风湿病学•骨科系
人工智能 (AI) 的发展势头强劲,其对医学和银行业等许多领域未来工作的重要性不断上升。然而,关于人类与人工智能有效合作的见解仍然很少。通常,人工智能通过解决人类的局限性来支持人类决策。然而,它也可能引起人类的偏见,尤其是以自动化偏见的形式出现,即过度依赖人工智能的建议。我们的目标是揭示可解释人工智能 (XAI) 影响自动化偏见的潜力。在这个预测试中,我们推导出一个研究模型并描述了我们的研究设计。随后,我们对酒店评论分类进行了在线实验并讨论了初步结果。我们希望我们的研究能够为安全混合智能系统的设计和开发做出贡献。关键词:自动化偏见、可解释人工智能、人机协作、混合智能。
摘要:本次演讲将全面概述安全攻击以及使用可解释人工智能的检测技术。首先,我将概述各种软件和硬件安全威胁和漏洞。接下来,我将介绍可解释的人工智能算法,以人类可理解的方式解释机器学习行为。我将讨论使用可解释人工智能的最先进的攻击检测方法。我还将介绍如何启用可解释人工智能模型的硬件加速以实现实时漏洞检测。最后,我将讨论机器学习模型的安全威胁,以及设计稳健人工智能模型的有效对策。
摘要 先进的机器学习模型因其出色的性能而被广泛应用于各个领域。然而,它们的复杂性往往使它们难以解释,这可能是高风险决策场景中的一个重大限制,因为可解释性至关重要。在本研究中,我们提出了可解释随机森林 (XRF),它是随机森林模型的一个扩展,它在训练过程中考虑了用户对问题及其特征空间的看法所产生的可解释性约束。虽然已经提出了许多方法来解释机器学习模型,但这些方法通常仅适用于模型训练后。此外,这些方法提供的解释可能包括人类无法理解的特征,这反过来可能会妨碍用户理解模型的推理。我们提出的方法解决了这两个限制。我们系统地将我们提出的方法应用于六个公共基准数据集,并证明 XRF 模型能够平衡模型性能和用户的可解释性约束之间的权衡。
许多机器学习模型对人类来说是不透明的,它们做出的决策过于复杂,人类无法轻易理解。为了应对这种情况,人们创建了可解释的人工智能 (XAI) 工具来分析模型的内部工作原理。尽管这些工具在翻译模型行为方面实力雄厚,但批评人士担心 XAI 工具可能会成为一种“洗白”工具,误导用户相信有偏见或不正确的模型。在本文中,我们创建了一个框架,用于评估可解释的人工智能工具,评估内容包括它们检测和解决偏见和公平问题的能力,以及它们将这些结果清楚地传达给用户的能力。我们发现,尽管许多著名的 XAI 工具能够简化和解释模型行为,但它们缺乏在检测偏见方面可能至关重要的功能。开发人员可以使用我们的框架来建议对他们的工具包进行必要的修改,以减少诸如“洗白”之类的问题。
摘要 — 如今,深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而,深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战,引发了道德和司法问题,导致缺乏信任。可解释人工智能 (XAI) 是人工智能 (AI) 的一个领域,它推广一套工具、技术和算法,可以生成高质量、可解释、直观、人类可理解的 AI 决策解释。除了提供深度学习中当前 XAI 格局的整体视图外,本文还提供了开创性工作的数学摘要。我们首先提出一个分类法,并根据 XAI 技术的解释范围、算法背后的方法论以及解释级别或用途对其进行分类,这有助于构建可信、可解释和不言自明的深度学习模型。然后,我们描述 XAI 研究中使用的主要原理,并介绍 2007 年至 2020 年 XAI 里程碑式研究的历史时间表。在详细解释每类算法和方法之后,我们将评估八种 XAI 算法在图像数据上生成的解释图,讨论这种方法的局限性,并提供改进 XAI 评估的潜在未来方向。
摘要。我们讨论了在可解释人工智能 (XAI) 研究领域中使黑盒模型更易于解释的观点。我们认为,用于训练深度学习 (DL) 模型的传统端到端学习方法不符合 XAI 的宗旨和目标。回到手工特征工程的想法,我们建议对 XAI 采用混合 DL 方法:我们建议使用 DL 自动检测有意义的、手工高级符号特征,而不是采用端到端学习,然后将其用于标准且更易于解释的学习模型。我们基于最近提出的 Kandinsky 模式基准,在概念验证中举例说明了这种混合学习模型,该模型通过使用逻辑张量网络和可解释规则集合,专注于管道的符号学习部分。在证明所提出的方法能够提供高度准确且可解释的模型之后,我们将讨论潜在的实施问题和可以探索的未来方向。
监管机构关注的一个领域和组织面临的一个问题是人工智能 (AI) 系统需要提高透明度和“可解释性”。因此,一系列学术、行业和政府举措旨在为新的法律要求提供实际背景,并帮助组织反驳有关人工智能系统不透明或充当“黑匣子”的指控。其中最新的一项是英国信息专员办公室 (ICO) 和艾伦图灵研究所合作开展的 Project explAIn 指南,该指南在行业咨询后于 2020 年 5 月发布。这旨在以符合法律要求以及技术和治理最佳实践的方式提供有关解释人工智能系统所做决策的实用建议。在这里,我们考虑了英国现有的一些可解释性法律要求,并探讨了该指南的主要要点。