摘要 先进的机器学习模型因其出色的性能而被广泛应用于各个领域。然而,它们的复杂性往往使它们难以解释,这可能是高风险决策场景中的一个重大限制,因为可解释性至关重要。在本研究中,我们提出了可解释随机森林 (XRF),它是随机森林模型的一个扩展,它在训练过程中考虑了用户对问题及其特征空间的看法所产生的可解释性约束。虽然已经提出了许多方法来解释机器学习模型,但这些方法通常仅适用于模型训练后。此外,这些方法提供的解释可能包括人类无法理解的特征,这反过来可能会妨碍用户理解模型的推理。我们提出的方法解决了这两个限制。我们系统地将我们提出的方法应用于六个公共基准数据集,并证明 XRF 模型能够平衡模型性能和用户的可解释性约束之间的权衡。
摘要 智能代理必须能够传达意图并解释其决策过程,以建立信任、培养信心并改善人机团队动态。认识到这一需求,学术界和工业界正在迅速提出新的想法、方法和框架,以帮助设计更可解释的人工智能。然而,仍然没有标准化的指标或实验协议来对新方法进行基准测试,研究人员只能依靠自己的直觉或临时方法来评估新概念。在这项工作中,我们提出了第一个全面的(n=286)用户研究,测试了可解释机器学习的广泛方法,包括特征重要性、概率分数、决策树、反事实推理、自然语言解释和基于案例的推理,以及没有解释的基线条件。我们提供了可解释性对人机团队影响的第一个大规模实证证据。我们的研究结果将通过强调反事实解释的好处和可解释性置信度得分的缺点,帮助指导可解释性研究的未来。我们还提出了一种新颖的问卷,用于衡量人类参与者的可解释性,该问卷受到相关先前工作的启发,并与人机协作指标相关联。
摘要 许多人工智能 (AI) 应用都涉及机器学习的使用,机器学习不断发展并解决越来越复杂的任务。同时,概念建模通常应用于此类现实世界任务,以便可以在适当的细节级别对其进行抽象,以捕获和表示开发有用的信息系统以支持应用程序的要求。在这项研究中,我们开发了一个框架,通过使用概念模型从应用程序的人类心理模型发展到机器学习模型。基于该框架,我们开发了一种新颖的概念叠加方法,以提高机器学习模型的可解释性。我们通过将机器学习应用于《住房抵押贷款披露法》数据库中的公开数据来说明该方法,该数据库包含在美国收集的 2020 年抵押贷款申请数据。机器学习任务是预测抵押贷款是否获得批准。结果显示,通过以代表心理模型的概念模型的形式包含领域知识,而不是仅仅依靠算法,可以提高机器学习应用程序的可解释性。初步结果表明,包含此类知识有助于推进可解释性问题。
可解释性是文本分类在许多应用领域(从情绪分析到医学诊断或法律审查)的关键要求。现有方法通常依靠“注意力”机制来解释分类结果,方法是估计输入单元的相对重要性。然而,最近的研究表明,这种机制往往会在解释中错误识别不相关的输入单元。在这项工作中,我们提出了一种人机混合方法,将人类原理纳入基于注意力的文本分类模型,以提高分类结果的可解释性。具体来说,我们要求工人通过选择相关的文本片段来提供注释的理由。我们引入了 MARTA,这是一个贝叶斯框架,它共同学习基于注意力的模型和工人的可靠性,同时将人类原理注入模型训练中。我们推导出一种基于变分推理的原则性优化算法,该算法具有用于学习 MARTA 参数的有效更新规则。对真实数据集的广泛验证表明,我们的框架在分类可解释性和准确性方面都显著提高了最先进的水平。
摘要 - 在本文中,我们提出了基于特征的解释性(COFEX)方法来解释机器人决策提供的提供:(1)对比的示例,这些示例幻想了替代性示例的决定,(2)在做出Algorith的范围内,该方法允许Algorith的范围,该范围是在实现后的,(2),该方法是允许Algorith的范围,该范围允许Algorith,该范围是为了范围,该范围允许Algorith,该范围是(3)。产生的解释可提供更多细节,而不仅仅是目标之间的权衡。机器人动作的解释性对于用户了解,信任和管理机器人系统很重要。尽管有一些现有的机器人解释方法,但它们要么是无关的,要么依赖于限制决策算法复杂性的简单模型,要么出于因果原因而使用高级权衡取舍,而这些原因没有提供详细的解释。为了允许我们的解释方法与广泛的决策算法一起使用,我们使用语义特征的共享语言进行人类与机器人之间的交流。然后,我们选择最佳因果原因,该原因是制定决策,使算法选择的示例除了其他考虑的示例之外。最后,我们选择了一个最能说明因果原因的对比示例。
摘要背景:人们普遍担心在医疗保健等敏感环境中使用黑盒建模方法。尽管性能有所提升且备受炒作,但这些问题阻碍了人工智能 (AI) 的普及。人们认为可解释的人工智能有助于缓解这些担忧。但是,现有的可解释定义并未为这项工作奠定坚实的基础。方法:我们批评了最近关于以下文献的评论:团队中人工智能的代理;心理模型,尤其是它们应用于医疗保健时,以及它们引出的实际方面;以及现有和当前的可解释性定义,尤其是从人工智能研究人员的角度来看。在此文献的基础上,我们创建了可解释的新定义和支持术语,提供了可以客观评估的定义。最后,我们将可解释的新定义应用于三个现有模型,展示了它如何应用于先前的研究,并为基于此定义的未来研究提供指导。结果:现有的解释定义以全球适用性为前提,并未解决“谁可以理解?”的问题。如果将人工智能视为团队成员,那么引出心理模型可以比作创建可解释的人工智能。在此基础上,我们根据模型的背景来定义可解释性,包括模型和解释的目的、受众和语言。作为示例,此定义应用于手术室团队中的回归模型、神经网络和人类心理模型。结论:现有的解释定义在确保解决实际应用问题方面存在局限性。根据应用背景来定义可解释性会迫使评估与模型的实际目标保持一致。此外,它将允许研究人员明确区分针对技术受众和普通受众的解释,从而允许对每种解释应用不同的评估。关键词:可解释性、xAI、黑盒模型、心理模型
核心规则 ................................................................................................................................................ 5 原则 1:应负责任地使用人工智能 ...................................................................................................... 6 原则 2:透明度和可解释性 .............................................................................................................. 6 原则 3:隐私保护和安全 ................................................................................................................ 6 原则 4:问责制和以人为本的决策 ............................................................................................. 7
