1 Université Paris-Saclay, UVSQ, Inserm, Gustave Roussy, Team “ Exposome, Heredity, Cancer and Health ” , CESP, Villejuif, France 2 Laboratoire de Mathématiques et de leurs Applications de Pau, E2S UPPA, CNRS, Pau, France 3 Statistical Genetics, QIMR Berghofer Medical Research Institute, Brisbane, Australia 4澳大利亚布里斯班昆士兰州技术大学卫生学院5流行病学与生物统计学科,利兹癌和病理学研究所,癌症与病理学研究所,利兹大学,利兹大学,英国利兹大学6转化基因组学实验室,癌症研究所,玛丽研究,贝尔兰德大学,美国国家癌症研究所,癌症研究所及遗传学,美国德克萨斯州休斯敦市Medecine学院8国际癌症研究机构,法国里昂9 Lunenfeld-Tanenbuaum研究所,西奈卫生系统,多伦多,安大略省,加拿大安大略省10达拉拉·拉娜公共卫生学院,多伦多,多伦多,多伦多,多伦多,多伦多
• 确定能够展示心理模型形式和模型上使用的操作的行为。 “• 探索目标导向表征的其他观点(例如,所谓的序列 / 方法表征),并详细描述从它们所预测的行为。• 扩展可能存在的心理表征类型,以包括那些可能不是机械的,例如代数和视觉系统。• 确定人们如何混合不同的表征来产生行为。• 探索如何获取有关系统的知识。• 确定个体差异如何影响系统的学习和性能。• 探索系统训练序列的设计。• 为系统设计师提供工具,帮助他们开发可在用户中唤起“良好”表征的系统。• 扩展本研究的任务领域,以包括更复杂的软件。
摘要背景:人们普遍担心在医疗保健等敏感环境中使用黑盒建模方法。尽管性能有所提升且备受炒作,但这些问题阻碍了人工智能 (AI) 的普及。人们认为可解释的人工智能有助于缓解这些担忧。但是,现有的可解释定义并未为这项工作奠定坚实的基础。方法:我们批评了最近关于以下文献的评论:团队中人工智能的代理;心理模型,尤其是它们应用于医疗保健时,以及它们引出的实际方面;以及现有和当前的可解释性定义,尤其是从人工智能研究人员的角度来看。在此文献的基础上,我们创建了可解释的新定义和支持术语,提供了可以客观评估的定义。最后,我们将可解释的新定义应用于三个现有模型,展示了它如何应用于先前的研究,并为基于此定义的未来研究提供指导。结果:现有的解释定义以全球适用性为前提,并未解决“谁可以理解?”的问题。如果将人工智能视为团队成员,那么引出心理模型可以比作创建可解释的人工智能。在此基础上,我们根据模型的背景来定义可解释性,包括模型和解释的目的、受众和语言。作为示例,此定义应用于手术室团队中的回归模型、神经网络和人类心理模型。结论:现有的解释定义在确保解决实际应用问题方面存在局限性。根据应用背景来定义可解释性会迫使评估与模型的实际目标保持一致。此外,它将允许研究人员明确区分针对技术受众和普通受众的解释,从而允许对每种解释应用不同的评估。关键词:可解释性、xAI、黑盒模型、心理模型
摘要 随着越来越多的人工智能形式变得普遍,了解人们如何开发这些系统的心理模型变得越来越重要。在这项工作中,我们通过合作猜词游戏研究人们对人工智能的心理模型。我们进行了出声思考研究,人们与人工智能代理一起玩游戏;通过主题分析,我们确定了参与者开发的心理模型的特征。在一项大规模研究中,我们让参与者在线与人工智能代理玩游戏,并使用赛后调查来探究他们的心理模型。我们发现获胜次数更多的人对人工智能代理的能力有更好的估计。我们提出了建模人工智能系统的三个组成部分,提出了解底层技术不足以开发适当的概念模型(行为分析也是必要的),并建议未来研究心理模型随时间推移的修订。
更不用说性能提高了,人类和机器人队友必须通过共同的心理模型同步计划[19]。为了实现这一目标,需要有效的代理之间的有效沟通。一种我们利用的一种技术是增强现实(AR)可视化的技术,该技术已经在多个机器人域中进行了辩护[4,16,21],包括我们自己自己自己表明AR能够促进台式台式操作环境中平稳的人类机器人协调能力的作品[12]和共享仓库[12]和仓库[5]。AR具有将数据直接投射到环境上的独特能力。此原位可视化为人类和机器人提供了共享的环境环境,从而实现了紧凑的视觉通信,而无需上下文切换到单独的屏幕[8,10]。我们还从可解释的AI中汲取灵感,这不仅是为了提高对不透明学习模式的理解[1,9],而且还促进了团队流利性并提高人类机器人任务中的共同认识[2,3,18]。在我们的工作中,我们使用算法支持的AR可视化和自然语言措施,作为将人类整合到多机构增强学习(RL)计划中所需的沟通桥梁,通过利用每个代理商的独特技能来解决多代理强化学习(RL)。本摘要描述了解决两个研究问题的工作:Q1。在不确定性下执行任务以提高团队绩效时,机器人应该如何与人类交流?和Q2。机器人如何向人类队友证明他们的决策和指导是为了提高信任和合规性的合理性?
随着越来越多的人工智能形式变得普遍,了解人们如何开发这些系统的心智模型变得越来越重要。在这项工作中,我们研究了人们在合作猜词游戏中对人工智能代理的心智模型。我们进行了一项研究,让人们与人工智能代理一起玩游戏,同时“大声思考”;通过主题分析,我们确定了参与者开发的心智模型的特征。在一项大规模研究中,我们让参与者在线与人工智能代理玩游戏,并使用赛后调查来探究他们的心智模型。我们发现,获胜次数更多的人通常对人工智能代理的能力有更好的估计。我们提出了用于建模人工智能系统的三个组成部分——全局知识、局部知识和知识分布,并提出了解底层技术不足以开发适当的概念模型——行为分析也是必要的。
可解释人工智能 (XAI) 方法用于为机器学习和人工智能模型带来透明度,从而改善最终用户的决策过程。虽然这些方法旨在提高人类的理解力和心理模型,但认知偏见仍然会以系统设计者无法预料的方式影响用户的心理模型和决策。本文介绍了智能系统中由于排序效应而导致的认知偏见的研究。我们进行了一项受控用户研究,以了解观察系统弱点和优势的顺序如何影响用户的心理模型、任务绩效和对智能系统的依赖,并研究解释在解决这种偏见中的作用。使用烹饪领域的可解释视频活动识别工具,我们要求参与者验证是否遵循了一组厨房政策,每项政策都侧重于弱点或优势。我们控制了策略的顺序和解释的存在来检验我们的假设。我们的主要发现表明,那些早期观察到系统优势的人更容易受到自动化偏见的影响,并且由于对系统的第一印象是积极的,所以犯了更多错误,同时他们建立了更准确的系统能力心理模型。另一方面,那些较早发现弱点的人犯的错误明显较少,因为他们倾向于更多地依赖自己,同时他们也低估了模型能力,因为他们对模型的第一印象更为负面。我们的工作提出了强有力的发现,旨在让智能系统设计师在设计此类工具时意识到这种偏见。
图 1. 该图展示了我们对基于类比的解释对统计概念(例如全局准确性)和人工智能系统整体行为的工作机制的理解。橙色代表用户日常观察中的元素,以及他们基于对世界的体验而不断发展的世界心理模型。蓝色代表与人工智能系统交互和体验的元素。一般来说,人们会建立一个强大的世界心理模型来解释日常情况下的观察结果。随着对更多世界观察的解释,这种心理模型会得到更新。借助类比推理,人们可以根据现有的世界心理模型建立一个新的人工智能系统心理模型。他们可以解释人工智能系统,然后更新这两个心理模型。
摘要。用户如何与智能系统进行交互是由系统内部工作的主观心理模型来确定的。在本文中,我们提出了一种基于卡片排序的新方法,以定量地识别推荐系统的这种心理模型。使用此方法,我们进行了在线研究(n = 170)。将分层聚类应用于结果显示出不同的用户组及其各自的心理模型。独立于所使用的建议系统,一些术语具有严格的基于程序性的,而另一些则是基于概念的心理模型。此外,心理模型可以被描述为技术或人性化。虽然基于程序的心理模型与透明度感知呈正相关,但人性化模型可能会影响对系统信任的感知。基于这些发现,我们在透明智能系统设计中考虑了用户特定的心理模型的三个含义。
摘要人类机器人组合中的最新工作表明,当机器人构建和维护“共同的心理模型”时,与没有共享心理模型的基线相比,整个人类机器人团队的有效性总体上更好。在这项工作中,我们通过引入积极行为来扩展这种见解,除了共同的心理模型,以研究团队穿越和任务效率的潜在进一步改善。我们开发了一组主动的机器人行为,我们在实验上与基线“反应性”行为进行了比较,假设,与共同的心理模型相结合,具有这些更为主动行为的机器人将成为更有效的队友。人类受试者评估的结果表明,主动的机器人行为提高了任务效率和性能,而不是仅仅反应性行为,并客观地降低了人类工作量,这是通过受试者的学生规模变化来衡量的。