随着越来越多的人工智能形式变得普遍,了解人们如何开发这些系统的心智模型变得越来越重要。在这项工作中,我们研究了人们在合作猜词游戏中对人工智能代理的心智模型。我们进行了一项研究,让人们与人工智能代理一起玩游戏,同时“大声思考”;通过主题分析,我们确定了参与者开发的心智模型的特征。在一项大规模研究中,我们让参与者在线与人工智能代理玩游戏,并使用赛后调查来探究他们的心智模型。我们发现,获胜次数更多的人通常对人工智能代理的能力有更好的估计。我们提出了用于建模人工智能系统的三个组成部分——全局知识、局部知识和知识分布,并提出了解底层技术不足以开发适当的概念模型——行为分析也是必要的。
图 2. 点击主界面上的观看视频按钮时,如图 1 所示,参与者将看到一个模式,允许他们观看视频。 (A) 显示所选查询以及视频中是否找到该查询 (B)。如果他们在解释存在的情况下,他们会看到进度条 (C) 下用于得出答案(找到/未找到)的所有视频片段。他们可以点击每个可用的片段来查看基于在片段中发现的相关活动的模型论证 (D),以及系统在所选片段中检测到的所有组件的置信度得分 (E)。
可解释人工智能 (XAI) 方法用于为机器学习和人工智能模型带来透明度,从而改善最终用户的决策过程。虽然这些方法旨在提高人类的理解力和心理模型,但认知偏见仍然会以系统设计者无法预料的方式影响用户的心理模型和决策。本文介绍了智能系统中由于排序效应而导致的认知偏见的研究。我们进行了一项受控用户研究,以了解观察系统弱点和优势的顺序如何影响用户的心理模型、任务绩效和对智能系统的依赖,并研究解释在解决这种偏见中的作用。使用烹饪领域的可解释视频活动识别工具,我们要求参与者验证是否遵循了一组厨房政策,每项政策都侧重于弱点或优势。我们控制了策略的顺序和解释的存在来检验我们的假设。我们的主要发现表明,那些早期观察到系统优势的人更容易受到自动化偏见的影响,并且由于对系统的第一印象是积极的,所以犯了更多错误,同时他们建立了更准确的系统能力心理模型。另一方面,那些较早发现弱点的人犯的错误明显较少,因为他们倾向于更多地依赖自己,同时他们也低估了模型能力,因为他们对模型的第一印象更为负面。我们的工作提出了强有力的发现,旨在让智能系统设计师在设计此类工具时意识到这种偏见。
摘要 随着越来越多的人工智能形式变得普遍,了解人们如何开发这些系统的心理模型变得越来越重要。在这项工作中,我们通过合作猜词游戏研究人们对人工智能的心理模型。我们进行了出声思考研究,人们与人工智能代理一起玩游戏;通过主题分析,我们确定了参与者开发的心理模型的特征。在一项大规模研究中,我们让参与者在线与人工智能代理玩游戏,并使用赛后调查来探究他们的心理模型。我们发现获胜次数更多的人对人工智能代理的能力有更好的估计。我们提出了建模人工智能系统的三个组成部分,提出了解底层技术不足以开发适当的概念模型(行为分析也是必要的),并建议未来研究心理模型随时间推移的修订。
• 确定能够展示心理模型形式和模型上使用的操作的行为。 “• 探索目标导向表征的其他观点(例如,所谓的序列 / 方法表征),并详细描述从它们所预测的行为。• 扩展可能存在的心理表征类型,以包括那些可能不是机械的,例如代数和视觉系统。• 确定人们如何混合不同的表征来产生行为。• 探索如何获取有关系统的知识。• 确定个体差异如何影响系统的学习和性能。• 探索系统训练序列的设计。• 为系统设计师提供工具,帮助他们开发可在用户中唤起“良好”表征的系统。• 扩展本研究的任务领域,以包括更复杂的软件。