人工智能嵌入式系统参与人类决策的传播使得研究人类对这些系统的信任变得至关重要。然而,实证研究信任具有挑战性。原因之一是缺乏设计信任实验的标准协议。在本文中,我们介绍了现有的实证研究人工智能辅助决策中信任的方法,并根据实验方案的构成要素分析了语料库。我们发现信任的定义通常不整合在实验方案中,这可能导致研究结果被夸大或难以解释和跨研究比较。借鉴社会和认知研究中关于人与人之间信任的实证实践,我们提供了实用指南,以改进在决策环境中研究人与人工智能信任的方法。此外,我们提出了两类研究机会:一类侧重于对信任方法的进一步研究,另一类侧重于影响人与人工智能信任的因素。
随着人工智能辅助决策的普及,一个比经典问题“三个臭皮匠顶个诸葛亮”更有意义的问题是,在人工智能辅助决策中,群体的行为和表现与个人相比如何。在本文中,我们进行了一个案例研究,从决策准确性和信心、依赖人工智能的适当性、对人工智能的理解、决策公平性和承担责任的意愿六个方面比较了群体和个人在人机协作再犯风险评估中的表现。我们的研究结果表明,与个人相比,群体更多地依赖人工智能模型,而不管其正确性如何,但当他们推翻错误的人工智能建议时,他们会更有信心。我们还发现,根据准确性平等标准,群体比个人做出的决策更公平,并且当人工智能做出正确的决策时,群体愿意给予人工智能更多的信任。最后,我们讨论了我们工作的影响。
人工智能 (AI) 在辅助人类决策方面已展现出其潜力。然而,在高风险的 AI 辅助决策场景中,人类不恰当地接受或拒绝 AI 的建议可能会造成严重后果。由于对人类对 AI 的信任了解不足,这一问题仍然存在。因此,本研究研究了影响信任的两种人类信心(对 AI 的信心和对自己的信心)如何演变并影响人类的决策。一项认知研究和一个定量模型共同研究了不断变化的积极和消极经历如何影响这些信心和最终决策。结果表明,人类的自信心,而不是对 AI 的信心,决定了接受或拒绝 AI 建议的决定。此外,这项研究发现,人类常常错误地将责任归咎于自己,并陷入依赖表现不佳的 AI 的恶性循环。研究结果揭示了有效校准人类自信心以成功进行 AI 辅助决策的必要性,并提供了见解。
摘要。如今,人类在各种高风险和低风险的决策任务中使用人工智能辅助。然而,人类对人工智能辅助的依赖往往不是最理想的——人们对人工智能的依赖程度要么过低,要么过高。我们对嘈杂的图像分类任务中的人机辅助决策进行了实证研究。我们分析了参与者对人工智能辅助的依赖程度以及人机辅助的准确性,并与人类或人工智能独立工作进行了比较。我们证明,参与者没有表现出自动化偏见,这是人类在人工智能辅助下表现出的一种广泛报道的行为。在这种特定的人工智能辅助决策实例中,人们能够在需要时正确地推翻人工智能的决策,并在综合表现上接近理论上限。我们认为,与之前的研究结果存在差异的原因在于:1)人们擅长对日常图像进行分类,并且对自己执行任务的能力有很好的了解;2)当被要求表明对自己的决策的信心时,人们会进行深思熟虑的元认知行为;3)人们能够通过结合每次试验后提供的反馈来建立良好的人工智能心理模型。这些发现应该可以为未来的实验设计提供参考。
在人工智能辅助决策中,有效的混合(人机)团队合作不仅取决于人工智能的性能,还取决于其对人类决策的影响。虽然前期研究的是模型准确性对人类的影响,但我们在此努力研究在推荐辅助决策任务中,模型的预测性能和偏见如何转移到人类的复杂动态。我们考虑机器学习辅助招聘领域,其中人类——在受限的选择环境中操作——可以选择是否希望利用训练有素的模型的推断来帮助从书面简历中选择候选人。我们利用前期工作中重新创建的真实简历数据集进行了一项大规模用户研究,其中人类在有和没有三种不同的 NLP 分类器(随机、词袋和深度神经网络)的帮助下预测给定候选人的真实职业。我们的结果表明,虽然高性能模型显著提高了人类在混合环境中的表现,但有些模型会减轻混合偏见,而另一些模型则会加剧这种偏见。我们从决策一致性的角度来研究这些发现,并观察到我们的模型架构选择会影响人类与人工智能的一致性和偏见,这激发了在部署之前评估这些复杂动态的明确需求。
文本挖掘人工智能技术使用最为频繁,65% 使用人工智能的企业都采用了该技术。同样受欢迎的还有自然语言生成(41%)、数据分析(34%)、语音识别(29%)和流程自动化或辅助决策(24%)等基于人工智能的技术。图像识别和图像处理(17%)以及自动移动机器或车辆(6%)等基于人工智能的技术使用较少。与上一年相比,人工智能使用量的大幅增长可以归因于文本挖掘和自然语言生成等基于人工智能技术的使用量增加。
解释使用 AI 做出的决策:摘要第 1 部分定义人工智能 (AI) 有多种定义。但是,在本指南中,我们将其定义为一系列基于算法的技术的总称,这些技术通过执行以前需要人类思考的功能来解决复杂任务。使用 AI 做出的决策要么是完全自动化的,要么是“人为参与”。与任何其他形式的决策一样,受 AI 系统支持的决策影响的人应该能够追究责任。法律框架通用数据保护条例 (GDPR) 和 2018 年数据保护法 (DPA 2018) 规范了个人数据的收集和使用。当 AI 使用个人数据时,它属于本立法的范围。这可以通过使用个人数据来训练、测试或部署 AI 系统来实现。行政法和 2010 年平等法案也与使用 AI 时提供解释有关。好处和风险 解释 AI 辅助决策对您的组织有好处。它可以帮助您遵守法律、与客户建立信任并改善内部治理。社会还可以通过获得更多信息、体验更好的结果并能够有意义地参与决策过程而受益。如果您的组织不解释 AI 辅助决策,它可能会面临监管行动、声誉损害和公众脱离。解释包括什么?在提供解释时,您需要考虑如何提供有关两个解释子类别的信息:
1 Denis J Galligan,酌处权:官方酌处权法律研究(OUP 1990)。2 Reuben Binns,Lilian Edwards和Rebecca Williams,“法律和监管框架,负责使用自动决策做出和公共部门身体的辅助决策”(2021)TLEF工作文件 2024年6月6日访问。3 Marion Oswald,“公共部门的算法协助决策:使用控制酌情权力的行政法规则构建问题”(2018年)皇家学会A 376的哲学交易; Binns,Edwards和Williams(n 2)。