最近的研究表明,选择性预测系统具有潜在的优势,当人工智能的预测不可靠时,该系统可以学会听从人类的预测,尤其是在提高人工智能系统在医疗保健或保护等高风险应用中的可靠性方面。然而,大多数先前的研究都假设,当人类作为人机团队的一员而不是自己解决预测任务时,人类的行为保持不变。我们通过进行实验来量化选择性预测背景下的人机交互,表明情况并非如此。特别是,我们研究了向人类传达有关人工智能系统推迟决定的不同类型信息的影响。使用现实世界的保护数据和选择性预测系统(与人类或人工智能系统单独工作相比,该系统的预期准确度有所提高),我们表明这种信息传递对人类判断的准确性有显著影响。我们的结果研究了信息传递策略的两个组成部分:1) 人类是否被告知人工智能系统的预测;2) 人类是否被告知选择性预测系统的推迟决定。通过操纵这些消息传递组件,我们表明,通过向人类告知推迟的决定,但不透露人工智能的预测,可以显著提高人类的表现。因此,我们表明,在设计选择性预测系统时,考虑如何将推迟的决定传达给人类是至关重要的,并且必须使用人在环框架仔细评估人机团队的综合准确性。
主要关键词