人工智能 (AI) 和机器学习模型越来越多地应用于实际应用。在许多此类应用中,人们强烈希望开发混合系统,使人类和 AI 算法能够协同工作,充分利用两者互补的优势和劣势。我们开发了一个贝叶斯框架,用于结合人类和机器的预测和不同类型的置信度分数。该框架使我们能够研究影响互补性的因素,其中人类和机器预测的混合组合比单独的人类或机器预测组合产生更好的性能。我们将此框架应用于一个大规模数据集,其中人类和各种卷积神经网络执行相同的具有挑战性的图像分类任务。我们从经验和理论上表明,即使人类和机器分类器的表现不同,只要这些准确度差异在由人类和机器分类器置信度分数之间的潜在相关性确定的范围内,就可以实现互补性。此外,我们证明,通过区分人类和机器分类器在不同类别标签上犯的错误,可以提高混合人机性能。最后,我们的结果表明,引出并纳入人类信心评级可提高贝叶斯组合模型的混合性能。我们的方法适用于涉及人类和机器算法的各种分类问题。
主要关键词