在有限的预算下,获得固定的分类任务集的高质量结果是众包中的一个关键问题。应探索引入人工智能模型来补充该过程。然而,现有的方法很少直接解决这个问题;现有的方法是在如何使用嘈杂的众包数据训练人工智能模型的背景下提出的。本文提出了一种更直接的方法来解决在有限的预算下引入人工智能来提高人类工作者在固定数量任务中的结果的问题;我们将人工智能模型视为同事,并汇总人类和人工智能工作者的结果。提出的“人机协同 EM”(HAEM)算法扩展了 Dawid-Skene 模型,将 AI 模型视为同事,并明确计算它们的混淆矩阵以得出更高质量的聚合结果。我们进行了大量的实验,并将 HAEM 与两种方法(MBEM 和 Dawid-Skene 模型)进行了比较。我们发现,在大多数情况下,基于 AI 的 HAEM 比 Dawid-Skene 模型表现出更好的性能,并且当 AI 模型性能不佳时,它表现出比 MBEM 更好的性能。
主要关键词