从历史上看,大部分机器学习研究都集中在算法的性能上,但最近更多的关注集中在优化关节的人类算法性能上。在这里,我们分析了一种特定类型的人类算法协作,其中该算法可以访问一组n个项目,并向人类提供了一个大小K的子集,该大小K从这些K中选择了最终项目。此情况可以建模内容建议,路由计划或任何类型的标签任务。由于人类和算法都没有关于项目真实排序的嘈杂信息,所以关键问题是:k的哪个值最大化最终会选择最佳项目的概率?对于k = 1,单独作用的算法优化了性能,对于k = n,它是由人类单独作用优化的。令人惊讶的是,我们表明,对于多个噪声模型,设置k∈[2,n -1]是最佳的 - 也就是说,即使人类和算法分别具有同等的精度,协作也有严格的好处。我们在理论上为木棍模型和实验性的噪声置换模型进行了实验证明这一点。但是,当人类锚定在算法的订购订单上时,我们表明这种模式被逆转 - 关节系统始终严格的性能较差。我们将这些结果扩展到人类和算法的准确性水平有所不同的情况下,表明始终存在更准确的代理人从与较不准确的机构合作中严格受益,但这些制度在人类与算法的准确性之间是不对称的。
主要关键词