点击率

评估野外的顺序建议：关于离线准确性，点击率和消费的案例研究

摘要。顺序建议问题近年来已经增加了研究兴趣。我们对实践中连续算法的有效性的了解是有限的。在本文中，我们在视频和电影流平台上报告了A/B测试的结果，在该平台上，我们根据非顺序，个性化的推荐模型以及基于受欢迎程度的基线对顺序模型进行了测试。与我们从前面的离线实验中期望的相反，我们观察到基于受欢迎程度和非顺序模型导致了最高点击率。但是，就建议而言，在观看时间方面，顺序模型是最成功的模型。我们的工作指出了顺序模型在实践中的有效性，但它也使我们想起了有关（a）经典离线评估的有时含义的预测能力的重要开放挑战，以及（b）优化点击率率的建议模型的危险。