用于查找相关文献的文档推荐系统主要依赖于十年前开发的方法。这主要是由于缺乏涵盖各种研究领域的大量离线相关文档黄金标准基准,因此无法比较、改进新开发的文献检索技术并将其转化为实践。为了克服这一瓶颈,我们成立了 RE 相关文献文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 列出的文章与其各自的种子(输入)文章的相关性。大多数注释均由经验丰富的种子文章原作者提供。收集的数据涵盖了所有唯一 PubMed 医学主题词描述符的 76%。在不同经验水平、研究领域或注释时间上均未观察到系统性偏差。更重要的是,不同科学家对同一文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要混合方法来完全捕获所有相关文章。位于 https://relishdb.ict.griffith.edu.au 的已建立数据库服务器可免费下载注释数据和盲测新方法。我们期望该基准将有助于促进开发用于生物医学研究相关文章的标题和基于标题/摘要的搜索引擎的新型强大技术。