Gregory Bobby E. Okapi环境服务,L.L.C。Okapi Leasing,LLC TDS Environmental Services,L.L.C.TDS土地管理LP德州处置系统INC TEXAS DECASS SYSTEMS LANDLILL INC TEXAS Land -Fill Management Llc Austin Savanna,LLC。TXALLOY,INC。TXALLOY,INC。
测量文本的语义相似度在自然语言处理领域的各种任务中起着至关重要的作用。在本文中,我们描述了一组我们进行的实验,以评估和比较用于测量短文本语义相似度的不同方法的性能。我们对四种基于词向量的模型进行了比较:Word2Vec 的两个变体(一个基于在特定数据集上训练的 Word2Vec,另一个使用词义的嵌入对其进行扩展)、FastText 和 TF-IDF。由于这些模型提供了词向量,我们尝试了各种基于词向量计算短文本语义相似度的方法。更准确地说,对于这些模型中的每一个,我们测试了五种将词向量聚合到文本嵌入中的方法。我们通过对两种常用的相似度测量进行变体引入了三种方法。一种方法是基于质心的余弦相似度的扩展,另外两种方法是 Okapi BM25 函数的变体。我们在两个公开可用的数据集 SICK 和 Lee 上根据 Pearson 和 Spearman 相关性对所有方法进行了评估。结果表明,在大多数情况下,扩展方法的表现优于原始方法。关键词:语义相似度、短文本相似度、词嵌入、Word2Vec、FastText、TF-IDF
用于查找相关文献的文档推荐系统大多依赖于十年前开发的方法。这主要是因为缺乏一个涵盖各种研究领域的大型离线黄金标准相关文献基准,以便可以比较、改进新开发的文献检索技术并将其转化为实践。为了克服这个瓶颈,我们成立了 RE 相关文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 收录文章与其各自的种子(输入)文章的相关性。大多数注释都是由经验丰富的种子文章原作者提供的。收集到的数据涵盖了 76% 的所有唯一 PubMed 医学主题词描述符。在不同经验水平、研究领域或注释时间所花费的人之间未观察到系统性偏差。更重要的是,不同科学家对相同文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要混合方法来进行比较
用于查找相关文献的文档推荐系统主要依赖于十年前开发的方法。这主要是由于缺乏涵盖各种研究领域的大量离线相关文档黄金标准基准,因此无法比较、改进新开发的文献检索技术并将其转化为实践。为了克服这一瓶颈,我们成立了 RE 相关文献文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 列出的文章与其各自的种子(输入)文章的相关性。大多数注释均由经验丰富的种子文章原作者提供。收集的数据涵盖了所有唯一 PubMed 医学主题词描述符的 76%。在不同经验水平、研究领域或注释时间上均未观察到系统性偏差。更重要的是,不同科学家对同一文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要混合方法来完全捕获所有相关文章。位于 https://relishdb.ict.griffith.edu.au 的已建立数据库服务器可免费下载注释数据和盲测新方法。我们期望该基准将有助于促进开发用于生物医学研究相关文章的标题和基于标题/摘要的搜索引擎的新型强大技术。
用于查找相关文献的文档推荐系统主要依赖于十年前开发的方法。这主要是由于缺乏涵盖各种研究领域的大量离线相关文档黄金标准基准,因此无法比较、改进新开发的文献检索技术并将其转化为实践。为了克服这一瓶颈,我们成立了 RE 相关文献文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 列出的文章与其各自的种子(输入)文章的相关性。大多数注释均由经验丰富的种子文章原作者提供。收集的数据涵盖了所有唯一 PubMed 医学主题词描述符的 76%。在不同经验水平、研究领域或注释时间上均未观察到系统性偏差。更重要的是,不同科学家对同一文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要混合方法来完全捕获所有相关文章。位于 https://relishdb.ict.griffith.edu.au 的已建立数据库服务器可免费下载注释数据和盲测新方法。我们期望该基准将有助于促进开发用于生物医学研究相关文章的标题和基于标题/摘要的搜索引擎的新型强大技术。
用于查找相关文献的文档推荐系统大多依赖于十年前开发的方法。这主要是因为缺乏一个涵盖各种研究领域的大型离线黄金标准相关文献基准,以便可以比较、改进新开发的文献检索技术并将其转化为实践。为了克服这个瓶颈,我们成立了 RE 相关文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 收录文章与其各自的种子(输入)文章的相关性。大多数注释都是由经验丰富的种子文章原作者提供的。收集到的数据涵盖了 76% 的所有唯一 PubMed 医学主题词描述符。在不同经验水平、研究领域或注释时间之间未观察到系统性偏差。更重要的是,不同科学家对相同文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要一种混合方法来完全捕获所有相关文章。位于 https://relishdb.ict.griffith.edu.au 的已建立数据库服务器可免费下载注释数据和盲测新方法。我们预计,该基准将有助于促进开发新的强大技术,用于生物医学研究中的相关文章的标题和基于标题/摘要的搜索引擎。
用于查找相关文献的文档推荐系统大多依赖于十年前开发的方法。这主要是因为缺乏一个涵盖各种研究领域的大型离线黄金标准相关文献基准,以便可以比较、改进新开发的文献检索技术并将其转化为实践。为了克服这个瓶颈,我们成立了 RE 相关文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 收录文章与其各自的种子(输入)文章的相关性。大多数注释都是由经验丰富的种子文章原作者提供的。收集到的数据涵盖了 76% 的所有唯一 PubMed 医学主题词描述符。在不同经验水平、研究领域或注释时间之间未观察到系统性偏差。更重要的是,不同科学家对相同文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要一种混合方法来完全捕获所有相关文章。位于 https://relishdb.ict.griffith.edu.au 的已建立数据库服务器可免费下载注释数据和盲测新方法。我们预计,该基准将有助于促进开发新的强大技术,用于生物医学研究中的相关文章的标题和基于标题/摘要的搜索引擎。
用于查找相关文献的文档推荐系统大多依赖于十年前开发的方法。这主要是因为缺乏一个涵盖各种研究领域的大型离线黄金标准相关文献基准,以便可以比较、改进新开发的文献检索技术并将其转化为实践。为了克服这个瓶颈,我们成立了 RE 相关文献搜索联盟,该联盟由来自 84 个国家的 1500 多名科学家组成,他们共同注释了超过 180,000 篇 PubMed 收录文章与其各自的种子(输入)文章的相关性。大多数注释都是由经验丰富的种子文章原作者提供的。收集到的数据涵盖了 76% 的所有唯一 PubMed 医学主题词描述符。在不同经验水平、研究领域或注释时间之间未观察到系统性偏差。更重要的是,不同科学家对相同文档对的注释高度一致。我们进一步表明,用于生成推荐文章以供评估的三种代表性基线方法(Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章)具有相似的总体性能。此外,我们发现这些方法各自倾向于生成不同的推荐文章集合,这表明可能需要一种混合方法来完全捕获所有相关文章。位于 https://relishdb.ict.griffith.edu.au 的已建立数据库服务器可免费下载注释数据和盲测新方法。我们预计,该基准将有助于促进开发新的强大技术,用于生物医学研究中的相关文章的标题和基于标题/摘要的搜索引擎。