LinkBERT: Improving Language Model Training with Document Link
语言模型预训练语言模型 (LM)，例如 BERT 1 和 GPT 系列 2，在许多自然语言处理 (NLP) 任务中取得了非凡的表现。它们现在是当今 NLP 系统的基础。3 这些模型在我们每天使用的产品和工具中发挥着重要作用，例如 Google 等搜索引擎 4 和 Alexa 等个人助理 5。这些 LM 非常强大，因为它们可以通过自监督学习在网络上的大量文本数据上进行预训练，而无需标签，之后预训练的模型可以快速适应各种新任务，而无需进行太多特定于任务的微调。例如，BERT 经过预训练可以预测原始文本中随机屏蔽的单词（屏蔽语言建模），例如从“My __ is fetching the ball”预
LinkBERT: Improving Language Model Training with Document Link
语言模型预训练语言模型 (LM)，例如 BERT 1 和 GPT 系列 2，在许多自然语言处理 (NLP) 任务中取得了非凡的表现。它们现在是当今 NLP 系统的基础。3 这些模型在我们每天使用的产品和工具中发挥着重要作用，例如 Google 等搜索引擎 4 和 Alexa 等个人助理 5。这些 LM 非常强大，因为它们可以通过自监督学习在网络上的大量文本数据上进行预训练，而无需标签，之后预训练的模型可以快速适应各种新任务，而无需进行太多特定于任务的微调。例如，BERT 经过预训练可以预测原始文本中随机屏蔽的单词（屏蔽语言建模），例如从“My __ is fetching the ball”预
Stanford AI Lab Papers and Talks at ACL 2022
2022 年计算语言学协会 (ACL) 第 60 届年会将于 5 月 22 日至 5 月 27 日举行。我们很高兴与大家分享 SAIL 的所有工作成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学的工作！已接受论文列表LinkBERT：带有文档链接的预训练语言模型作者：Michihiro Yasunaga、Jure Leskovec*、Percy Liang*联系人：myasu@cs.stanford.edu链接：论文 |网站关键词：语言模型、预训练、知识、超链接、bionlp在对语法角色进行分类时，BERT 并不关心词序......除非它很重要作者：Isa
Stanford AI Lab Papers and Talks at ACL 2022
2022 年计算语言学协会 (ACL) 第 60 届年会将于 5 月 22 日至 5 月 27 日举行。我们很高兴与大家分享 SAIL 的所有工作成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学的工作！已接受论文列表LinkBERT：带有文档链接的预训练语言模型作者：Michihiro Yasunaga、Jure Leskovec*、Percy Liang*联系人：myasu@cs.stanford.edu链接：论文 |网站关键词：语言模型、预训练、知识、超链接、bionlp在对语法角色进行分类时，BERT 并不关心词序......除非它很重要作者：Isa
