详细内容或原文请订阅后点击阅览
心灵还是智力？神经语言模型学习词汇替换
Skoltech 研究人员及其同事进行了一项史无前例的大规模计算研究，他们比较了最先进的基于神经网络的语言模型，并评估了它们解决最重要问题之一的能力自然语言处理中的问题：词汇替换。
来源:Robogeek新闻频道（关于机器人技术的俄罗斯与世界新闻）Skoltech 研究人员及其同事进行了一项史无前例的大规模计算研究，他们比较了最先进的基于神经网络的语言模型，并评估了它们解决最重要问题之一的能力自然语言处理中的问题：词汇替换。
研究成果在第28届国际计算语言学会议（COLING-2020）上发表。
由词汇替换是指用与原始单词以某种方式相关且适合在给定上下文中使用的另一个单词来替换句子中的单词。例如，在“彼得·伊里奇·柴可夫斯基是一位伟大的俄罗斯作曲家”这句话中，“伟大”一词可以替换为同义词“杰出”。在句子“我的兄弟是一名职业网球运动员”中，“网球运动员”一词可以替换为上位词“运动员”（即具有更广泛含义的词），而不是短语“我今天开车” ，”驾车者很可能会说：“我今天开车。”（“轮子”一词是一个同义词，即表示整个物体不可分割的一部分的概念）。
对于一个以母语为母语的人来说，词汇替换是一件完全简单、自然的事情，而对于解决自然语言处理（NLP）问题的计算机来说就不能这么说了。计算机必须“掌握归纳技能”，才能学会根据上下文确定单词的含义，根据单词的含义纠正拼写错误，甚至解决更复杂的问题，例如释义或简化文本。正是为了解决这些问题，基于深度神经网络创建了语言模型，能够根据目标词的直接上下文进行词汇替换。