Understanding SoTA Language Models (BERT, RoBERTA, ALBERT, ELECTRA)
大家好，现在有大量的语言模型！其中许多都有自己独特的学习“自监督”语言表示的方式，可供其他下游任务使用。在本文中，我决定总结当前的趋势并分享一些关键见解，以将所有这些新方法粘合在一起。😃（幻灯片来源：Delvin 等人，斯坦福 CS224n）问题：上下文无关/原子词表示我们在上一篇文章中从上下文无关方法开始，例如 word2vec、GloVE 嵌入。这些方法的缺点是它们不考虑句法上下文。例如“开立银行账户”与“在河岸上”。单词 bank 的含义取决于单词所处的上下文。解决方案 #1：上下文单词表示借助 ELMo，社区开始构建前向（从左到右）和后向（从右到左）序列语言模型，并使用从这两个模型（连
