Understanding SoTA Language Models (BERT, RoBERTA, ALBERT, ELECTRA)
大家好，现在有大量的语言模型！其中许多都有自己独特的学习“自监督”语言表示的方式，可供其他下游任务使用。在本文中，我决定总结当前的趋势并分享一些关键见解，以将所有这些新方法粘合在一起。😃（幻灯片来源：Delvin 等人，斯坦福 CS224n）问题：上下文无关/原子词表示我们在上一篇文章中从上下文无关方法开始，例如 word2vec、GloVE 嵌入。这些方法的缺点是它们不考虑句法上下文。例如“开立银行账户”与“在河岸上”。单词 bank 的含义取决于单词所处的上下文。解决方案 #1：上下文单词表示借助 ELMo，社区开始构建前向（从左到右）和后向（从右到左）序列语言模型，并使用从这两个模型（连
Review : Stanford's Online Artificial Intelligence Courses - Deep Learning and Machine Learning
你好！我已经入读斯坦福大学并在网上学习他们的课程。以下是我目前所学课程的一些看法。CS224n - 自然语言处理与深度学习 (Manning 教授)难度：4/5 (中等)预期内容：了解应用于 NLP 的最先进的 (SoTA) 深度学习技术。关键主题：问答文本摘要词性标记序列到序列模型Transformers为您提供了NLP发展方向的非常好的概述，家庭作业很有挑战性，但允许您实现最新的神经架构来解决各种语言问题。我的课堂项目：BertQA（github上99*颗星）- 荣获班级最佳项目奖CS231n - 用于视觉识别的卷积神经网络（Li教授和Justin Johnson）难度：4/5（中等）预期
Future of Natural Language Processing with Deep Learning (NLP/DL)
我最近参加了 Kevin Clarke (CS224n) 的演讲，他在演讲中谈到了 NLP 的未来趋势。我写这篇文章是为了总结和讨论最近的趋势。幻灯片片段来自他的客座演讲。有两个主要主题奠定了深度学习 NLP 的趋势：1. 使用无监督 / 未标记数据进行预训练2. OpenAI GPT-2 突破1. 使用无监督 / 未标记数据进行预训练监督数据昂贵且有限，我们如何使用无监督数据来补充训练和监督微调以做得更好？让我们将其应用于机器翻译的问题，看看它如何有所帮助 - 如果您有 2 个不同语言的文本语料库（转录或维基百科文章），没有跨语言映射。我们可以将其用于预训练，在两个语料库上分别训练编码器和解
