自然语言模型 (NLM) 的演变 - 必须了解的 NLP 基础知识
我决定浏览一些 NLP（自然语言处理）领域的突破性论文，并总结我的学习成果。这些论文的日期从 2000 年代初到 2018 年。资料来源 - KDNuggets如果您是 NLP 领域的新手 - 我建议您从阅读这篇文章开始，其中涉及各种 NLP 基础知识。1. 神经概率语言模型2. 向量空间中单词表示的有效估计Word2Vec - Skipgram 模型3. 单词和短语的分布式表示及其组合4. GloVe：用于单词表示的全局向量5. 基于循环神经网络的语言模型6. 循环神经网络语言模型的扩展让我们从#1 开始，神经概率语言模型Bengio 等人。提出一种分布式单词表示法来对抗维数灾难。维数灾难源于使用与词汇量相等的单个单词的向量表示，并学习一个单词相对于所有单词的距离。例如，要对词汇量为 100,000 的 10 个连续单词的联合分布进行建模 - 需要学习的参数数量将为 1050-1。可以对一种语言进行统计建模，以表示在给定语料库中所有先前单词（在窗口内）的情况下下一个单词的条件概率：作者指出，大多数先前的语言建模方法都存在这样的问题：它们没有考虑单词之间的“相似性”并且只关注节奏
来源:Ankit-AI | 分享人工智能我决定浏览 NLP（自然语言处理）领域的一些突破性论文，并总结我的学习成果。这些论文的发表时间从 2000 年代初到 2018 年。
来源 - KDNuggets如果您是 NLP 领域的新手 - 我建议您先阅读
这篇文章，其中涉及各种 NLP 基础知识。
1. 神经概率语言模型
2. 向量空间中单词表示的有效估计
Word2Vec - Skipgram 模型
3. 单词和短语的分布式表示及其组合
4. GloVe：用于单词表示的全局向量 GloVe：用于单词表示的全局向量5.
基于循环神经网络的语言模型6.
循环神经网络语言模型的扩展让我们从#1开始，
神经概率语言模型
Bengio 等人提出一种分布式单词表示法来对抗维数灾难。
维数灾难源于使用与词汇量相等的单个单词的向量表示法，并学习一个单词相对于所有单词的距离。
例如，要对词汇量为 100,000 的 10 个连续单词的联合分布进行建模 - 要学习的参数数量为 10
50-1。
可以对语言进行统计建模，以表示给定语料库中所有先前单词（在窗口内）的下一个单词的条件概率：
作者指出，大多数先前的语言建模方法都存在一个问题，即它们没有考虑单词之间的“相似性”，而只关注时间局部性。
这有助于学习单词之间的语义和语法相似性，并有助于更好地概括。
为了学习单词序列的联合概率函数，作者提出了一种基于神经网络的方法：
这里的基本学习目标有两个方面，它们同时发生并相互加强：
向量空间中单词表示的有效估计
例如——