What exactly does word2vec learn?
word2vec 到底学习什么以及如何学习？回答这个问题相当于在一个最小但有趣的语言建模任务中理解表示学习。尽管 word2vec 是众所周知的现代语言模型的先驱，但多年来，研究人员缺乏描述其学习过程的定量和预测理论。在我们的新论文中，我们最终提供了这样一个理论。我们证明存在现实的、实用的机制，其中学习问题可以简化为未加权的最小二乘矩阵分解。我们以封闭形式求解梯度流动动力学；最终学习到的表示由 PCA 简单给出。word2vec 的学习动态。当从小初始化开始训练时，word2vec 以离散、连续的步骤进行学习。左：权重矩阵中的排名递增学习步骤，每个步骤都会减少损失。右图：潜在嵌入空间的三个时间
