详细内容或原文请订阅后点击阅览
Word2Vec 解释 - 作业 #5 - Google 的 Udacity 深度学习课程
嗨，我确实对向量空间的工作原理有很好的理解（这要感谢我在本科和研究生院学到的所有数学知识）。但是，Udacity 深度学习课程的作业 #5 具有挑战性，它需要可视化和理解一组向量如何成功（或几乎）表示单词的概念，同时将它们并排阅读为上下文。在尝试解决作业之前，我观看了几个视频并在线阅读了大量资料。让我先用一个例子来解释这个概念。考虑一下这句话：汤米狗是我最好的朋友。作为人类，我们的理解是，这句话指的是一只名叫汤米的狗，它是作家/作者最好的朋友。你如何通过数学让机器理解这一点？答案：嵌入将上述句子中的每个单词想象成你用于关联的云 - 我想到的可视化是：<汤米><狗><最好的朋友> - 其中<>代表一个云。Word2Vec 是一种允许机器实现这一点的技术，这里的区别是如果一个维度为 D 的向量，每个云在空间中的位置。目标是获取输入文本，对其进行处理，并确保深度学习算法将这些单词组织在一起 - 将它们与彼此的关系相关联。它们在空间中的向量彼此接近。这个概念被称为嵌入。作业中提到了 2 种主要技术来实现从文本中进行上下文学习。1. Skip-gr
来源:Ankit-AI | 分享人工智能嗨，
我确实对向量空间的工作原理有很好的理解（这要感谢我在本科和研究生院学到的所有数学知识）。但是，Udacity 深度学习课程的作业 #5 具有挑战性，它要可视化和理解一组向量如何成功（或几乎）表示单词的概念，同时将它们并排阅读为上下文。在尝试解决作业之前，我看了一些视频并在网上阅读了大量资料。
让我先用一个例子解释一下这个概念。考虑这句话：
狗汤米是我最好的朋友。
作为人类 - 我们的理解是，这句话指的是一只名叫汤米的狗，它是作家/作者最好的朋友。
你如何通过数学让机器理解这一点？
答案：嵌入
嵌入将上述句子中的每个单词想象成您用于关联的云 - 我想到的可视化是：
- 其中 < > 代表一个云。
Word2Vec 是一种允许机器实现这一点的技术，这里的区别在于如果是维度为 D 的向量，则每个云在空间中的位置。目标是获取输入文本，对其进行处理并确保深度学习算法将这些单词组织在一起 - 将它们彼此关联。它们在空间中的向量彼此接近。这个概念称为嵌入。
作业中提到了 2 种主要技术来实现从文本中进行上下文学习。
1. Skip-gram 模型
该模型通过配对来向机器学习算法传授关联。从上面的句子来看。我们的目标是制作 (输入，输出) 配对，例如：
(Tommy,the)
(Tommy,dog)
(Tommy,best)
(Tommy,friend)
注意：由于 Word2Vec 是一种无监督学习方法，因此没有为计算机提供正确的答案进行训练。输入是以配对形式预处理并馈送到网络的流 (文本句子)。
P – 投影或嵌入层