XiaoMi-AI文件搜索系统
World File Search System词向
利用基于大脑的语义特征解码词向量
词嵌入是使用计数或预测技术构建的矢量语义表示，旨在从词语共现中捕捉含义的细微差别。自从它们被引入以来，这些表示就因缺乏可解释的维度而受到批评。词嵌入的这种特性限制了我们对它们实际编码的语义特征的理解。此外，它导致了它们所用于任务的“黑箱”性质，因为词嵌入性能的原因通常对人类来说仍然是模糊的。在本文中，我们探索了词嵌入中编码的语义属性，将它们映射到可解释的向量上，由明确的和神经生物学驱动的语义特征组成（Binder 等人，2016 年）。我们的探索考虑了不同类型的嵌入，包括分解计数向量和预测模型（Skip-Gram、GloVe 等），以及最新的情境化表示（即 ELMo 和 BERT）。
利用基于大脑的语义特征解码词向量
词嵌入是使用计数或预测技术构建的矢量语义表示，旨在从词语共现中捕捉含义的细微差别。自从它们被引入以来，这些表示就因缺乏可解释的维度而受到批评。词嵌入的这种特性限制了我们对它们实际编码的语义特征的理解。此外，它导致了它们所用于任务的“黑箱”性质，因为词嵌入性能的原因通常对人类来说仍然是模糊的。在本文中，我们探索了词嵌入中编码的语义属性，将它们映射到可解释的向量上，由明确的和神经生物学驱动的语义特征组成（Binder 等人，2016 年）。我们的探索考虑了不同类型的嵌入，包括分解计数向量和预测模型（Skip-Gram、GloVe 等），以及最新的情境化表示（即 ELMo 和 BERT）。
词向量中信息的非互补性与大脑表征在区分具体词语和抽象词语方面的作用
词语的具体性和可想象性已被证明对于理解人类如何在大脑中处理和表示语言至关重要。虽然词向量没有明确将词语的具体性纳入其计算中，但它们已被证明能够准确预测人类对具体性和可想象性的判断。受到最近使用神经活动模式分析分布式意义表征的兴趣的启发，我们首先表明，人类受试者在被动理解自然故事时获得的大脑反应可以显著区分所遇到的词语的具体性水平。然后，我们针对同一任务检查大脑表征中的额外感知信息是否可以补充词向量中的上下文信息。然而，我们的预测模型和残差分析的结果表明相反。我们发现大脑表征中的相关信息是语境化词向量中相关信息的一个子集，这为现有的自然语言处理模型状态提供了新的见解。