机构名称：
¥ 2.0
尽管已知大脑中的阅读和聆听之间存在差异，但最近的研究表明，基于文本的语言模型可以非常准确地预测文本和语音引起的大脑活动。这就提出了一个问题：语言模型真正能预测大脑中哪些类型的信息。我们通过一种直接的方法来研究这个问题，即我们系统地从语言模型表示中删除特定的低级刺激特征（文本、语音和视觉），以评估它们对阅读和聆听过程中与 fMRI 大脑记录的对齐的影响。将这些结果与基于语音的语言模型进行比较，可以发现低级特征对大脑对齐的截然不同的影响。虽然基于文本的模型在删除特征后显示出早期感觉区域的对齐降低，但它们在晚期语言区域仍保留了显著的预测能力。相比之下，基于语音的模型即使在删除特征后也能在早期听觉区域保持很强的对齐，但在晚期语言区域失去了所有的预测能力。这些结果表明，基于语音的模型可以深入了解早期听觉区域处理的附加信息，但在使用它们模拟晚期语言区域的处理时需要谨慎。我们将代码公开。1
语音语言模型缺乏重要的大脑相关语义
主要关键词
相关文件推荐
