机构名称：
¥ 1.0
自然语言包含多个时间尺度的信息。为了了解人类大脑如何表示这些信息，一种方法是使用从神经网络语言模型 (LM) 中提取的表示来构建预测 fMRI 对自然语言反应的编码模型。然而，这些 LM 衍生的表示没有明确区分不同时间尺度上的信息，这使得解释编码模型变得困难。在这项工作中，我们通过强制 LSTM LM 中的各个单元在特定时间尺度上整合信息来构建可解释的多时间尺度表示。这使我们能够明确而直接地映射每个单独的 fMRI 体素编码的信息的时间尺度。此外，标准 fMRI 编码程序不考虑编码特征中不同的时间属性。我们修改了该程序，使其能够捕获短时间和长时间尺度信息。这种方法优于其他编码模型，特别是对于表示长时间尺度信息的体素。它还提供了人类语言通路中时间尺度信息的更细粒度图。这为未来研究人工和生物语言系统的时间层次提供了一个框架。
可解释的多时间尺度模型，用于预测对连续自然语音的 fMRI 反应
主要关键词
相关文件推荐
