自然语言包含多个时间尺度的信息。要了解人脑如何代表此信息,一种方法是使用从神经网络语言模型(LMS)中提取的表示fMRI对自然语言的反应进行编码模式。但是,这些LM衍生的代表并未在不同的时间表上明确分开信息,因此很难解释编码模型。在这项工作中,我们通过强迫LSTM LM中的单个单位来整合特定时间尺度的信息来构建可解释的多时间尺度表示形式。这使我们能够明确并直接映射每个fMRI Voxel编码的信息的时间尺度。此外,标准fMRI编码过程在编码功能中没有考虑不同的时间属性。我们修改了该过程,以便可以捕获短时和长时间的信息。这种方法超过了其他编码模型,特别是对于代表长时间信息的体素。它还在人类语言途径中提供了时间尺度信息的范围图。这是未来工作的框架,调查了人工和生物语言系统之间的时间层次结构。
主要关键词