深度学习模型在分析高维功能MRI(fMRI)数据的分析方面已使性能飞跃。然而,许多以前的方法对各种时间尺度的上下文表示次优敏感。在这里,我们提出了螺栓,这是一种血氧级依赖性变压器模型,用于分析多变量fMRI时间序列。螺栓利用一系列具有新型融合窗户注意机制的变压器编码器。编码是在时间序列中的时间段窗口上执行的,以捕获本地表示。为了暂时整合信息,在每个窗口中的基本令牌和来自相邻窗口的边缘令牌之间计算跨窗口的注意力。逐渐从局部到全球表示,窗口重叠的程度以及在整个级联反应中的数量逐渐增加。最后,一种新型的跨窗口正规化用于整个时间序列的高级分类特征。大规模公共数据集的全面实验证明了螺栓对最新方法的出色性能。此外,解释性分析是为了确定有助于建模决策最大程度贡献的具有里程碑意义的时间点和区域,证实了文献中突出的神经科学发现。
主要关键词