近年来,通过计算分析功能性磁共振成像(fMRI)数据来发现大脑有效连接(EC)网络在神经科学和神经成像领域引起了广泛关注。然而,由于数据采集和处理过程中受到多种因素的影响,fMRI数据通常表现出高噪声和有限的样本特征,从而导致当前方法的性能不佳。在本文中,我们提出了一种基于元强化学习的新型大脑有效连接发现方法,称为MetaR-LEC。该方法主要包含三个模块:参与者、评论家和元评论家。MetaRLEC首先采用编码器-解码器框架:编码器利用转换器将嘈杂的fMRI数据转换为状态嵌入,解码器采用双向LSTM从状态中发现大脑区域依赖关系并生成动作(EC网络)。然后,批评网络评估这些动作,激励参与者在高噪音环境中学习更高回报的动作。最后,元批评框架促进历史状态动作对的在线学习,整合动作值神经网络和补充训练损失,以增强模型对小样本 fMRI 数据的适应性。我们对模拟数据和现实世界数据进行了全面的实验,以证明我们提出的方法的有效性。
主要关键词