我们提出了一种多模态图卷积网络 (M-GCN),它整合了静息态 fMRI 连接和弥散张量成像纤维束成像来预测表型测量。我们的专门 M-GCN 过滤器在逐个主题的结构连接组的指导下,以拓扑方式作用于功能连接矩阵。结构信息的纳入还可充当正则化器,并有助于提取可预测临床结果的丰富数据嵌入。我们在来自人类连接组项目的 275 名健康个体和来自内部数据的 57 名被诊断为自闭症谱系障碍的个体上验证了我们的框架,以分别预测认知测量和行为缺陷。我们证明 M-GCN 在五重交叉验证环境中的表现优于几种最先进的基线,并从健康和自闭症人群中提取了预测性生物标志物。因此,我们的框架提供了表征灵活性,可以利用结构和功能的互补性质,并在训练数据有限的情况下将这些信息映射到表型测量。关键词:图卷积网络、功能连接组学、结构连接组学、多模态整合、表型预测、自闭症谱系障碍
1 巴黎大学医院集团精神病学和神经科学,大学医院部门大学医院中心巴黎 15,75014 巴黎,法国,2 巴黎萨克雷大学,CEA,Neurospin,F-91191,吉夫河畔伊维特,法国,3 认知神经科学研究所,伦敦大学学院,伦敦 WC1E 6BT,英国,4 成人精神病学系,Pitié Salpêtrière 大学医院,75013 巴黎,法国,5 AP-HP,H. Mondor 大学医院,DMU IMPACT,FHU ADAPT,F-94010,克雷泰伊,法国,6 神经科学中心,圣路易斯医院集团,Lariboisière Fernand Widal Assistance Publique-Hospitals of Paris,75010 巴黎,法国,7 巴斯德医学中心, 94550 Chevilly-Larue,法国,8 康塞普西翁大学工程学院,康塞普西翁 4070386,智利,9 巴黎东克雷泰伊大学,INSERM,IMRB,转化神经精神病学,FondaMental 基金会,F-94010,克雷泰伊,法国,10 法国学院,巴黎 75005,法国
在2岁时认识到认知能力降低的非常早产的婴儿(≤32周的胎龄)。然而,直到3-5岁左右的童年,才能对认知能力的准确临床诊断。最近,由高级扩散张量成像(DTI)技术构建的大脑结构连接组在理解人类认知功能方面发挥了重要作用。然而,具有临床和结果信息的可用的带注释的神经影像学数据集通常有限且昂贵,无法在早产儿的研究中扩大。这些挑战阻碍了新生儿预后工具的发展,以早产儿的认知能力早期预测。在这项研究中,我们将大脑结构连接组视为2D图像,并应用了建立的深卷积神经网络,以学习大脑连接组的空间和拓扑信息。此外,转移学习技术还用于减轻不足的培训数据的问题。因此,我们开发了一种转移学习增强的卷积神经网络(TL-CNN)模型,用于使用脑结构连接素体的非常早产的婴儿在2岁时对认知评估的早期预测。总共有110名非常早产的婴儿参加了这项工作。大脑结构连接组是使用在期限年龄扫描的DTI图像构建的。Bayley III认知评估是在2岁的校正年龄进行的。我们将提出的模型应用于认知定义分类和连续认知评分预测任务。结果表明,与多个同行模型相比,TL-CNN的性能提高了。最后,我们确定了大脑区域最歧视性的认知能力。结果表明,深度学习模型可能会促进早期婴儿在期限年龄的早产儿中的后期神经发育结局的早期预测。
摘要。连接分析是研究硬连线大脑结构以及与人类认知相关的灵活功能动力学的强大技术。最近的多模态连接研究面临着将功能和结构连接信息组合成一个集成网络的挑战。在本文中,我们提出了一个带有图约束弹性网络(Graph-Net)的单纯形回归模型,以低模型复杂度以生物学有意义的方式估计由结构连接丰富的功能网络。我们的模型使用稀疏单纯形回归框架构建功能网络,并基于 GraphNet 约束丰富结构连接信息。我们将我们的模型应用于真实的神经影像数据集,以展示其预测临床评分的能力。我们的结果表明,与使用单一模态相比,整合多模态特征可以检测到更敏感和更细微的大脑生物标志物。