使用深层神经网络越来越多地研究了大脑连接与非成像表型之间的关系。但是,在卷积网络设计中通常会忽略大脑白奇网络的局部和全球性能。我们介绍了Tractgraphformer,这是一种混合图CNN-Transformer的深度学习框架,该框架是针对扩散MRI拖拉术的。该模型利用白质结构的局部解剖特征和全局特征依赖性。图形CNN模块捕获了白质的几何形状和灰质连接到从解剖上相似的白色物质连接中汇总局部特征,而变压器模块则使用自我注意来增强全球信息学习。此外,TractGraphFormer还包括一个用于解释预测白质连接的注意模块。在性别预测测试中,TractGraphFormer在大的儿童数据集(n = 9345)和年轻人(n = 1065)中表现出强烈的表现。总的来说,我们的方法表明,WM中的广泛连接可以预测一个个体的性别,并且在两个数据集中确定了一致的预测解剖区。提出的方法突出了整合局部解剖信息和全球特征依赖性的潜力,以通过扩散MRI拖拉术在机器学习中提高预测性能。
主要关键词