机构名称：
¥ 1.0
摘要：利用功能性磁共振成像（fMRI）构建功能连接是基于深度学习的脑分析的一个成熟范例。近年来，得益于大规模多模态预训练数据带来的显著有效性和泛化能力，视觉-语言（VL）模型在众多医疗任务中取得了优异的表现。然而，将预训练的 VL 模型应用于脑分析面临着两个重大挑战：（1）缺乏配对的 fMRI-文本数据；（2）从多模态数据构建功能连接。为了应对这些挑战，我们提出了一种 fMRI-文本协同提示学习（fTSPL）流程，该流程首次利用预训练的 VL 模型来增强脑分析。在 fTSPL 中，我们首先提出一种激活驱动的脑区文本生成 (ABTG) 方案，该方案可以自动生成描述每个 fMRI 的实例级文本，然后利用 VL 模型学习多模态 fMRI 和文本表示。我们还通过建立 fMRI 文本表示和脑区嵌入之间的相关性，提出了一种提示增强的多模态功能连接构建 (PMFCC) 方案。该方案作为即插即用的初步方案，可以连接到各种图神经网络 (GNN) 进行大脑分析。在 ABIDE 和 HCP 数据集上的实验表明，我们的流程在脑分类和预测任务上的表现优于最先进的方法。代码可在 https://github.com/CUHK-AIM-Group/fTSPL 获得。
fTSPL：通过 fMRI 文本协同提示学习增强大脑分析
主要关键词
相关文件推荐
