许多不同类型的脑部扫描 - 包括脑电图(“ EEG”)和功能性磁共振成像(“ fMRI”) - 用于不同的目的。脑电图通过放置在头皮上的电极来测量大脑的电活动,并且最常用于测试被告的记忆识别。1脑电图用于评估个人陈述的真实性,例如被告的不在场证明他们从未去过犯罪现场。2为了记录大脑功能,fMRIS遵循流向大脑特定区域的血液,并将这些“热点”叠加到大脑本身的三维计算机图像上。3这两种扫描均已使用,而被告经历了一系列问题或其他刺激。4电活动或“热点”记录为对特定问题的反应。
从 fMRI 脑记录中重建自然图像并解码其语义类别是一项挑战。获取足够多的图像对及其相应的 fMRI 响应(这些响应涵盖了巨大的自然图像空间)是难以实现的。我们提出了一种新颖的自监督方法,该方法远远超出了稀缺的配对数据,用于实现:(i)最先进的 fMRI 到图像重建,以及(ii)首次从 fMRI 响应进行大规模语义分类。通过在一对深度神经网络(从图像到 fMRI 和从 fMRI 到图像)之间施加循环一致性,我们在来自许多新颖语义类别的大量“未配对”自然图像(没有 fMRI 记录的图像)上训练我们的图像重建网络。这使得我们的重建网络能够适应非常丰富的语义覆盖,而无需任何明确的语义监督。具体而言,我们发现将我们的自监督训练与高级感知损失相结合,可以产生新的重建和分类能力。具体来说,这种感知训练能够很好地对从未见过的语义类别的 fMRI 进行分类,而无需在训练期间使用任何类别标签。这带来了:(i)前所未有的从从未见过的图像的 fMRI 图像重建(通过图像指标和人工测试进行评估),以及(ii)在网络训练期间对从未见过的类别进行大规模语义分类。以前从未证明过从 fMRI 记录中进行如此大规模(1000 种)语义分类。最后,我们为所学模型的生物一致性提供了证据。
抽象的静息状态功能性MRI(RS-FMRI)被广泛用于检查婴儿的动态大脑功能发育,但是这些研究通常需要精确的皮质细胞层析图,由于婴儿和成人之间功能性大脑的实质性差异,无法直接从基于成人的功能性分层图中借用。创建婴儿特异性皮层拟层图是高度期望的,但由于在获取和加工婴儿脑MRIS上的困难,因此仍然具有挑战性。在这项研究中,我们利用了1064个高分辨率的纵向RS-FMRIS,从197个通常从出生到24个月的婴儿和幼儿开始,他们参加了Baby Connectome项目,以开发第一组婴儿,表面性的,表面基于表面的皮质功能型映射。为了建立跨个体的有意义的皮质功能对应关系,我们使用皮质折叠几何特征和功能连接性(FC)进行了皮质共同注册。然后,我们根据年龄相关和与年龄无关的皮质划线图产生了基于跨个体的局部FC的局部梯度图,在婴儿期间具有超过800个细粒度的包裹。这些分析图揭示了复杂的功能发育模式,例如局部梯度,网络规模和局部效率的变化,尤其是在产后的前9个月。我们的生成细粒婴儿皮层功能分析图可在https:// www上公开获得。nitrc.org/projects/infanturfatlas/用于前进儿科神经影像学领域。
