我们提出了 MindEye,一种新颖的 fMRI 到图像方法,用于从大脑活动中检索和重建所看到的图像。我们的模型包含两个并行子模块,专门用于检索(使用对比学习)和重建(使用扩散先验)。MindEye 可以将 fMRI 大脑活动映射到任何高维多模态潜在空间,如 CLIP 图像空间,从而能够使用接受来自该潜在空间的嵌入的生成模型进行图像重建。我们使用定性的并排比较和定量评估,将我们的方法与其他现有方法进行了全面比较,并表明 MindEye 在重建和检索任务中都达到了最先进的性能。特别是,即使在高度相似的候选图像中,MindEye 也可以检索出精确的原始图像,这表明它的大脑嵌入保留了细粒度的图像特定信息。这使我们能够准确地从 LAION-5B 等大型数据库中检索图像。我们通过消融证明,Mind-Eye 的性能优于以前的方法,这得益于专门用于检索和重建的子模块、改进的训练技术以及具有更多数量级参数的训练模型。此外,我们还表明,通过使用 img2img,MindEye 可以更好地保留重建中的低级图像特征,并使用单独的自动编码器进行输出。所有代码均可在 GitHub 上找到。
摘要:从记录大脑活动的 fMRI 信号中重建视觉刺激是一项具有挑战性的任务,在神经科学和机器学习领域具有重要的研究价值。先前的研究倾向于强调重建刺激图像的像素级特征(轮廓、颜色等)或语义特征(对象类别),但通常这些属性不会一起重建。在这种情况下,我们介绍了一种新颖的三阶段视觉重建方法,称为双引导脑扩散模型 (DBDM)。首先,我们使用非常深的变分自动编码器 (VDVAE) 从 fMRI 数据中重建粗略图像,捕捉原始图像的底层细节。随后,使用引导语言图像预训练 (BLIP) 模型为每个图像提供语义注释。最后,利用多功能扩散 (VD) 模型的图像到图像生成管道从由视觉和语义信息引导的 fMRI 模式中恢复自然图像。实验结果表明,DBDM 在定性和定量比较方面均超越了以前的方法。特别是,DBDM 在重建原始图像的语义细节方面取得了最佳性能;Inception、CLIP 和 SwAV 距离分别为 0.611、0.225 和 0.405。这证实了我们模型的有效性及其推动视觉解码研究的潜力。
在脑卒中后康复策略中,训练运动想象 (MI) 和运动观察 (MO) 任务正被广泛利用来促进大脑可塑性。这可能得益于使用闭环神经反馈,嵌入脑机接口 (BCI) 以提供替代的非肌肉通道,该通道可通过虚拟现实 (VR) 传递的具体反馈进一步增强。在这里,我们在一组健康成年人中使用功能性磁共振成像 (fMRI) 来绘制由基于 VR-BCI 范式的生态有效任务 NeuRow 引起的大脑激活,参与者用左臂或右臂进行划船的 MI(即 MI),同时以第一人称视角观察同一侧化身的虚拟手臂的相应运动(即 MO)。我们发现,与基于 Graz BCI 范式的传统 MI 任务以及明显的运动执行任务相比,此 MI-MO 任务引发了更强的大脑激活。它除了激活躯体运动和运动前皮质外,还激活了大部分顶叶和枕叶皮质,包括与动作观察相关的镜像神经元系统 (MNS),以及与视觉注意力和运动处理相关的视觉区域。总体而言,我们的研究结果表明,生态有效的 MI-MO 任务中手臂的虚拟表示比传统的 MI 任务更能激发大脑的参与,我们建议可以探索更有效的神经康复方案。
抽象功能磁共振成像(fMRI)已被证明是非侵入性测量人脑活动的强大工具。然而,到目前为止,fMRI的时间分辨率相对有限。一个关键挑战是了解神经活动与从fMRI获得的血氧水平依赖性(BOLD)信号之间的关系,通常由血液动力学反应函数(HRF)建模。人力资源管理的时机在整个大脑和个人之间各不相同,使我们对基础神经过程的时机进行推断的能力感到困惑。在这里,我们表明静止状态fMRI信号包含有关HRF时间动力学的信息,这些信息可以利用,这些信息可以利用,以理解和表征皮质和皮层下区域的HRF时序变化。我们发现,在人类视觉皮层中,静息状态fMRI信号的频谱在快速与慢速HRF的体内之间存在显着不同。这些频谱差异也扩展到亚皮层,揭示了丘脑侧向核核中的血液中正时的明显更快。最终,我们的结果表明,HRF的时间特性会影响静止状态fMRI信号的光谱含量,并启用相对血液动力学响应时序的体素特征。此外,我们的结果表明,应谨慎使用静止状态fMRI光谱特性,因为fMRI频率含量的差异可能来自纯粹的血管起源。这一发现提供了对跨体素信号的时间特性的新见解,这对于准确的fMRI分析至关重要,并增强了快速fMRI识别和跟踪快速神经动力学的能力。
新兴的行为研究表明,在冷水中定期游泳会对心理健康和福祉产生积极影响,例如减轻疲劳,改善情绪和减轻抑郁症状。此外,一些研究报告了冷水浸入(CWI)对提升情绪和提高积极情绪状态的立即影响。但是,这些作用的神经机制在很大程度上未知。缺乏使用神经影像学技术来研究全身CWI如何影响神经过程的研究部分是由于缺乏测试的实验方案而导致的。先前的方案施用了滋补四肢冷却(1-10°C),同时记录功能磁共振(fMRI)信号。然而,使用非常低的水温构成与痛苦的体验相反的点,这些体验与全身头脑外CWI后经历的经历不同。在我们的方案中,对冷水未生长的健康成年人进行了两次扫描:在(前CWI前)和(CWI后)浸入冷水(水温20°C)5分钟之后(CWI前)。我们记录了对CWI的心脏和通气反应,并评估了积极和负面影响的自我报告的变化。我们的方案显示出短暂接触冷水后,大脑连通性的可靠变化,从而使其在未来的研究中用作经过测试的实验框架。
摘要:在过去的 10 年中,使用神经影像数据将受试者分类为健康或患病引起了广泛关注,最近,人们使用了不同的深度学习方法。尽管如此,还没有任何研究关于 3D 增强如何帮助创建更大的数据集,而这需要训练具有数百万个参数的深度网络。在本研究中,深度学习被应用于静息状态功能 MRI 数据的导数,以研究不同的 3D 增强技术如何影响测试准确性。具体来说,ABIDE(自闭症脑成像数据交换)预处理中的 1112 名受试者的静息状态导数被用于训练 3D 卷积神经网络 (CNN),以根据自闭症谱系障碍的存在与否对每个受试者进行分类。结果表明,增强只能为测试准确性提供微小的改进。
神经科学研究旨在找到准确可靠的大脑有效连接组(EC)。尽管当前的EC发现方法有助于我们对大脑组织的理解,但它们的性能受到fMRI数据的短样本量和差的时间分辨率的严重限制,以及大脑连接组的高维度。通过利用DTI数据作为先验知识,我们介绍了两个贝叶斯因果发现框架 - 贝叶斯魔像(BGOLEM)和贝叶斯FGES(BFGES)方法 - 这些方法可显着准确,更可靠的EC,并解决现有的Causal Discovery方法仅基于FMRI数据的现有Causal Discovery方法的缺点。此外,要使用我们的经验数据方法来评估EC的准确性的提高,我们将伪发现率(PFDR)引入了大脑中因果发现的新计算准确度量。通过一系列关于合成和杂种数据的模拟研究(将人类连接组项目(HCP)受试者和合成fMRI的DTI结合在一起),我们证明了我们提出的方法的有效性以及引入度量指标在发现EC中的可靠性。通过采用PFDR指标,我们表明,与传统方法相比,当应用于人类连接项目(HCP)数据时,我们的贝叶斯方法可显着准确。另外,我们使用Rogers-Tanimoto索引进行重新测试数据来衡量发现EC的可重复性,并表明我们的贝叶斯方法提供了比传统方法更可靠的EC。总体而言,我们的研究的数值和视觉结果突出了这些框架可显着提高我们对大脑功能的理解的潜力。
1 智利圣地亚哥天主教大学工程、医学和生物科学学院生物和医学工程研究所,2 智利瓦尔帕莱索大学脑动力学实验室,3 智利维尼亚德尔马安德烈斯贝洛大学工程学院健康与福祉创新技术研究所,4 英国伦敦大学学院认知神经科学研究所,5 美国纽约州纽约市哥伦比亚大学精神病学系,6 英国伦敦大学学院神经病学研究所威康人类神经影像中心,7 美国田纳西州孟菲斯市圣裘德儿童研究医院,8 西班牙瓦伦西亚瓦伦西亚研究生院和人工智能研究网络,9 西班牙瓦伦西亚大学工程学院电子工程系
我们通过功能性磁共振成像测量了六名年轻健康参与者在解决数学问题时的大脑激活情况。参与者解决了从必要算术运算测试 (NAOT) 中选出的问题,已知该测试与流畅推理任务相关。在三种情况下,参与者解决需要 (1) 一次操作(简单问题)、(2) 两次操作(困难问题)或 (3) 简单阅读和匹配单词(匹配问题)的问题,以控制 N A O T 问题的感知、运动和文本阅读需求。与匹配问题相比,受试者解决简单问题时观察到主要双侧额叶激活和最小后部激活。与简单问题相比,困难问题中观察到左顶叶区域的较小双侧额叶、颞叶和侧向激活。所有这些区域在困难问题中比在匹配问题中激活得更多。这些激活中的许多发生在与工作记忆相关的区域。这些结果表明,流畅推理是由工作记忆系统的复合体介导的,其中包括中央执行和领域特定数字和言语工作记忆。简介 数学问题解决是一项多组分认知任务,需要工作记忆、从属系统和中央执行的所有方面。算术运算的执行是数学问题解决中一个研究得很好的组成部分。许多病变和脑成像研究已经将对算术运算至关重要的大脑区域定位到与工作记忆相关的区域。在执行基本算术运算时,工作记忆被查询为中间产品,这些产品对于后续操作是必需的,必须积极维护,直到当前处理完成。数学问题解决中另一个尚未受到太多关注的组成部分是算术推理。在更复杂的问题中需要算术推理来确定解决给定问题需要哪些算术运算。在执行算术推理的过程中,需要进行目标管理、策略转变和规划作为评估
材料和方法:这是一项在受控观察环境下使用功能性磁共振成像 (fMRI) 对单个受试者进行的实验研究。选定的受访者正在执行基于两种视觉条件的任务,其中向受访者显示两种不同类型的图像(容易和困难的鸟类)。要求受试者识别特定的鸟类图像以可视化决策过程中使用的体素。前额叶皮质的三个布罗德曼区域(BA 10、BA 11 和 BA 47)被选为感兴趣区域。本研究分析了在做出与两种视觉条件相关的普通决策时激活的大脑区域。应用多变量技术多层感知器 (MLP) 神经网络对受访者在执行视觉任务时做出的两个普通决策进行分类。