摘要 - 从大脑信号中解码语言信息代表了脑部计算机之间的重要研究领域,尤其是在解密fMRI信号的语义信息的背景下。尽管现有工作使用LLM来实现此目标,但他们的方法并未使用端到端方法,并且避免了fMRI到文本的映射中的LLM,为探索LLM在听觉解码中留下了空间。在本文中,我们引入了一种新颖的方法,即大脑提示GPT(BP-GPT)。通过使用从fMRI提取的大脑表示,我们的方法可以利用GPT-2将fMRI信号解码为刺激文本。此外,我们介绍了文本提示,并将fMRI提示对齐。通过引入文本提示,我们的BP-GPT可以提取更强大的大脑提示,并促进预训练的LLM的解码。我们在开源的听觉语义解码数据集上评估了BP-GPT,与现有方法相比,所有受试者的流星的显着提高了流星的4.61%,而BERTSCORE的BERTSCORE则获得了2.43%。实验结果表明,将大脑表示作为进一步驱动听觉神经解码的LLM的提示是可行有效的。该代码可在https://github.com/1994cxy/bp-gpt上获得。索引术语 - 神经解码,大语言模型,fMRI,脑部计算机界面。
本研究由 K99AA030808 (DAAB) 和 R01DA54750 (RB) 资助。其他资助包括:AJG (DGE-213989)、SEP (F31AA029934)、ASH (K01AA030083)、RB (R21AA027827、U01DA055367)。本研究的数据由青少年大脑认知发展 (ABCD) 研究提供,该研究由美国国立卫生研究院和其他联邦合作伙伴颁发的 U01DA041022、U01DA041025、U01DA041028、U01DA041048、U01DA041089、U01DA041093、U01DA041106、U01DA041117、U01DA041120、U01DA041134、U01DA041148、U01DA041156、U01DA041174、U24DA041123 和 U24DA041147 奖项资助 (https://abcdstudy.org/federal-partners.html)。参与站点列表和研究调查员的完整列表可在 https://abcdstudy.org/consortium_members/ 上找到。ABCD 联盟调查员设计并实施了这项研究和/或提供了数据,但不一定参与了本报告的分析或撰写。本稿件反映的是作者的观点,可能不反映 NIH 或 ABCD 联盟调查员的意见或观点。
脑电图(EEG)和功能磁共振成像(fMRI)是两种常用的非侵入性技术,用于测量神经科学和脑部计算机接口(BCI)中的大脑活动。虽然脑电图具有较高的时间分辨率和低空间分辨率,但fMRI具有高空间分辨率和低时间分辨率。在这篇综述中,我们专注于在神经反馈(NF)中使用脑电图和fMRI,并讨论结合两种方式的挑战,以提高人们对大脑活动的了解并实现更有效的临床结果。已经开发出高级技术来同时记录脑电图和fMRI信号,以便更好地了解两种方式之间的关系。然而,脑过程的复杂性和脑电图和fMRI的异质性质在从组合数据中提取有用的信息时面临着挑战。我们将调查现有的EEG-FMRI组合和最近利用NF EEG-FMRI的研究,从而强调了实验和技术挑战。我们还将确定该领域的剩余挑战。
神经反馈 (NF) 允许通过返回从大脑活动测量中实时提取的信息来对自己大脑活动的特定方面进行自我调节。这些测量通常通过单一模态获得,最常见的是脑电图 (EEG) 或功能性磁共振成像 (fMRI)。EEG-fMRI-神经反馈 (EEG-fMRI-NF) 是一种新方法,它同时提供基于 EEG 和 fMRI 信号的 NF。通过利用这两种模态的互补性,EEG-fMRI-NF 为定义双模态 NF 目标开辟了新的可能性,这些目标可能比单模态目标更强大、更灵活、更有效。由于 EEG-fMRI-NF 允许反馈更丰富的信息,因此出现了一个问题,即如何同时表示 EEG 和 fMRI 特征,以便让受试者实现更好的自我调节。在这项工作中,我们建议在单个双模态反馈(集成反馈)中表示 EEG 和 fMRI 特征。我们介绍了两种用于 EEG-fMRI-NF 的整合反馈策略,并通过组间设计比较了它们对运动想象任务的早期影响。BiDim 组 (n=10) 获得了二维 (2D) 反馈,其中每个维度都描绘了一种模态的信息。UniDim 组 (n=10) 获得了一维 (1D) 反馈,通过将两种类型的信息合并为一个,进一步整合了这两种信息。UniDim 组的在线 fMRI 激活明显高于 BiDim 组,这表明 1D 反馈比 2D 反馈更容易控制。然而,BiDim 组的受试者产生了更具体的 BOLD 激活,右上顶叶的激活明显更强 (BiDim > UniDim,p < 0.001,未校正)。这些结果表明,2D 反馈鼓励受试者探索他们的策略以招募更具体的大脑模式。总而言之,我们的研究表明,1D 和 2D 集成反馈是有效的,但似乎也是互补的,因此可用于双模 NF 训练计划。总之,我们的研究为开发灵活有效的双模 NF 范式铺平了道路,这些范式充分利用双模信息并适用于临床应用。
摘要在缺席癫痫患者中,反复癫痫发作可以显着降低其生活质量,并导致尚无法治疗的合并症。缺失癫痫发作的特征是与意识的短暂变化相关的脑电图上的尖峰和波排放。但是,在癫痫发作期间和外部,大脑对外部刺激的反应仍然未知。这项研究旨在研究来自Strasbourg(Gaers)的遗传缺失癫痫大鼠(GAERS)的反应性,这是一种缺乏癫痫的大鼠模型。动物是使用安静的零回波时间,功能磁共振成像(fMRI)序列在非墨水清醒状态下成像的。在间隔和发作时期应用了感觉刺激。全脑血流动力学反应。此外,使用平均场模拟模型来解释状态之间视觉刺激的神经反应性的变化。在癫痫发作期间,对两种感觉刺激的全脑反应受到抑制并在空间上受到阻碍。在皮质中,尽管采用了刺激,但在癫痫发作期间血液动力学反应在癫痫发作期间呈负极极化。平均场模拟显示由于刺激引起的活动受到限制的传播,并且与fMRI发现很好地达成了一致。结果表明,在缺席的情况下,在这种缺失的癫痫过程中,缺乏癫痫发作会阻碍感官处理,甚至抑制了感官处理。
扩展了Ainsworth [7]的开创性工作,除了安全的依恋外,不安全的依恋样式可以分为三个不同的类别:焦虑,焦虑,避免和混乱的依恋模式。值得注意的是,这些类别与Bartholomew和Horowitz的[8]成人的依恋模式的分类法紧密相吻合,这些分类法可以通过焦虑的焦虑,避免和恐惧的模式。Brennan,Clark和Shaver [9]采用项目反应和因子分析方法来全面检查各种成人依恋测量。他们的调查确定了两个总体因素,称为焦虑和回避,它们囊括了多方面的附着构建体的很大一部分。依恋焦虑是这些关键因素之一,其特征是与拒绝的恐惧和对关注的需求有明显的联系。当伴侣显得无动于衷或不可用时,具有高水平的依恋焦虑的个体往往会逐渐增加压力,这种动态被恰当地称为过度激活。相比之下,避免依恋,第二个关键因素表现为依恋系统的停用,反映了涵盖以消除人际关系依赖性和亲密关系[10]。可怕的依恋模式对应于焦虑和回避依恋特征的高表达。这种矛盾对在强烈压力的条件下的社会应对策略的崩溃构成了重大威胁[17]。与焦虑或回避的有组织的依恋模式有关,这种混乱的样式与影响调节,人际问题和心理病理症状的更严重的困难有关[11-16] [11-16],因为避免恐惧的个体希望与依恋人物紧密相关,并且无法同时信任和依靠它们。先前的研究表明,这种样式在被诊断出严重成瘾性疾病的患者中很普遍,例如阿片类药物依赖性或多核酸固定使用障碍(Schindler等,2019)。
抽象的先前功能磁共振成像(fMRI)研究表明,前运动和顶脑区域的活性具有即将到来的抓地力强度。但是,尚不清楚如何在电动机执行之前最初表示有关预期的握力强度的信息,然后随后将其转换为电机代码。在这项fMRI研究中,我们使用多毒素模式分析(MVPA)来解码有关抓地力强度的信息以及何时在大脑中参数编码的有关抓地力强度的信息。 人类参与者执行了延迟的抓地力任务,其中在工作记忆(WM)中,必须在工作记忆(WM)中维持四个提示的握力强度之一,这是在9-S延迟到达前的电动机执行之前。 使用探照灯方法和支持向量回归的时间分辨MVPA,我们测试了哪些大脑区域显示出预期的握力强度的多元WM代码。 在早期延迟期间,我们观察到在腹侧额叶前皮层(VMPFC)中进行了高度的解码。 在晚期延迟期间,我们发现了一个动作特异性大脑区域的网络,包括双侧腔内沟(IPS),左背前皮层(L-PMD)和补充运动区域。 此外,还采用了交叉回归解码来测试早期和晚期延迟期之间激活模式的时间概括,并在提示表现和电动机执行过程中使用这些分解。 交叉回归解码表明在VMPFC中对提示周期的时间概括以及L-IPS和L-PMD中的运动执行。在这项fMRI研究中,我们使用多毒素模式分析(MVPA)来解码有关抓地力强度的信息以及何时在大脑中参数编码的有关抓地力强度的信息。人类参与者执行了延迟的抓地力任务,其中在工作记忆(WM)中,必须在工作记忆(WM)中维持四个提示的握力强度之一,这是在9-S延迟到达前的电动机执行之前。使用探照灯方法和支持向量回归的时间分辨MVPA,我们测试了哪些大脑区域显示出预期的握力强度的多元WM代码。在早期延迟期间,我们观察到在腹侧额叶前皮层(VMPFC)中进行了高度的解码。在晚期延迟期间,我们发现了一个动作特异性大脑区域的网络,包括双侧腔内沟(IPS),左背前皮层(L-PMD)和补充运动区域。此外,还采用了交叉回归解码来测试早期和晚期延迟期之间激活模式的时间概括,并在提示表现和电动机执行过程中使用这些分解。交叉回归解码表明在VMPFC中对提示周期的时间概括以及L-IPS和L-PMD中的运动执行。一起,这些发现表明,抓地力强度的WM表示会发生转换,其中VMPFC编码有关预期的握力的信息,后来在执行前将其转换为L-PIP和L-PMD中的电机代码。
次要结果测量1. 通过测量安慰剂和个体 INDV-2000 剂量治疗期间报告的不良事件(包括发生率、严重程度和治疗出现的不良反应 (TEAE)、严重不良事件 (SAE) 和导致停药或死亡的事件的相关性)来评估安全性和耐受性。 2. 将使用在提示反应任务之前和之后评估的阿片类药物渴求数值评定量表 (NRS) 的扫描差异来测量 INDV-2000 对患者报告的接触显著药物提示之前和之后渴求结果的影响。 3. 将在给药前、每次给药后定期以及受试者的最后一次随访时评估安全性和耐受性。 4. 将在第 1、8 和 15 天进行提示管理任务以及渴求和焦虑 NRS。
脑电图(EEG)和功能磁共振成像(fMRI)是两种常用的非侵入性技术,用于测量神经科学和脑部计算机接口(BCI)中的大脑活动。虽然脑电图具有较高的时间分辨率和低空间分辨率,但fMRI具有高空间分辨率和低时间分辨率。在这篇综述中,我们专注于在神经反馈(NF)中使用脑电图和fMRI,并讨论结合两种方式的挑战,以提高人们对大脑活动的了解并实现更有效的临床结果。已经开发出高级技术来同时记录脑电图和fMRI信号,以便更好地了解两种方式之间的关系。然而,脑过程的复杂性和脑电图和fMRI的异质性质在从组合数据中提取有用的信息时面临着挑战。我们将调查现有的EEG-FMRI组合和最近利用NF EEG-FMRI的研究,从而强调了实验和技术挑战。我们还将确定该领域的剩余挑战。
通过功能性磁共振成像 (fMRI) 或脑电图 (EEG) 这两种互补方式测量大脑活动,是神经反馈 (NF) 机制背景下大脑康复方案的基本解决方案。虽然 NF-EEG(根据 EEG 信号计算出的实时神经反馈分数)已经被探索了很长时间,但 NF-fMRI(根据 fMRI 信号计算出的实时神经反馈分数)出现得更晚,并且提供了更可靠的结果和更具体的大脑训练。同时使用 fMRI 和 EEG 进行双模态神经反馈疗程(NF-EEG-fMRI,根据 fMRI 和 EEG 计算出的实时神经反馈分数)对于制定大脑康复方案非常有前景。然而,fMRI 对患者来说很麻烦,也更累。本文的原创贡献涉及仅从 EEG 记录预测双模态 NF 分数,使用训练阶段,其中 EEG 信号以及 NF-EEG 和 NF-fMRI 分数都可用。我们提出了一个稀疏回归模型,该模型能够利用 EEG 仅预测运动想象任务中的 NF-fMRI 或 NF-EEG-fMRI。我们比较了从所提模型得出的不同 NF 预测因子。我们发现,与经典 NF-EEG 分数相比,从 EEG 信号预测 NF-fMRI 分数可以为 NF-EEG 分数添加信息,并显著提高与双模 NF 会话的相关性。