摘要 - 从大脑信号中解码语言信息代表了脑部计算机之间的重要研究领域,尤其是在解密fMRI信号的语义信息的背景下。尽管现有工作使用LLM来实现此目标,但他们的方法并未使用端到端方法,并且避免了fMRI到文本的映射中的LLM,为探索LLM在听觉解码中留下了空间。在本文中,我们引入了一种新颖的方法,即大脑提示GPT(BP-GPT)。通过使用从fMRI提取的大脑表示,我们的方法可以利用GPT-2将fMRI信号解码为刺激文本。此外,我们介绍了文本提示,并将fMRI提示对齐。通过引入文本提示,我们的BP-GPT可以提取更强大的大脑提示,并促进预训练的LLM的解码。我们在开源的听觉语义解码数据集上评估了BP-GPT,与现有方法相比,所有受试者的流星的显着提高了流星的4.61%,而BERTSCORE的BERTSCORE则获得了2.43%。实验结果表明,将大脑表示作为进一步驱动听觉神经解码的LLM的提示是可行有效的。该代码可在https://github.com/1994cxy/bp-gpt上获得。索引术语 - 神经解码,大语言模型,fMRI,脑部计算机界面。
和dp1 2 5。1 7。b tl U.E.s无(1 88)1 4 i n d。3 8 1,1 6 ne。3 4 2; b l o c k k vf a l Mou或c(1 8 87 5 k。1 8 4,3 Sw1 29; c o l f ad:c ovl和n或n(1 8 8 6)69 I O W A 68 3。29 nw7 8 0 0; C H A M N这一天(1 853)37 m a i n e 7 6; W m p。s tl o is and t c crrc(1 88 1 2 2 1 11。1 9 6,1 1 Ne。9 0 6; S H L E R V E R V通道(1 8 9 5)1 6 8 P As t30,31 a tl9 4 3。c o n,决赛。这是C O(1 8 1 1)3 7 OH I O S T A T E 3 39; pi t t s b和c r r c v g和m(1 858)3 2 p a s t 3 4 0; FRA和D D V n j s t n e c o (1 8 7 8)2 9 N j e q(1 8 1 1)3 7 OH I O S T A T E 3 39; pi t t s b和crrcvg和m(1 858)3 2 p as t3 4 0; FRA和D D Vnjs t n e c o(1 8 7 8)2 9 Nje q
了解人类大脑如何处理听觉输入仍然是一个挑战。传统上,人们会区分低级和高级声音特征,但它们的定义取决于特定的理论框架,可能与声音的神经表征不匹配。在这里,我们假设构建一个数据驱动的听觉感知神经模型,对相关声音特征做出最少的理论假设,可以提供一种替代方法,并可能更好地匹配神经反应。我们收集了六名观看长时间故事片的患者的皮层脑电图记录。原始电影配乐用于训练人工神经网络模型以预测相关的神经反应。该模型实现了高预测准确率,并且很好地推广到第二个数据集,其中新参与者观看了不同的电影。提取的自下而上的特征捕捉了特定于声音类型的声学特性,并与各种响应延迟曲线和不同的皮质分布相关。具体而言,一些特征编码了与语音相关的声学特性,其中一些特征表现出较短的延迟曲线(与后外侧裂皮质中的反应相关),而另一些特征表现出较长的延迟曲线(与前外侧裂皮质中的反应相关)。我们的研究结果支持并扩展了当前对语音感知的看法,证明了外侧裂皮质中存在时间层次,并且在视听语音感知过程中涉及该区域以外的皮质部位。
使用代码调节的诱发潜力(C-VEP)对脑部计算机界面(BCIS)进行研究,最近取得了显着的进步(Martínez-Cagigal等,2021)。这些突破归因于刺激协议的复杂设计和创新的解码技术,它们共同建立了基于C-DEP的BCIS作为通信和控制应用程序的当前最新技术。该研究主题旨在通过促进原始贡献来推动领域的前进,并特别着眼于提高C-DEP驱动的BCI系统的可用性,可靠性和实用性。的目标是更加关注这一新兴领域,尽管它取得了显着的成就,但仍需要在临床环境和日常生活中促进这些技术的广泛采用。C-VEP刺激方案与其他主要类别的诱发反应明显不同,例如与事件相关的电位(ERP)和稳态视觉诱发的潜力(SSVEP)(Martínenez-Cagigal等人,2021年)。ERP协议通常基于奇数范式,其速度要慢得多,典型的刺激发作异步(SOA)约为250 ms(4 Hz),而C-vep中使用的至少16 ms(60 Hz)的速度相比。同样,尽管与ERP相比,SSVEP范式也相对较快,但SSVEP协议依赖于频率的方法,在这种方法中,刺激仅限于具有特定频率和相位的周期性信号。相比之下,C-VEP协议采用了噪声方法,允许更广泛的刺激序列(包括非周期性模式),同时还表现出对窄带干扰的更大弹性。此外,最近的证据表明,从信息理论的角度来看,在基于C-DEP的BCIS中,可以通过视觉诱发的途径达到的最大信息传输速率显着超过了基于SSVEP的系统(Shi等,2024)。
[1] 马克斯普朗克人类认知与脑科学研究所神经病学系,莱比锡 04103,德国 [2] 柏林夏里特医学院伯恩斯坦计算神经科学中心,柏林 10117,德国 [3] 罗氏制药研究与早期开发、神经科学与罕见疾病,罗氏巴塞尔创新中心,F.霍夫曼-罗氏有限公司,巴塞尔,4070,瑞士 [4] 莱比锡大学 LIFE – 文明疾病研究中心,莱比锡,04109,德国 [5] IU 国际应用技术大学心理学系,埃尔福特,53604,德国 [6] 莱比锡大学医学中心精神病学和心理治疗系,莱比锡,04103,德国 [7] 精神病学、心身医学和心理治疗,法兰克福歌德大学,法兰克福,60323,德国 [8] 医学信息学,统计学和流行病学研究所(IMISE),莱比锡大学,莱比锡,04109,德国 [9] 认知神经病学系,莱比锡大学医院,莱比锡,04103,德国 [10] 神经物理学组,神经病学系,夏里特 - 柏林大学医学院,柏林,10117,德国
在扩大资源发展的背景下以及地下空间的利用,工程灾难(例如滑坡,隧道倒塌,地震,碎片流和城市基础设施故障),导致了实质性的经济损失和伤亡。复杂的环境因素,包括弱或不稳定的地质结构,液压和大气压影响,大降雨和水位波动,流体 - 固定的耦合,地震和外部动态干扰,会显着影响强度,变形和稳定性的岩土技术材料的稳定性(Han et and。等,2024; Han等,2018)。因此,在复杂的环境中调查和理解工程灾难的演化机制和开发有效的灾难控制方法已成为工程界的关键任务。为了促进预防灾难和控制的研究进度,并促进同龄人之间的交流,我们很荣幸介绍研究主题:“在复杂环境下进行工程灾难的进化机制和控制方法。”该研究主题旨在收集最先进的研究结果,新方法,案例研究和审查文章,特别关注与灾难控制方法和失败演化机制有关的研究。该研究主题受到了广泛的关注和许多提交。该项目现已得出结论,共有29篇发表的论文涵盖了灾难分析
在生物学研究的动态领域中,我们目睹了一个变革性的时代,重新掌握了我们对细胞功能,发育过程和疾病复杂性的掌握。这一科学文艺复兴时期的核心是单细胞(SC)基于OMICS的分析,包括单细胞多组合的领先技术,以及基于创新的干细胞方法。这些技术已经催化了一系列发现,为我们寻求知识和彻底改变了科学研究的景观开辟了新的边界。干细胞的探索标志着这一旅程中重要的一章。以其显着的自我更新和分化能力而闻名,干细胞对于维持组织平衡和增生至关重要。对它们的性质和生物过程的这种更深入的了解不仅提高了再生医学领域,而且还引入了潜在的治疗策略来打击各种疾病,为全球提供了新的希望和治疗可能性。此外,将体细胞重编程为多能干细胞的过程是特别引人注目的进步。该技术可以通过从患者或基因工程中得出细胞来反映特定疾病,从而创建各种疾病模型,从而提供了一种强大的工具来以更加个人和精确的水平探索疾病机制。对干细胞生物学和疾病建模的这种见解展示了一个有希望的突破性领域,以前比作科学领域。Zhang等。Zhang等。它还改善了药物筛查方法,从在单一细胞上测试候选药物到在复杂的组织上测试具有许多类型的细胞在一起的复杂组织,它们可以更好地模拟体内的真实病理状况。本评论的研究主题探讨了SC-Ser-sequesting技术的变革性影响,尤其是它们扩展到SC-Multiomics,使用干细胞作为推进疾病理解,诊断和药物发现的平台。应对药物开发的持续挑战,例如成功率低
国际基因工程与生物技术中心(ICGEB)为发展中国家的利益进行生命科学的创新研究。它通过向成员国的培训,实习和资助计划以及咨询服务来增强其成员的研究能力。该中心采用一种全面的方法来促进国际生物技术,并致力于分子生物学和生物技术的高级研究和培训,并在公共卫生领域,能源生产,高添加价值商品,营养和环境保护/修复/修复领域的应用中有应用。其专业知识也由国际机构和成员国就生物安全征求。
我们提出了一个控制理论框架来研究嵌入在模拟环境中的生物驱动人工神经系统(Sussillo,2014)的稳定性和可控性。从高层的角度来看,这个框架模拟了脑-机-环境的相互作用。我们首先考虑建模一个神经系统在虚拟环境中执行行为任务的问题。用控制理论的语言来说,神经系统与环境过程形成一个闭环反馈控制器。在第二步中,我们模拟神经系统的退化(例如在传感器或执行器处)并添加一个二级控制器(假肢),目的是恢复行为功能。在此过程中,我们考虑了大脑模型中的不确定性、非线性、测量噪声以及可观察状态和可控神经元的有限可用性。神经系统,从单个神经元到大规模群体,都以复杂的动态为特征,建模和控制可能具有挑战性(Ritt and Ching,2015)。经典控制理论(Khalil,2002;Brunton 和 Kutz,2017;Astrom 和 Murray,2020)为设计控制律提供了强大的工具,并在神经技术领域得到广泛应用,例如机械臂或计算机光标的闭环脑机接口 (BMI) 控制(Shanechi 等人,2016)、癫痫发作缓解的模型预测控制(Chatterjee 等人,2020)以及大脑在认知状态之间转换的机制解释(Gu 等人,2015)。闭环控制的一个特别成功的应用是通过深部脑刺激治疗帕金森病。在那里,可以使用基于阈值、比例积分或自调节控制器将病理性 β 波段振荡活动抑制在所需的目标水平(Fleming 等人,2020a、b)。 Schiffi (2011) 建立了一种将控制理论与神经科学和生物医学联系起来的典型方法,其中时空皮质动态模型与卡尔曼滤波器相结合,以估计未观察的状态并跟踪未知或漂移的模型参数。神经形态社区中的团队最近通过实现生物学上合理的操作和学习状态估计和控制规则(Friedrich 等人,2021;Linares-Barranco 等人,2022)以及神经形态 BMI 电路(Donati 和 Indiveri,2023)为这项工作做出了贡献,这有望在低功耗运行时实现更好的生物相容性。在上述许多方法中反复出现的一些挑战是线性(可实现)或低维系统的假设、对底层动态的知识或所需目标状态的可用性(如帕金森病的 DBS)。本文针对这些局限性做出了两项主要贡献。首先,我们建议一致使用动力系统来模拟大脑、环境、和假肢。除了统一方法论之外,这种选择还可以灵活地对不同程度的真实模型进行实验。在这里,我们展示了循环神经网络 (RNN) 作为神经系统和假肢的简单、高度可扩展的构建块的使用。其次,我们逐步消除了线性、系统知识、完全可观测性和监督目标状态的假设,通过使用强化学习 (RL)(Sutton 和 Barto,2020 年)进行系统识别和合成假肢控制器。