XiaoMi-AI文件搜索系统
World File Search SystemECOG
从脑记录中解码文本的深度架构
方法。— 在本研究中，我们提出了一种新颖的深度网络架构 Brain2Char，用于直接从直接脑记录（称为皮层脑电图，ECoG）解码文本（特别是字符序列）。Brain2Char 框架结合了最先进的深度学习模块 - 用于从神经数据中提取多波段时空特征的 3D Inception 层和双向循环层、扩张卷积层，然后是用于解码字符序列的语言模型加权波束搜索，以及优化联结主义时间分类损失。此外，考虑到皮层功能转换为字符序列所依赖的高度非线性变换，我们对网络的潜在表示进行了正则化，其动机是对语音产生的皮层编码和特定于 ECoG 数据采集的人工方面的洞察。为此，我们对发声运动、语音声学和会话特定非线性的潜在表示施加了辅助损失。
从脑记录中解码文本的深度架构
方法。— 在本研究中，我们提出了一种新颖的深度网络架构 Brain2Char，用于直接从直接脑记录（称为皮层脑电图，ECoG）解码文本（特别是字符序列）。Brain2Char 框架结合了最先进的深度学习模块 - 用于从神经数据中提取多波段时空特征的 3D Inception 层和双向循环层、扩张卷积层，然后是用于解码字符序列的语言模型加权波束搜索，以及优化联结主义时间分类损失。此外，考虑到皮层功能转换为字符序列所依赖的高度非线性变换，我们对网络的潜在表示进行了正则化，其动机是对语音产生的皮层编码和特定于 ECoG 数据采集的人工方面的洞察。为此，我们对发声运动、语音声学和会话特定非线性的潜在表示施加了辅助损失。
基于CRISPR的功能基因组学用于神经系统疾病
摘要 - 电代理（ECOG）基于双向（BD）脑部计算机界面（BCIS）是即将到来的技术，有望帮助恢复具有运动和感觉效果的人的功能。这种范式的一个主要问题是，引起人工感觉所需的皮质刺激会产生强大的电伪影，从而通过饱和记录记录放大器或掩盖使用的使用神经信号来破坏BCI操作。即使使用最新的硬件伪影方法，仍然需要强大的信号处理技术来抑制数字后端存在的残留伪像。在此，我们使用临床神经刺激程序中记录的ECOG数据进行了保释前和无效伪影方法的有效性。我们的方法达到了21.49 dB的最大伪像压力，并显着增加了频域中无伪影频率的数量。这种性能超过了更传统的独立组件分析方法，同时保留了降低的复杂性并提高了计算效率。
揭示了人类使用皮质摄影的事件相关电位的生理起源
图3。ERP分析及其结果的概述。 A. 在受试者S3中表现出由听觉刺激（红点）或按钮按（绿点）引起的诱发电势的位置。 B. 在听觉刺激（左）和位置A1和M1的纽扣刺激期间ECOG活动的时间课程及其跨审判平均值。 位置A1处的单次试验ECOG响应在刺激发作处进行相锁定，并表现出与跨审判平均值相同的N1，P1和P2分量。 相比之下，位置M1处的单次试验ECOG响应在运动开始时没有相锁，因此在所有试验中，平均没有诱发的电位。 相反，在所有试验中的平均水平造成了缓慢的皮质潜力。 C。位于A1-3和M1-2的平均AEP（左侧的红色痕迹）和MRP（右侧的绿色痕迹）及其在受试者S3中的平均值。 所有听觉位置均表现出清晰的N1，P1和P2组件，并且所有运动位置均具有突出的慢速皮质潜力。 D.来自受试者S3位置A1和M1的ERP的时间课程，在两个不同的频带（<3 Hz和3-40 Hz）中。 AEP的特征成分由3-40 Hz频段捕获。 相反，只有在<3 Hz频段中才能看到MRP中的缓慢负电位。 E.基线（-400至0 ms）和ERP（分别为0至400毫秒）周期（分别为顶部和底部）的<3 Hz和3–40 Hz频段（分别为top和底部）的3–40 Hz频段，在所有与任务相关的位置和所有受试者中都计算出来。 基线活性主要由3-40 Hz带功率组成（P <0.001，配对t检验）。ERP分析及其结果的概述。A.在受试者S3中表现出由听觉刺激（红点）或按钮按（绿点）引起的诱发电势的位置。B.在听觉刺激（左）和位置A1和M1的纽扣刺激期间ECOG活动的时间课程及其跨审判平均值。位置A1处的单次试验ECOG响应在刺激发作处进行相锁定，并表现出与跨审判平均值相同的N1，P1和P2分量。相比之下，位置M1处的单次试验ECOG响应在运动开始时没有相锁，因此在所有试验中，平均没有诱发的电位。相反，在所有试验中的平均水平造成了缓慢的皮质潜力。C。位于A1-3和M1-2的平均AEP（左侧的红色痕迹）和MRP（右侧的绿色痕迹）及其在受试者S3中的平均值。所有听觉位置均表现出清晰的N1，P1和P2组件，并且所有运动位置均具有突出的慢速皮质潜力。D.来自受试者S3位置A1和M1的ERP的时间课程，在两个不同的频带（<3 Hz和3-40 Hz）中。AEP的特征成分由3-40 Hz频段捕获。相反，只有在<3 Hz频段中才能看到MRP中的缓慢负电位。E.基线（-400至0 ms）和ERP（分别为0至400毫秒）周期（分别为顶部和底部）的<3 Hz和3–40 Hz频段（分别为top和底部）的3–40 Hz频段，在所有与任务相关的位置和所有受试者中都计算出来。基线活性主要由3-40 Hz带功率组成（P <0.001，配对t检验）。AEP的P1和N1组件由3-40 Hz带功率（P <0.001，配对t检验）组成，而MRP的主要由<3 Hz频带功率组成（P <0.001，配对t检验）。F.功率（顶部）和3-40 Hz频段中的AEP（底部）的形状，用于试验最高（实心）且最低（虚线）的第10个百分位数的固定力（计算每个任务相关位置，平均所有位置和受试者的平均）。较高的刺激性功率会导致AEP中较高的N1振幅（p <0.05，t检验，fdr校正了n = 22）。G.功率（顶部）和MRP的形状（底部）。前刺激功率不会显着影响MRP的形状（p <0.05，t检验，fdr校正了n = 15）。
人类感觉运动皮层中舌头运动的详细体感定位：案例研究
尽管有大量证据表明感觉运动皮层 (SMC) [ 1 ] 存在身体部位的表征，但对该脑区更详细的运动功能的映射仍然难以实现。虽然一些人报告说 SMC 中各个手指和发音器官的体感表征是有序的 [ 2 , 3 ]，但另一些人表明这些身体部位具有重叠的神经表征 [ 4 , 5 ]，这表明身体部位内表征缺乏离散的组织。通常用于研究大脑功能的成像技术 (例如 fMRI) 不能区分关键功能和非关键功能。因此，使用这些技术观察到的活动可能表示非必要的参与，例如运动计划或前馈/传出副本。相反，皮层的电刺激只能阐明对执行大脑功能至关重要的区域，因此可以单独研究运动表征。在这里，我们在一名神经外科患者的高密度 (HD) 皮层脑电图 (ECoG) 电极网格上应用了皮质刺激，以根据舌头的 ECoG 映射来研究 SMC 上运动功能的详细表现。
用于脑机接口手势识别的卷积脉冲网络
摘要 — 脑机接口正被广泛用于各种治疗应用。通常，这涉及通过皮层脑电图 (ECoG) 或脑电图 (EEG) 等技术测量和分析连续时间脑电活动以驱动外部设备。然而，由于测量中固有的噪声和可变性，这些信号的分析具有挑战性，需要离线处理和大量计算资源。在本文中，我们提出了一种简单而有效的基于机器学习的方法，用于基于脑信号的手势分类示例问题。我们使用一种混合机器学习方法，该方法使用卷积脉冲神经网络，采用生物启发的事件驱动突触可塑性规则对脉冲域中编码的测量模拟信号进行无监督特征学习。我们证明这种方法可以推广到具有 EEG 和 ECoG 数据的不同受试者，并且在识别不同手势类别和运动想象任务方面实现了 92.74-97.07% 范围内的卓越准确率。索引词——脉冲神经网络、脑机接口、事件驱动可塑性、K 均值聚类
基于主题无关变压器的神经语音解码，从表面和深度电极信号进行解码
摘要。目的：本研究探讨颅内电极捕获的神经信号的语音解码。大多数先前的研究只能使用 2D 网格上的电极（即脑皮层电图或 ECoG 阵列）和来自单个患者的数据。我们的目标是设计一个深度学习模型架构，可以同时适应表面（ECoG）和深度（立体定向 EEG 或 sEEG）电极。该架构应允许使用来自多个参与者的数据进行训练，这些参与者的电极位置变化很大，并且训练后的模型应该在训练期间未见过的参与者身上表现良好。方法：我们提出了一种名为 SwinTW 的新型基于变压器的模型架构，该架构可以与任意定位的电极一起工作，通过利用它们在皮层上的 3D 位置而不是它们在 2D 网格上的位置。我们使用来自单个参与者的数据训练特定于主题的模型，以及利用来自多个参与者的数据的多患者模型。主要结果：仅使用低密度 8x8 ECoG 数据的受试者特定模型在 N=43 名参与者中实现了高解码皮尔逊相关系数与地面实况频谱图 (PCC=0.817)，优于我们之前的卷积 ResNet 模型和 3D Swin Transformer 模型。在每个参与者 (N=39) 中加入额外的条带、深度和网格电极可带来进一步的改进 (PCC=0.838)。对于只有 sEEG 电极的参与者 (N=9)，受试者特定模型仍然具有可比的性能，平均 PCC=0.798。多受试者模型在看不见的参与者身上实现了高性能，在留一交叉验证中平均 PCC=0.765。意义：提出的 SwinTW 解码器使未来的语音神经假体能够利用任何对特定参与者来说临床上最佳或可行的电极位置，包括仅使用更常规的深度电极
基于主题无关变压器的神经语音解码，从表面和深度电极信号进行解码
摘要。目的：本研究探讨颅内电极捕获的神经信号的语音解码。大多数先前的研究只能处理 2D 网格上的电极（即脑皮层电图或 ECoG 阵列）和来自单个患者的数据。我们的目标是设计一个深度学习模型架构，可以同时适应表面（ECoG）和深度（立体定向 EEG 或 sEEG）电极。该架构应允许使用来自多个参与者的数据进行训练，这些参与者的电极位置变化很大，并且训练后的模型应该在训练期间未见过的参与者身上表现良好。方法：我们提出了一种名为 SwinTW 的新型基于变压器的模型架构，该架构可以利用任意位置的电极在皮层上的 3D 位置而不是它们在 2D 网格上的位置来处理它们。我们使用来自单个参与者的数据训练特定于主题的模型，并利用来自多个参与者的数据训练多患者模型。主要结果：仅使用低密度 8x8 ECoG 数据的受试者特定模型在 N=43 名参与者中实现了高解码皮尔逊相关系数与地面实况频谱图 (PCC=0.817)，优于我们之前的卷积 ResNet 模型和 3D Swin Transformer 模型。在每个参与者 (N=39) 中加入额外的条带、深度和网格电极可带来进一步的改进 (PCC=0.838)。对于只有 sEEG 电极的参与者 (N=9)，受试者特定模型仍然具有可比的性能，平均 PCC=0.798。多受试者模型在看不见的参与者身上实现了高性能，在留一交叉验证中平均 PCC=0.765。意义：提出的 SwinTW 解码器使未来的语音神经假体能够利用任何对特定参与者来说临床上最佳或可行的电极位置，包括仅使用更常规的深度电极
脑脊柱界面恢复脊髓损伤后步行henri Lorach 1,2,3,10，Andrea Galvez 1,2,3,10，Valeria Spagnolo 1,2,3，Felix Mar
✉电子邮件：guillaume.charvet@cea.fr，jocelyne.bloch@chuv.ch.ch，gregoire.courtine@epfl.ch.ch简介：走路，大脑将执行指挥所命令为位于腰椎脊髓的神经元。虽然大多数脊髓损伤并未直接损害这些神经元，但下降途径的破坏会中断这些神经元产生行走所必需的大脑衍生命令。结果是永久瘫痪。在这里，我们假设大脑和脊髓之间的数字桥可以对肌肉活动的时机和振幅进行自愿控制，从而恢复了在慢性脊髓损伤的一个参与者中步行的更自然和自适应控制。材料方法和结果：为了建立这种脑旋转界面（BSI），我们集成了两个完全植入的系统，这些系统无线静电性活动（ECOG），实时解码运动意图并刺激腰椎脊髓以引发相应的运动。ECOG植入物由64个电极1,2的8乘8个网格组成。ECOG信号以每个通道为586Hz采样。解码管道提取了与移动意图有关的ECOG信号中嵌入的时间，光谱和空间特征。然后将这些特征馈送到解码算法中，该算法预测了基于递归指数加权的Markov-Switching多线性模型算法3的尝试移动下肢的尝试。为了支持下肢运动的控制，模型的输出被编码为联合特异性刺激程序的更新，这些程序受到预先建立的功能范围的约束。这些命令通过ActivaRC®植入脉冲发生器4传递到脊髓。我们首先在站立时在脚上的自愿抬高期间测试了这一BSI。仅经过5分钟的校准，BSI支持对髋屈肌活动的连续和直观的控制，这使参与者与没有BSI的尝试相比，肌肉活动的增加了5倍。同样，最多可以使用单个模型独立控制6个独立的关节运动。我们提供了相同的配置，以支持拐杖行走。BSI启用了对步行的连续，直观和强大的控制。当BSI关闭时，尽管发现试图从皮质活动的调节中走走，但参与者会立即失去执行任何步骤的能力。一旦BSI重新打开，就恢复了行走。参与者完成了40次神经居住会议，涉及与BSI一起行走，与BSI的单关节运动，与BSI保持平衡和标准理疗。参与者在所有常规的临床评估中都表现出改进，例如6分钟的步行测试，重量轴承能力，时机上升和进行，Berg平衡量表以及评估的步行质量。最后，我们设计了一个可以由参与者操作的系统，而无需任何帮助。此系统包括一个配备了集成箱的步行者，该箱子嵌入了BSI的所有组件。讨论：这些结果表明，完全植入的BSI可以对先前瘫痪的腿部肌肉恢复自愿控制。2。此外，这表明建立大脑与脊髓之间的连续联系促进了在正常生理条件下将这两个区域联系起来的残留神经元途径的重组。意义：一位人类参与者中的概念证明预示着由于神经系统疾病而导致运动缺陷的新时代。我们预计该方法可以推广到广泛的患者中，甚至可以应用于颈脊髓损伤或中风后恢复上肢功能。参考：1。C. S. Mestais等。Wimagine：长期临床应用的无线64通道ECOG记录植入物。IEEE关于神经系统和康复工程的交易23，10-21（2015）。Benabid，A。L.等。 由四脑治疗患者中的硬膜外无线脑 - 机器界面控制的外骨骼：一种概念证明。 柳叶刀神经病学（2019）doi：10.1016/s1474-4422（19）30321-7。 3。 Moly，A。等。 通过四边形对外骨骼的长期和稳定的双层控制，一种自适应闭环ECOG解码器。 神经工程杂志19，026021（2022）。 4。 Wagner，F。B.等。 有针对性的神经技术可恢复脊髓损伤的人类行走。 自然563，65-71（2018）。Benabid，A。L.等。由四脑治疗患者中的硬膜外无线脑 - 机器界面控制的外骨骼：一种概念证明。柳叶刀神经病学（2019）doi：10.1016/s1474-4422（19）30321-7。3。Moly，A。等。通过四边形对外骨骼的长期和稳定的双层控制，一种自适应闭环ECOG解码器。神经工程杂志19，026021（2022）。4。Wagner，F。B.等。有针对性的神经技术可恢复脊髓损伤的人类行走。自然563，65-71（2018）。
语音相关神经活动的迭代对齐发现
摘要 目的 . 脑机接口 (BCI) 有可能为患有神经系统疾病、说话肌肉无力的患者的言语能力保留或恢复。然而，成功训练低延迟语音合成和识别模型需要将神经活动与预期的语音或声学输出以高时间精度对齐。这对于无法发出可听见的言语的患者来说尤其具有挑战性，因为没有可以用于精确定位与言语同步的神经活动的基本事实。方法 . 在本研究中，我们提出了一种用于神经语音活动检测 (nVAD) 的新型迭代算法，称为迭代对齐发现动态时间规整 (IAD-DTW)，该算法将 DTW 集成到深度神经网络 (DNN) 的损失函数中。该算法旨在发现患者的皮层脑电图 (ECoG) 神经反应与他们在收集数据以训练 BCI 解码器进行语音合成和识别期间说话尝试之间的对齐方式。主要结果 .为了证明该算法的有效性，我们测试了它在预测健全且有完整言语能力的患者产生的声音信号的开始和持续时间的准确性，这些患者正在接受癫痫手术的短期诊断性 ECoG 记录。我们通过随机扰动神经活动与所有言语开始和持续时间的初始单一估计之间的时间对应关系来模拟缺乏基本事实的情况。我们检查了模型克服这些扰动以估计基本事实的能力。在这些模拟中，即使在语音和静默之间存在最大错位的情况下，IAD-DTW 的性能也没有明显下降（准确度绝对下降 < 1%）。意义。IAD-DTW 计算成本低，并且可以轻松集成到现有的基于 DNN 的 nVAD 方法中，因为它只与最终的损失计算有关。这种方法使得使用无法产生可听言语的患者（包括患有闭锁综合症的患者）的 ECoG 数据来训练语音 BCI 算法成为可能。