脑机接口 (BCI) 的解码器假设神经活动受到约束,这些约束既能反映科学信念,又能产生易于处理的计算。我们记录了低缠结(运动皮层神经轨迹的典型特性)如何产生不寻常的神经几何形状。我们设计了一个解码器 13 MINT,以接受这些几何形状的适当统计约束。MINT 采用以轨迹为中心的 14 方法:神经轨迹库(而不是一组神经维度)提供了一个近似神经流形的支架 15。每个神经轨迹都有相应的行为轨迹 16,允许简单但高度非线性的解码。MINT 的表现优于其他可解释方法 17,并且在 42 次比较中的 37 次中优于表达性机器学习方法。然而与这些方法 18 不同,MINT 的约束是已知的,而不是优化解码器输出的隐式结果。 MINT 在各项任务中表现良好,表明其假设通常与神经数据的统计数据非常吻合。尽管 20 包含行为与潜在复杂神经轨迹之间的高度非线性关系,21 MINT 的计算简单、可扩展,并提供可解释的数量,例如数据可能性。22 MINT 的性能和简单性表明它可能是临床 BCI 应用的绝佳候选者。23
所考虑的流形由标准形式的 σ 有限冯·诺依曼代数上的忠实正常状态组成。讨论了切平面和近似切平面。假设给出一个相对熵/散度函数。它用于推广连接一个状态到另一个状态的指数弧的概念。指数弧的生成器被证明是唯一的,直到加法常数。在荒木相对熵的情况下,冯·诺依曼代数的每个自伴元素都会生成一个指数弧。组合指数弧的生成器被证明是相加的。从荒木相对熵得出的度量被证明可以重现久保-森度量。后者是线性响应理论中使用的度量。e 和 m 连接描述了一对对偶几何。任何有限数量的线性独立生成器都会确定一个状态子流形,该子流形通过指数弧与给定的参考状态相连。这样的子流形是对偶平面统计流形的量子概括。
脑电图 (EEG) 信号的识别严重影响非侵入式脑机接口 (BCI) 的效率。虽然基于深度学习 (DL) 的 EEG 解码器的最新进展提供了改进的性能,但几何学习 (GL) 的发展因其在解码噪声 EEG 数据方面提供出色的鲁棒性而备受关注。然而,缺乏关于深度神经网络 (DNN) 和几何学习在 EEG 解码中的合并使用的研究。我们在此提出了一种流形注意力网络 (mAtt),这是一种基于几何深度学习 (GDL) 的新型模型,具有流形注意力机制,可在黎曼对称正定 (SPD) 流形上完全表征 EEG 数据的时空表示。在时间同步和异步 EEG 数据集上对所提出的 MAtt 的评估表明,它优于其他领先的 DL 方法用于一般 EEG 解码。此外,模型解释分析揭示了 MAtt 捕捉信息性 EEG 特征和处理大脑动态非平稳性的能力。
摘要:背景:记录脑机接口的校准数据是一个费力的过程,对受试者来说是一种不愉快的体验。域自适应是一种有效的技术,它利用来自源的丰富标记数据来弥补目标数据短缺的问题。然而,大多数先前的方法都需要首先提取脑电信号的特征,这会引发 BCI 分类的另一个挑战,因为样本集较少或目标标签较少。方法:在本文中,我们提出了一种新颖的域自适应框架,称为基于核的黎曼流形域自适应 (KMDA)。KMDA 通过分析脑电图 (EEG) 信号的协方差矩阵来绕过繁琐的特征提取过程。协方差矩阵定义了一个对称正定空间 (SPD),可以用黎曼度量来描述。在 KMDA 中,协方差矩阵在黎曼流形中对齐,然后通过对数欧几里德度量高斯核映射到高维空间,其中子空间学习通过最小化源和目标之间的条件分布距离同时保留目标判别信息来执行。我们还提出了一种将 EEG 试验转换为 2D 帧(E 帧)的方法,以进一步降低协方差描述符的维数。结果:在三个 EEG 数据集上的实验表明,KMDA 在分类准确度方面优于几种最先进的领域自适应方法,BCI 竞赛 IV 数据集 IIa 的平均 Kappa 为 0.56,BCI 竞赛 IV 数据集 IIIa 的平均准确度为 81.56%。此外,使用 E 帧后整体准确度进一步提高了 5.28%。 KMDA 在解决主体依赖性和缩短基于运动想象的脑机接口校准时间方面显示出潜力。
摘要 人类的运动学习能力差异很大,但人们对这种差异背后的神经机制知之甚少。最近的神经成像和电生理研究表明,大规模神经动力学存在于低维子空间或流形中,学习受到这种内在流形结构的限制。在这里,我们使用功能性磁共振成像询问受试者水平的神经偏移与流形结构的差异是否可以解释参与者之间的学习差异。我们让受试者连续两天在磁共振扫描仪中执行感觉运动适应任务,让我们能够评估他们几天的学习表现,并持续测量大脑活动。我们发现,认知和感觉运动大脑网络中流形活动的整体神经偏移与受试者几天的学习和再学习模式差异有关。这些发现表明,流形外活动提供了学习过程中不同神经系统相对参与度的指标,并且受试者在学习和再学习模式上的差异与认知和感觉运动网络中发生的重新配置过程有关。
虽然实验神经科学中大多数经典的功能研究都集中在单个神经元的编码特性上,但随着记录技术的最新发展,人们越来越重视神经群体的动态。这导致了各种各样用于分析与实验变量相关的群体活动的模型的出现,但直接检验许多神经群体假设需要根据当前神经状态干预系统,这就需要能够在线推断神经状态的模型。现有的方法主要基于动态系统,需要强参数假设,而这些假设在噪声主导的环境中很容易被违反,而且不能很好地扩展到现代实验中的数千个数据通道。为了解决这个问题,我们提出了一种方法,将快速、稳定的维数降低与所得神经流形的软平铺相结合,从而可以将动态近似为平铺之间的概率流。该方法可以使用在线期望最大化进行有效拟合,可扩展到数万个图块,并且在动态以噪声为主或具有多模态转换概率时优于现有方法。生成的模型可以以千赫兹的数据速率进行训练,在几分钟内产生神经动态的精确近似值,并在亚毫秒时间尺度上生成预测。它在未来的许多时间步骤中保持预测性能,并且速度足够快,可以作为闭环因果实验的组成部分。
我们研究了用于计算高斯分布重心的关于最优传输度量的一阶优化算法。尽管目标是测地非凸的,但黎曼 GD 经验上收敛速度很快,实际上比欧几里德 GD 和 SDP 求解器等现成方法更快。这与黎曼 GD 最著名的理论结果形成了鲜明对比,后者与维度呈指数相关。在这项工作中,我们在辅助函数上证明了新的测地凸性结果;这为黎曼 GD 迭代提供了强大的控制,最终产生了无维度的收敛速度。我们的技术还可以分析两个相关的平均概念,即熵正则化的重心和几何中位数,为这些问题的黎曼 GD 提供了第一个收敛保证。
人类的手在动物界中独一无二,拥有无与伦比的灵活性,从复杂的抓握到精细的手指个体化。大脑如何表示如此多样化的动作?我们使用皮层脑电图和降维方法评估了人类“抓握网络”中尺度神经动力学,以了解一系列手部动作。令人惊讶的是,我们发现抓握网络同时表示手指和抓握动作。具体而言,表征多区域神经协方差结构的流形在该分布式网络的所有运动中都得以保留。相反,该流形中的潜在神经动力学令人惊讶地特定于运动类型。将潜在活动与运动学对齐可以进一步发现不同的子流形,尽管运动之间的关节协同耦合相似。因此,我们发现,尽管在分布式网络层面上保留了神经协方差,但中尺度动力学被划分为特定于运动的子流形;这种中尺度组织可能允许在一系列手部动作之间进行灵活切换。
人类的手在动物界中独一无二,拥有无与伦比的灵活性,从复杂的抓握到精细的手指个体化。大脑如何表示如此多样化的动作?我们使用皮层脑电图和降维方法评估了人类“抓握网络”中尺度神经动力学,以了解一系列手部动作。令人惊讶的是,我们发现抓握网络同时表示手指和抓握动作。具体而言,表征多区域神经协方差结构的流形在该分布式网络的所有运动中都得以保留。相反,该流形中的潜在神经动力学令人惊讶地特定于运动类型。将潜在活动与运动学对齐可以进一步发现不同的子流形,尽管运动之间的关节协同耦合相似。因此,我们发现,尽管在分布式网络层面上保留了神经协方差,但中尺度动力学被划分为特定于运动的子流形;这种中尺度组织可能允许在一系列手部动作之间进行灵活切换。
