摘要 — 使用迁移学习来训练脑机接口 (BCI) 解码算法有助于减少校准时间、提高准确性、降低过度拟合风险并允许应用需要大量数据的机器学习方法,例如深度神经网络。在本文中,我们提出了一种受黎曼几何最新进展启发的迁移学习方法。该方法通过 Procrustes 分析在源和目标数据集的切线空间中对齐向量。我们将该方法应用于公开的 P300-BCI 数据库。我们表明,使用我们的方法可以重用来自其他受试者的数据来传输信息。与最先进技术相比,我们获得的分类准确性表明使用迁移学习方法可以清晰地传输信息。
摘要背景:脊柱裂 (SBA) 是一种出生缺陷,与发育中的胎儿大脑的严重解剖变化有关。脑磁共振成像 (MRI) 图谱是研究脑解剖神经病理学的常用工具,但之前的胎儿大脑 MRI 图谱主要关注正常的胎儿大脑。我们的目标是开发一个用于 SBA 的时空胎儿大脑 MRI 图谱。方法:我们开发了一种半自动计算方法来计算第一个用于 SBA 的时空胎儿大脑 MRI 图谱。我们使用了 90 个患有 SBA 的胎儿的 MRI,胎龄从 21 到 35 周不等。所有检查都获得了各向同性和无运动的 3D 重建 MRI。我们提出了一种在患有 SBA 的胎儿大脑 3D MRI 中注释解剖标志的协议,目的是使异常胎儿大脑 MRI 的空间对齐更加稳健。此外,我们提出了一种基于解剖标志的加权广义 Procrustes 方法来初始化图谱。所提出的加权广义 Procrustes 可以处理时间正则化和缺失注释。初始化后,使用基于图像强度和解剖标志的非线性图像配准迭代细化图谱。使用半自动方法将我们的胎儿大脑图谱划分为八种组织类型:白质、脑室系统、小脑、轴外脑脊液、皮质灰质、深层灰质、脑干和胼胝体。结果:评分者内变异性分析表明这七个解剖标志足够可靠。我们发现,所提出的图谱在自动分割患有 SBA 的胎儿大脑 3D MRI 方面优于正常的胎儿大脑图谱。结论:我们公开了一个时空胎儿大脑
本文介绍了一种新颖的框架,该框架将用于特征检测的卷积神经网络 (CNN) 与协变高效 Procrustes 视角 n 点 (CEPPnP) 求解器和扩展卡尔曼滤波器 (EKF) 相结合,以实现对非合作航天器周围近距离操作的稳健单目姿态估计。在役服务航天器对非活动航天器的相对姿态估计是当前和计划中的太空任务设计中的一项关键任务,因为它与近距离操作相关,例如在轨服务和主动碎片清除。这项工作的主要贡献在于通过将协方差矩阵与 CNN 为每个检测到的特征返回的热图相关联,从图像处理步骤中获取统计信息。此信息包含在 CEPPnP 中,以提高滤波器初始化期间姿态估计步骤的准确性。导出的测量协方差矩阵用于紧密耦合的 EKF,以便更好地表示特征检测步骤中的测量误差。这提高了滤波器在 CNN 检测不准确时的鲁棒性。在目标的光照条件和部分掩蔽条件下,所提出的方法能够返回相对姿态以及相对平移和旋转速度的可靠估计值。欧洲航天局 Envisat 航天器的合成 2D 图像用于生成数据集,用于训练、验证和测试 CNN。同样,这些图像用于重建代表性的近距离场景,以验证所提出的方法。
我们如何判断两个神经网络是否在特定计算中使用相同的内部过程?这个问题与神经科学和机器学习的多个子领域有关,包括神经人工智能、机械可解释性和脑机接口。比较神经网络的标准方法侧重于潜在状态的空间几何形状。然而,在循环网络中,计算是在动态层面实现的,两个执行相同计算且具有相同动态的网络不必具有相同的几何形状。为了弥合这一差距,我们引入了一种新颖的相似性度量,可在动态层面比较两个系统,称为动态相似性分析 (DSA)。我们的方法包含两个部分:利用数据驱动动态系统理论的最新进展,我们学习一个高维线性系统,该系统可准确捕捉原始非线性动力学的核心特征。接下来,我们使用 Procrustes 分析的新颖扩展来比较通过此嵌入的不同系统,该扩展解释了矢量场在正交变换下如何变化。在四个案例研究中,我们证明了我们的方法可以解开共轭和非共轭循环神经网络 (RNN),而几何方法则存在不足。我们还表明,我们的方法可以以无监督的方式区分学习规则。我们的方法为比较分析神经回路中计算的基本时间结构打开了大门。
摘要 - 目标:结构性大脑图通常仅限于定义节点,因为灰质区域是地图集的,边缘反映了淋巴结对之间的轴突投影的密度。在这里,我们将脑面膜内整个体素集成为高分辨率,主题特定图的节点。方法:我们使用扩散张量和从扩散MRI数据得出的扩散张量和方向分布函数来定义局部素至素连接的强度。我们在人类连接项目的数据上研究图形的拉普拉斯光谱特性。然后,我们通过Procrustes验证方案评估Laplacian本征模的受试者间变异性的程度。最后,我们证明了通过图形信号处理的基本解剖结构来塑造功能性MRI数据的程度。结果:图形拉普拉斯特征模式表现出高度分辨的空间专题,反映了与主要白质途径相对应的分布模式。我们表明,这种高分辨率图的特征空间的固有维度仅仅是图尺寸的一部分。通过在低频图Laplacian eigenmodes上投射任务和静止状态数据,我们表明大脑活动可以通过一小部分低频组件来很好地近似。结论:所提出的图形在研究大脑时开放了新的途径,无论是通过图或光谱图理论探索其组织特性,或者通过将它们视为在单个层面上观察到大脑功能的支架。
受试者之间和会话之间的脑电图 (EEG) 统计差异是脑机接口 (BCI) 领域面临的一个常见问题。这种差异阻碍了预先训练的机器学习模型的使用,并且需要对每个新会话进行校准。本文介绍了一种处理这种差异性的新迁移学习 (TL) 方法。该方法旨在通过在正定矩阵黎曼流形的切线空间中将一个受试者的 EEG 数据与另一个受试者对齐,来减少校准时间甚至提高 BCI 系统的准确性。我们在 18 个 BCI 数据库上测试了该方法,这些数据库总共包含 349 名受试者,属于三个 BCI 范式,即事件相关电位 (ERP)、运动想象 (MI) 和稳态视觉诱发电位 (SSVEP)。我们使用支持向量分类器进行特征分类。结果表明,与传统的训练-测试流程相比,在 ERP 范式中,分类准确度显著提高,而对于 MI 和 SSVEP 范式,性能均未下降。与之前发布的黎曼方法黎曼普鲁克勒斯分析 (RPA) 相比,总体准确度提高了 2.7%。有趣的是,切线空间对齐具有处理具有不同通道数的数据集的迁移学习的内在能力,自然适用于数据集间的迁移学习。
受试者之间和会话之间的脑电图 (EEG) 统计差异是脑机接口 (BCI) 领域面临的一个常见问题。这种差异阻碍了预先训练的机器学习模型的使用,并且需要对每个新会话进行校准。本文介绍了一种处理这种差异性的新迁移学习 (TL) 方法。该方法旨在通过在正定矩阵黎曼流形的切线空间中将一个受试者的 EEG 数据与另一个受试者对齐,从而减少校准时间并提高 BCI 系统的准确性。我们在 18 个 BCI 数据库上测试了该方法,这些数据库总共包含 349 名受试者,涉及三个 BCI 范式,即事件相关电位 (ERP)、运动想象 (MI) 和稳态视觉诱发电位 (SSVEP)。我们使用支持向量分类器进行特征分类。结果表明,与传统的训练-测试流程相比,在 ERP 范式中,分类准确度显著提高,而对于 MI 和 SSVEP 范式,性能均未下降。与之前发布的黎曼方法黎曼普鲁克勒斯分析 (RPA) 相比,总体准确度提高了 2.7%。有趣的是,切线空间对齐具有处理具有不同通道数的数据集的迁移学习的内在能力,自然适用于数据集间的迁移学习。
结构性脑图通常仅限于定义节点为灰质区域,其边缘会反映在成对节点之间的轴突投影的密度。在这里,我们将脑面膜内的整个体素集成为高分辨率,主题特定图的节点。我们使用扩散张量和从扩散MRI数据得出的扩散张量和分布分布函数来定义局部体素至素连接的强度。我们在人类Connectome项目的数据上研究图形的Laplacian光谱特性。然后,我们通过codrustes验证方案评估Laplacian eigenmodes的受试者间变异性程度。fi-Nelly,我们证明了通过图信号处理的基本解剖结构来塑造功能性MRI数据的程度。图形拉普拉斯特征模式表现出高度分辨的空间pro文件,反映了与主要白色途径相对应的分布模式。我们表明,这种高分辨率图的特征空间的固有维度仅仅是图尺寸的一部分。通过在低频图lapla-cian eigenmodes上投射任务和静止状态数据,我们表明大脑活动可以通过一小部分低频组合的子集很好地近似。所提出的图形开放了研究大脑的新途径,无论是通过图形或光谱图理论探索其组织特性,还是将它们视为在内部层面上观察到大脑功能的脚手架。
现有的皮层内脑机接口 (iBCI) 将神经活动转换为控制信号,可使瘫痪者恢复运动能力。然而,由于记录神经元的更替,iBCI 核心“解码器”的准确性通常会随着时间的推移而降低。为了弥补这一点,可以重新校准解码器,但这需要用户花费额外的时间和精力来提供必要的数据,然后学习新的动态。随着记录的神经元发生变化,人们可以认为底层的运动意图信号以变化的坐标来表达。如果可以计算不同坐标系之间的映射,那么可能无需重新校准即可稳定原始解码器从大脑到行为的映射。我们之前提出了一种基于广义对抗网络 (GAN) 的方法,称为“对抗域自适应网络”(ADAN),它可以对齐底层低维神经流形中潜在信号的分布。然而,ADAN 仅在非常有限的数据集上进行了测试。我们在此提出了一种基于循环一致对抗网络 (Cycle-GAN) 的方法,该方法可以对齐全维神经记录的分布。我们在来自多只猴子和行为的数据上测试了 Cycle-GAN 和 ADAN,并将它们与基于因子分析 (PAF) 提供的 Procrustes 轴对齐的线性方法进行了比较。这两种基于 GAN 的方法都优于 PAF。Cycle-GAN 和 ADAN(与 PAF 一样)是无监督的,需要的数据很少,因此在现实生活中很实用。总体而言,Cycle-GAN 具有最佳性能,并且比 ADAN 更容易训练且更强大,使其成为长期稳定 iBCI 系统的理想选择。
摘要 现有的皮层内脑机接口 (iBCI) 将神经活动转换为控制信号,能够恢复瘫痪者的运动能力。然而,由于记录神经元的周转,iBCI 核心“解码器”的准确性通常会随着时间的推移而降低。为了弥补这一点,可以重新校准解码器,但这需要用户花费额外的时间和精力来提供必要的数据,然后学习新的动态。随着记录的神经元发生变化,人们可以认为底层的运动意图信号以变化的坐标来表达。如果可以计算不同坐标系之间的映射,那么可能无需重新校准即可稳定原始解码器从大脑到行为的映射。我们之前提出了一种基于广义对抗网络 (GAN) 的方法,称为“对抗域自适应网络”(ADAN),它可以对齐底层低维神经流形中潜在信号的分布。然而,我们只在非常有限的数据集上测试了 ADAN。我们在此提出了一种基于循环一致对抗网络 (Cycle-GAN) 的方法,该方法可以对齐全维神经记录的分布。我们在来自多只猴子和行为的数据上测试了 Cycle-GAN 和 ADAN,并将它们与第三种完全不同的方法进行了比较,该方法基于因子分析提供的 Procrustes 轴对齐。这三种方法都是无监督的,只需要很少的数据,因此在现实生活中很实用。总体而言,Cycle-GAN 具有最佳性能,并且比 ADAN 更容易训练且更强大,使其成为长期稳定 iBCI 系统的理想选择。