1 关于实验者和参与者的性别对 MI-BCI 表现演变的影响的初步结果先前发表在第八届国际 BCI 大会 [43] 上的一篇简短会议论文中。在这里,我们介绍了有关潜在混杂因素(例如与运动相关的伪影)的更多更完整的结果。我们还首次提出了与参与者心理特征相关的结果,这为更好地理解实验者的影响提供了第一条线索。最后,我们还提供了新的用户体验相关结果。
迁移学习 (TL) 已广泛应用于基于运动想象 (MI) 的脑机接口 (BCI),以减少新受试者的校准工作量,并表现出良好的性能。虽然基于闭环 MI 的 BCI 系统在脑电图 (EEG) 信号采集和时间滤波之后,在向外部设备发送控制信号之前包括空间滤波、特征工程和分类模块,但之前的方法仅考虑其中一两个组件中的 TL。本文提出可以在基于 MI 的 BCI 的所有三个组件(空间滤波、特征工程和分类)中考虑 TL。此外,在空间滤波之前特别添加数据对齐组件也非常重要,以使来自不同受试者的数据更加一致,从而促进后续的 TL。在两个 MI 数据集上的离线校准实验验证了我们的建议。特别是,整合数据对齐和复杂的 TL 方法可以显著提高分类性能,从而大大减少校准工作量。
摘要 — 生成对抗网络 (GAN) 在语音处理等领域的时间序列数据生成方面取得了重要进展。GAN 的这种能力对于脑机接口 (BCI) 非常有用,因为收集大量样本可能既昂贵又耗时。为了解决这个问题,本文提出了一种为运动想象生成人工脑电图 (EEG) 数据的新方法。这里的 GAN 使用由双向长短期记忆神经元组成的生成器和鉴别器网络。使用来自 BCI 竞赛 IV 的数据集 2b 评估训练后的模型。该数据集包括左手和右手运动想象的试验。训练单独的 GAN 以生成与数据集中存在的两种试验类型相对应的人工 EEG 样本。为了进行评估,使用短期傅里叶变换和 Welch 功率谱密度比较真实和人工 EEG 信号的时频特性。结果表明,GAN 可以捕捉运动想象脑电图数据的重要特征,例如 beta 波段的功率变化。从 Welch 的功率谱密度来看,人工生成信号和原始信号的功率变化处于相似的频率区间。
摘要 — 本文介绍了一种准确而强大的嵌入式运动想象脑机接口 (MI-BCI)。所提出的新模型基于 EEGNet [1],可满足 ARM Cortex-M 系列等低功耗微控制器单元 (MCU) 的内存占用和计算资源要求。此外,本文还提出了一组方法,包括时间下采样、通道选择和缩小分类窗口,以进一步缩小模型以放宽内存要求,同时几乎不影响准确度。在 Physionet EEG 运动/图像数据集上的实验结果表明,标准 EEGNet 在全局验证中对 2 类、3 类和 4 类 MI 任务的分类准确率分别为 82.43%、75.07% 和 65.07%,比最先进的 (SoA) 卷积神经网络 (CNN) 分别高出 2.05%、5.25% 和 6.49%。我们的新方法进一步缩小了标准 EEGNet,精度损失为 0.31%,内存占用减少了 7.6 倍,精度损失为 2.51%,减少了 15 倍。缩放后的模型部署在商用 Cortex-M4F MCU 上,运行最小模型需要 101 毫秒,每次推理消耗 4.28 mJ,在 Cortex-M7 上运行中等模型需要 44 毫秒,每次推理消耗 18.1 mJ,从而实现了完全自主、可穿戴、准确的低功耗 BCI。索引术语 — 脑机接口、运动意象、CNN、嵌入式系统、边缘计算
众所周知,手部运动和运动的心理表征都会导致相应皮质运动区域记录的脑电图 (EEG) 发生事件相关去同步 (ERD)。然而,体感皮质区域的 ERD 与触觉的心理表征之间的关系尚不清楚。在本研究中,我们利用健康人的 EEG 记录来比较右手真实和想象的振动触觉刺激的影响。真实和想象的感觉都会产生对侧 ERD 模式,尤其是在 m 波段,最明显的是在 C3 区域。基于这些结果和以前的文献,我们讨论了触觉意象作为复杂身体意象的一部分的作用,以及将触觉意象引起的 EEG 模式用作脑机接口 (BCI) 中的控制信号的潜力。将这种方法与运动意象 (MI) 相结合可以提高用于中风和神经创伤后感觉运动功能康复的 BCI 的性能。
运动意象疗法在临床环境中的应用越来越广泛,例如神经康复和脑机接口 (BCI)。中风后,患者会失去上肢功能,必须重新学习日常生活活动所必需的双手协调技能。物理治疗师将运动意象疗法与物理康复相结合,以加速康复。在 BCI 中,用户通常被要求想象一个动作,通常带有稀疏的指令。与此认知任务相吻合的 EEG 模式被捕获,然后用于执行外部命令,例如操作神经假体装置。因此,BCI 依赖于对运动意象的有效和可靠的解释。虽然运动意象疗法可以改善患者的治疗效果并为 BCI 研究提供信息,但其背后的认知和神经生理机制尚不清楚。某些类型的运动意象疗法比其他类型的更有效。例如,关注运动提示和采用第一人称视角比关注视觉提示和采用第三人称视角更有效。随着运动想象在神经康复和 BCI 中变得越来越占主导地位,阐明这些技术有效的原因非常重要。本综述的目的是研究迄今为止专注于运动想象和双手协调的研究。对这两个主题的当前研究的评估可以作为科学家和临床医生寻求使用运动想象来帮助改善双手协调的有用平台,无论是通过增强物理治疗还是开发更有效的 BCI。
摘要 心理意象为回忆过去和规划未来提供了重要的模拟工具,其强度影响认知和心理健康。研究表明,横跨前额叶、顶叶、颞叶和视觉区域的神经活动支持心理意象的生成。该网络究竟如何控制视觉意象的强度仍不得而知。在这里,脑成像和经颅磁光幻视数据显示,早期视觉皮层(V1-V3)的静息活动和兴奋水平越低,预示着更强的感觉意象。此外,使用 tDCS 以电方式降低视觉皮层兴奋性会增加意象强度,表明视觉皮层兴奋性在控制视觉意象方面具有因果作用。总之,这些数据表明皮层兴奋性参与控制心理意象强度的神经生理机制。
图 2. Frak 等人(2001 年)使用的实验范例说明。上图为显性动作,参与者被要求用拇指和食指抓住一个装满水的圆柱形容器,将水倒入容器中。下图为隐性动作。左图:计算机显示器上容器(即圆盘)的示意图。圆盘上的两条小线表示在想象动作期间食指和拇指应放置的位置。右图:操纵对立轴从 -22° 到 +56°。
大量证据表明,运动意象和动作执行行为是由重叠的神经基质引起的,即使在运动意象期间没有明显的运动。到目前为止,尚不清楚运动意象和执行中的神经激活与自然的全身运动(例如行走)相比如何。神经影像学研究尚未直接比较动态行走运动中的意象和执行。在这里,我们用移动脑电图记录了行走期间的大脑激活,并与行走意象期间的大脑激活进行了比较,以心理计数作为控制条件。我们要求 24 名健康参与者在路上走六步,想象走六步,或者在心里从一数到六。我们发现运动意象期间的 beta 和 alpha 功率调制类似于动作执行模式;在执行心理计数的控制任务时未发现这种对应关系。神经重叠发生在执行和想象步行动作的早期,表明激活了共享动作表征。值得注意的是,在动作执行和动作结束时的想象过程中都发生了与步行相关的明显 beta 反弹,这表明与实际步行一样,运动意象涉及重置或抑制运动过程。然而,我们还发现运动意象引发了一种独特的更分散的 beta 活动模式,尤其是在任务开始时。这些结果表明,运动意象和自然步行的执行涉及共享的运动认知激活,但运动意象需要额外的皮质资源。