摘要 — 脑机接口可用于通过从大脑活动中检测人的意图来操作设备。从脑电图 (EEG) 信号解码运动想象 (MI) 是实现此目的的常用方法。为了从 EEG 信号中可靠地识别 MI,通常需要足够数量的传感器。然而,大量的传感器会增加区分 MI 类别的计算成本。此外,与医疗或研究级设备相比,测量 EEG 信号的消费级设备通常采用较少数量的传感器。在这项实验研究中,我们研究了从有限数量的 EEG 传感器解码 MI 时准确性和复杂性之间的权衡。为此,使用成熟的解码方法,使用不同子集的电极位置对 EEG 数据训练了几个解码管道。我们发现,使用较少的传感器时,平均解码准确度没有显著差异 (p=[0.18–0.91])。单个人的最大性能损失是当使用 64 个可用传感器中的 8 个时,平均解码准确度降低了 0.1。因此,从有限数量的传感器解码 MI 是可行的,这凸显了为此目的使用商业传感器设备以降低金钱和计算成本的潜力。
[8]小松孝徳,秋山広美: ユーザの直感的表现を支援するオノマトペ表现システム,电子情报通信学会论文志 A,Vol.92, No.11, pp.752‒763 (2009).[9] Kanero, J., Imai, M., Okuda, J., Okada, H. and Matsuda, T.: How Sound Symbolism Is Processed in the Brain: A Study on Japanese Mimetic Words, PLOSONE, Vol.9, No.5, pp.1‒8 (2014).[10] Vigliocco, G., Zhang, Y., Del Maschio, N., Todd, R. and Tuomainen, J.: Electrophysiological signatures of English onomatopoeia, Language and Cognition, Vol.12, No.1, pp.15‒35 (2020).
摘要 明尼苏达大学的研究人员率先提出了脑控无人机的概念,并由此引发了一系列研究。这些早期的努力为更先进的脑控无人机原型奠定了基础。然而,由于 BCI 信号具有非平稳性和高维性,因此本质上非常复杂。因此,仔细考虑特征提取和分类过程至关重要。本研究引入了一种新方法,将预训练的 CNN 与经典神经网络分类器和 STFT 频谱相结合,形成多层 CNN 模型 (MTCNN)。MTCNN 模型用于解码两类运动想象 (MI) 信号,从而实现对无人机上下运动的控制。本研究的实验阶段涉及四个关键实验。第一个实验使用大量数据集评估了 MTCNN 模型的性能,分类准确率高达 99.1%。第二个和第三个实验针对同一受试者在两个不同的数据集上评估了该模型,成功解决了与受试者间和受试者内差异相关的挑战。 MTCNN 模型在两个数据集上都实现了 99.7% 的出色分类准确率。在第四次实验中,该模型在另一个数据集上进行了验证,实现了 100% 和 99.6% 的分类准确率。值得注意的是,MTCNN 模型在两个 BCI 竞赛数据集上的准确率超过了现有文献。总之,MTCNN 模型展示了其解码与左手和右手运动相关的 MI 信号的潜力,为脑控无人机领域提供了有希望的应用,特别是在控制上下运动方面。此外,MTCNN 模型有可能通过促进该模型与基于 MI 的无人机控制系统的集成,为 BCI-MI 社区做出重大贡献。
1. 稿件标题 1 触觉意象引起的事件相关去同步:EEG 研究 2 2. 缩写标题 3 触觉意象的 EEG 研究 4 3. 按出版文章中出现的顺序列出所有作者姓名和所属机构 5 6 7 Lev Yakovlev 1,2 , Nikolay Syrov 1,2 , Andrei Miroshnikov 2 , Mikhail Lebedev 3,4 , Alexander 8 Kaplan 1,2,5 9 10 1 Vladimir Zelman 神经生物学和脑康复中心,Skolkovo 科学技术研究所 11 ,俄罗斯莫斯科 12 13 2 波罗的海神经技术和人工智能中心,Immanuel Kant Baltic Federal 14 大学,加里宁格勒,俄罗斯 15 16 3 莫斯科国立罗蒙诺索夫大学力学与数学学院, 17 俄罗斯 18 19 4 俄罗斯科学院谢切诺夫进化生理学和生物化学研究所,俄罗斯圣彼得堡 20 21 22 5 人类和动物神经生理学和神经计算机接口实验室 23 莫斯科国立大学生物学院生理学系,俄罗斯莫斯科 24 25 26 4. 作者贡献: 27
摘要 — 脑机接口可用于通过从大脑活动中检测人的意图来操作设备。从脑电图 (EEG) 信号解码运动想象 (MI) 是实现此目的的常用方法。为了从 EEG 信号中可靠地识别 MI,通常需要足够数量的传感器。然而,大量的传感器会增加区分 MI 类别的计算成本。此外,与医疗或研究级设备相比,测量 EEG 信号的消费级设备通常采用较少数量的传感器。在这项实验研究中,我们研究了从有限数量的 EEG 传感器解码 MI 时准确性和复杂性之间的权衡。为此,使用成熟的解码方法,使用不同子集的电极位置对 EEG 数据训练了几个解码管道。我们发现,使用较少的传感器时,平均解码准确度没有显著差异 (p=[0.18–0.91])。单个人的最大性能损失是当使用 64 个可用传感器中的 8 个时,平均解码准确度降低了 0.1。因此,从有限数量的传感器解码 MI 是可行的,这凸显了为此目的使用商业传感器设备以降低金钱和计算成本的潜力。
摘要 — 需要反复校准并考虑受试者间差异是脑机接口实际应用面临的主要挑战。由于病变导致的神经动力学改变,解码中风患者的脑信号时,问题变得更具挑战性。最近,几种深度学习架构应运而生,尽管与传统方法相比,它们往往无法产生更高的准确性,而且由于依赖于自定义功能,它们大多不遵循端到端架构。然而,其中一些架构具有以端到端方式创建更通用的功能的良好能力,例如流行的 EEGNet 架构。虽然 EEGNet 被用于解码中风患者的运动想象 (MI) 数据,但其性能与传统方法一样好。[1] 在本研究中,我们通过在基于滑动窗口的方法中引入一个称为最长连续重复 (LCR) 的后处理步骤来增强基于 EEGNet 的解码,并将其命名为 EEGNet+LCR。所提出的方法在 10 名偏瘫中风患者的 MI 数据集上进行了测试,结果表明,与唯一的 EEGNet 和更传统的方法(例如通用空间模式 (CSP)+支持向量机 (SVM))相比,该方法在 MI 信号内和跨受试者解码方面都表现出色。我们还观察到 EEGNet+LCR 在受试者内和跨受试者类别中的表现相当令人满意,这在文献中很少见,因此它有望成为实现实用的中风康复 BCI 的有希望的候选方案。
视觉意象,即在没有相应视网膜输入的情况下看到的景象,与大脑的视觉和运动处理区域有关。音乐聆听为探索视觉意象的神经关联提供了理想的载体,因为它已被证明能够可靠地诱导各种各样的内容,从抽象形状到动态场景。42 名参与者闭着眼睛聆听了 24 段音乐,同时记录了 15 通道脑电图,并在每段音乐之后对他们体验到的静态和动态视觉意象的程度进行评分。我们的结果表明,在音乐聆听的早期,静态和动态意象都与后阿尔法抑制(尤其是较低的阿尔法)有关,而静态意象在聆听体验的后期与额外的阿尔法增强有关。关于贝塔波段,我们的结果表明静态意象的贝塔增强,但对动态意象的反应首先是贝塔抑制,然后是增强。我们还观察到,在聆听体验的早期,伽马功率和动态意象评级之间存在正相关,而静态意象评级则不存在这种相关性。最后,我们提供了证据表明,音乐训练可能会选择性地推动与静态和动态意象以及 alpha、beta 和 gamma 波段振荡相关的效应。总之,我们的结果表明,使用音乐聆听作为检查视觉意象及其内容的神经相关性的有效刺激是有希望的。我们的研究还强调了未来研究音乐诱导的视觉意象的时间动态的相关性。
摘要 — 脑机接口技术的最新进展表明,想象语音和视觉意象具有作为直观脑机接口通信的稳健范式的潜力。然而,这两个范式的内部动态及其内在特征尚未揭示。在本文中,我们研究了考虑不同频率范围的两个范式的功能连接。使用 16 名受试者进行十三类想象语音和视觉意象的数据集进行分析。在四个频率范围的七个皮质区域分析了想象语音和视觉意象的锁相值。我们将想象语音和视觉意象的功能连接与静息状态进行比较,以研究意象过程中的大脑变化。整个大脑区域的锁相值在想象语音和视觉意象期间都表现出显著下降。布罗卡区和韦尼克区以及听觉皮层主要表现出想象语音的显著下降,而前额叶皮层和听觉皮层则表现出视觉意象范式的显著下降。进一步研究大脑连接以及两种范式的解码性能可能作为性能预测因素发挥关键作用。关键词——脑电图;功能连接;想象语音;直观脑机接口;视觉意象
基于心理意象的脑机接口 (MI-BCI) 提供了与数字技术(如轮椅或神经假体)交互的新机会,只需执行心理意象任务(例如,想象物体旋转或想象手部运动)。MI-BCI 还可用于多种应用,如通信或中风后康复。不过,它们缺乏可靠性仍然是该技术大规模发展的障碍。例如,平均 75% 的时间可以识别两个任务之间的一项任务。研究表明,如果用户不自主或紧张,他们更有可能在使用 MI-BCI 时遇到困难。这可能至少部分是由于缺乏社交存在和情感支持,尽管教育文献中有建议,但这些在 MI-BCI 中还很少得到测试。提供这种社交和情感背景的一种方法是使用学习伴侣。因此,我们设计、实施和评估了第一个致力于改进 MI-BCI 用户培训的学习伴侣。我们将这个伴侣命名为 PEANUT,即用于神经技术用户培训的个性化情感代理。PEANUT 通过结合发音句子和面部表情的干预,根据用户的表现和进度提供社交临场感和情感支持。它是基于文献、数据分析和用户研究而设计的。我们特别进行了各种在线用户调查,以确定我们的学习伴侣在外观和支持性语音内容方面的理想特征。从这些调查的结果中,我们特别推断出根据学习者的表现和进步,应该使用哪些句子的特征(个人/非个人、感叹/陈述)。我们还发现眉毛可以增加卡通脸的表现力。然后,一旦这个伴侣
33.2 一款低于 1 µ J/级的集成思维意象与控制 SoC,适用于 VR/MR 应用,具有师生 CNN 和通用指令集架构 Zhiwei Zhong*、Yijie Wei*、Lance Christopher Go、Jie Gu 西北大学,伊利诺伊州埃文斯顿 * 同等署名作者 (ECA) 虚拟现实 (VR) 和混合现实 (MR) 系统,例如 Meta Quest 和 Apple Vision Pro,最近在消费电子产品中引起了极大的兴趣,在游戏、社交网络、劳动力援助、在线购物等元宇宙中掀起了新一波发展浪潮。AI 计算和多模块人类活动跟踪和控制方面的强大技术创新已经产生了身临其境的虚拟现实用户体验。然而,大多数现有的 VR 耳机仅依靠传统的操纵杆或基于摄像头的用户手势进行输入控制和人体跟踪,缺少一个重要的信息来源,即大脑活动。因此,人们对将脑机接口 (BMI) 整合到 VR/MR 系统中以供消费者和临床应用的兴趣日益浓厚 [1]。如图 33.2.1 所示,现有的集成 EEG 通道的 VR/MR 系统通常由 VR 耳机、16/32 通道 EEG 帽、神经记录模拟前端和用于信号分类的 PC 组成。此类系统的主要缺点包括:(1)佩戴麻烦且用户外观不佳,(2)缺乏低延迟操作的现场计算支持,(3)无法根据大脑活动进行实时思维意象控制和反馈,(4)由于 AI 分类导致的功耗高。为了克服这些挑战,这项工作引入了一种思维意象设备,该设备集成到现有的 VR 耳机中,而无需为 VR/MR 系统的思维控制 BMI 增加额外的佩戴负担。本研究的贡献包括:(1)支持 VR/MR 系统现场心智意象控制的 SoC,(2)与现有 VR 耳机无缝集成并优化 EEG 通道选择,以提高用户接受度和体验,(3)具有灵活数据流的通用指令集架构 (ISA),支持广泛的心智意象操作,(4)混淆矩阵引导的师生 CNN 方案,可在 AI 操作期间节省电量,(5)EEG 信号的稀疏性增强以降低能耗。制造了 65nm SoC 测试芯片,并在各种基于心智意象的 VR 控制上进行了现场演示。虽然先前的研究涉及基于 EEG 的癫痫检测或类似的生物医学应用 [2-6],但本研究专注于 VR/MR 环境中的新兴 BMI。得益于低功耗特性和设计的系统级优化,SoC 的数字核心在计算密集型 CNN 操作中实现了 <1μJ/类的能耗。图 33.2.2 显示了 EEG 通道选择和集成到 Meta Quest 2 VR 耳机中,在准确性和用户便利性之间进行了权衡。为了支持各种思维意象任务,8 个 EEG 通道 T3、T5、O1、O2、T6、T4、PZ、和 CZ 被选中并巧妙地融入头带以保持用户的美感。不同的心理任务会激活八个选定通道的子集,例如用于心理意象的 T3/T5/CZ/T4/T6、用于情感(例如情绪)监测的 T5/CZ 或用于稳态视觉诱发电位 (SSVEP) 的 O1/O2/PZ。通道的减少导致三个主要任务的平均准确率略有下降(从 90.4% 下降到 85.2%),但显着提高了用户体验和可用性。带有生理盐水的商用 Hydro-link 电极用于通过头带上的预切孔捕获 EEG 信号。图 33.2.2 还显示了完全集成 SoC 的顶层图。多达 16 个可编程通道的 AFE 用于信号采集和数字化。 AFE 的每个通道包括一个增益为 45 至 72 dB、带宽为 0.05 至 400 Hz 的两级斩波放大器、一个转折频率为 60 Hz 的低通滤波器和一个工作频率为 128 Hz 至 10 kHz 的 8b SAR ADC。用于集成 AI 操作的数字核心包括一个 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维意象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有研究仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维意象任务。图 33.2.3 显示了专门开发的通用 ISA,用于数据流控制、模型配置、通道选择等。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏性设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。 CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统脉动阵列不同,此设计有意移除了大部分或 O1/O2/PZ 用于稳态视觉诱发电位 (SSVEP)。通道数的减少导致三个主要任务的平均准确度略有下降(从 90.4% 降至 85.2%),但显著提高了用户体验和可用性。使用带有生理盐水的商用 Hydro-link 电极通过头带上的预切孔捕获 EEG 信号。图 33.2.2 还显示了完全集成 SoC 的顶层图。最多 16 个可编程 AFE 通道用于信号采集和数字化。AFE 的每个通道包括一个增益为 45 至 72dB 和带宽为 0.05 至 400Hz 的两级斩波放大器、一个转折频率为 60Hz 的低通滤波器和一个工作频率为 128Hz 至 10kHz 的 8b SAR ADC。集成 AI 操作的数字核心包括 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维想象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有工作仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维想象任务。图 33.2.3 显示了专门开发的用于数据流控制、模型配置、通道选择等的通用 ISA。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有高硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统收缩阵列不同,此设计有意消除了大部分或 O1/O2/PZ 用于稳态视觉诱发电位 (SSVEP)。通道数的减少导致三个主要任务的平均准确度略有下降(从 90.4% 降至 85.2%),但显著提高了用户体验和可用性。使用带有生理盐水的商用 Hydro-link 电极通过头带上的预切孔捕获 EEG 信号。图 33.2.2 还显示了完全集成 SoC 的顶层图。最多 16 个可编程 AFE 通道用于信号采集和数字化。AFE 的每个通道包括一个增益为 45 至 72dB 和带宽为 0.05 至 400Hz 的两级斩波放大器、一个转折频率为 60Hz 的低通滤波器和一个工作频率为 128Hz 至 10kHz 的 8b SAR ADC。集成 AI 操作的数字核心包括 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维想象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有工作仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维想象任务。图 33.2.3 显示了专门开发的用于数据流控制、模型配置、通道选择等的通用 ISA。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有高硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统收缩阵列不同,此设计有意消除了大部分AFE 的每个通道包括一个增益为 45 至 72 dB、带宽为 0.05 至 400 Hz 的两级斩波放大器、一个转折频率为 60 Hz 的低通滤波器和一个工作频率为 128 Hz 至 10 kHz 的 8b SAR ADC。用于集成 AI 操作的数字核心包括一个 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维意象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有研究仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维意象任务。图 33.2.3 显示了专门开发的通用 ISA,用于数据流控制、模型配置、通道选择等。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏性设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。 CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统脉动阵列不同,此设计有意移除了大部分AFE 的每个通道包括一个增益为 45 至 72 dB、带宽为 0.05 至 400 Hz 的两级斩波放大器、一个转折频率为 60 Hz 的低通滤波器和一个工作频率为 128 Hz 至 10 kHz 的 8b SAR ADC。用于集成 AI 操作的数字核心包括一个 8×10 处理单元 (PE) 阵列、控制逻辑和相关存储库。带有专门开发的 ISA 的指令存储器为芯片的操作提供全局控制,以支持一系列思维意象任务。实时分类的大脑状态和思维控制命令通过外部蓝牙模块传输到 VR 耳机,以控制 VR 场景。虽然大多数现有研究仅关注固定数据流 [4] 和 CNN 模型 [2,3],但需要高度灵活的计算架构来支持各种思维意象任务。图 33.2.3 显示了专门开发的通用 ISA,用于数据流控制、模型配置、通道选择等。128b 的超宽 ISA 命令用于监督各种计算任务,例如 IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏性设置等)也集成到 ISA 中,以便高效地调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。 CNN、FC、DFT 和 IIR 滤波操作可以通过在不同数据流中重复使用相同的 PE 阵列来执行,例如,Conv 层的权重固定,或 FC 层和 DFT 的输出固定。与使用大量流水线触发器的传统脉动阵列不同,此设计有意移除了大部分IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。可以通过在不同数据流中重用相同的 PE 阵列来专门执行 CNN、FC、DFT 和 IIR 滤波操作,例如,Conv 层的权重平稳,或 FC 层和 DFT 的输出平稳。与传统的脉动阵列不同,该设计特意移除了大部分IIR 滤波器、卷积 (Conv) 层、离散傅里叶变换 (DFT) 和全连接 (FC) 层,具有很高的硬件效率。为了支持不断变化的 AI 模型,每个子任务的配置(例如内核数量、层数、分支目标地址 (BTA)、稀疏度设置等)也集成到 ISA 中,以便高效调度和执行不同的任务。图 33.2.3 还显示了数字神经处理器的详细架构。8×10 PE 阵列可以灵活地按行或列打开或关闭。可以通过在不同数据流中重用相同的 PE 阵列来专门执行 CNN、FC、DFT 和 IIR 滤波操作,例如,Conv 层的权重平稳,或 FC 层和 DFT 的输出平稳。与传统的脉动阵列不同,该设计特意移除了大部分