目标:脑电图 (EEG) 和肌电图 (EMG) 是两种非侵入性生物信号,广泛应用于人机界面 (HMI) 技术(EEG-HMI 和 EMG-HMI 范式),用于肢体残疾人的康复。成功将 EEG 和 EMG 信号解码为相应的控制命令是康复过程中的关键步骤。最近,提出了几种基于卷积神经网络 (CNN) 的架构,将原始时间序列(EEG 和 EMG 信号)直接映射到决策空间(用户的预期动作)。由于 CNN 是端到端学习算法,因此有意义的特征提取和分类过程是同时进行的。然而,这些网络是为学习给定生物信号的预期特征而定制的。从今以后,这些算法的含义通常仅限于单个 HMI 范式。在这项工作中,我们解决了这样一个问题:我们能否构建一个能够从不同的 HMI 范式中学习不同特征并仍能成功对其进行分类的单一架构。方法:在这项工作中,我们引入了一个称为 ConTraNet 的单一混合模型,该模型基于 CNN 和 Transformer 架构,对 EEG-HMI 和 EMG-HMI 范式同样有用。ConTraNet 使用 CNN 模块在模型中引入归纳偏差并学习局部依赖关系,而 Transformer 模块使用自注意机制来学习信号中的长距离或全局依赖关系,这对于 EEG 和 EMG 信号的分类至关重要。主要结果:我们在三个公开可用的数据集(BCI 竞赛 IV 数据集 2b、Physionet MI-EEG 数据集、Mendeley sEMG 数据集)上评估并将 ConTraNet 与最新方法进行了比较,这三个数据集属于 EEG-HMI 和 EMG-HMI 范式。ConTraNet 在所有不同类别任务(2 类、3 类、4 类和 10 类解码任务)中均优于其同行。意义:大多数 HMI 研究引入了针对其预期生物信号特征量身定制的算法,并在仅属于单一范式的数据集上验证其结果。相反,我们引入了 ConTraNet,并在两个不同的 HMI 范式上验证了结果,这两个范式包含 2、3、4 和 10 个类的数据。此外,ConTraNet 的泛化质量对于这两个范式都同样好,这表明 ConTraNet 能够从不同的 HMI 范式中学习不同的特征,并且与当前最先进的算法相比具有良好的泛化能力。
主要关键词