摘要 事件相关电位(ERP)反映了大脑对外部事件作出反应的神经生理变化,其背后的复杂时空特征信息受大脑内持续的振荡活动支配。深度学习方法以其出色的特征表示能力越来越多地被用于基于ERP的脑机接口(BCI),可以深入分析大脑内的振荡活动。时空频率较高的特征通常表示详细和局部的信息,而时空频率较低的特征通常表示全局结构。从多个时空频率中挖掘脑电特征有利于获得更多的判别性信息。本文提出了一种多尺度特征融合八度卷积神经网络(MOCNN)。MOCNN将ERP信号分为对应于不同分辨率的高频、中频和低频分量,并在不同的分支中进行处理。通过添加中频和低频分量,可以丰富MOCNN使用的特征信息,并减少所需的计算量。 MOCNN 在使用时间和空间卷积进行连续特征映射后,通过分支间特征信息交换实现不同组件间的交互式学习。将融合的深度时空特征从各个组件输入到全连接层,实现分类。在两个公共数据集和一个自采集的 ERP 数据集上获得的结果表明,MOCNN 可以实现最佳的 ERP 分类性能。本研究将广义的八度卷积概念引入到 ERP-BCI 研究领域,通过分支宽度优化和各个尺度上的信息交互,可以从多尺度网络中提取有效的时空特征。索引词——脑机接口、事件相关电位、深度学习、多尺度、八度卷积神经网络。
主要关键词