视觉方式是当前连续情绪识别方法的最主要方式之一。与脑电图的内在限制(如受试者偏置和低空间分辨率)相比,脑电图的声音相对较小。这项工作试图通过使用视觉模态的黑暗知识来改善脑电图模式的持续预测。教师模型是由级联卷积神经网络建立的 - 时间卷积网络(CNN -TCN)体系结构,学生模型由TCN构建。它们分别由视频框架和EEG平均频带功率功能馈送。采用了两个数据分配方案,即试验级随机shu ffl ing(TRS)和剩余的受试者(LOSO)。独立的老师和学生可以产生优于基线方法的连续预测,而视觉到EEG跨模式KD的使用进一步改善了统计学意义的预测,即p-value <0。01对于TRS和P值<0。05用于LOSO分区。受过训练的学生模型的显着性图表明,与活动价状态相关的大脑区域不在精确的大脑区域。相反,它是由于各个大脑区域之间的同步活动而引起的。和快速β和伽马波的频率为18-30 Hz和30-45 Hz,对人类的情感过程贡献最大。该代码可在https://github.com/sucv/visual _ to _ eeg _ cross _ modal _ kd _ for _ cer上获得。
主要关键词