摘要 — 将神经生理学的先验知识整合到神经网络架构中可提高情绪解码的性能。虽然许多技术都强调学习空间和短期时间模式,但对捕捉与情绪认知过程相关的重要长期背景信息的重视程度有限。为了解决这一差异,我们引入了一种称为情绪变换器 (EmT) 的新型变换器模型。EmT 旨在在广义跨受试者脑电图情绪分类和回归任务中表现出色。在 EmT 中,脑电图信号被转换成时间图格式,使用时间图构造模块 (TGC) 创建一系列脑电图特征图。然后提出了一种新颖的残差多视图金字塔 GCN 模块 (RMPG) 来学习该系列中每个脑电图特征图的动态图表示,并将每个图的学习到的表示融合成一个标记。此外,我们设计了一个时间上下文变换器模块 (TCT),它有两种类型的标记混合器来学习时间上下文信息。最后,任务特定的输出模块 (TSO) 生成所需的输出。在四个公开数据集上的实验表明,EmT 在 EEG 情绪分类和回归任务中都取得了比基线方法更高的结果。代码可在 https://github.com/yi-ding-cs/EmT 上找到
主要关键词