摘要 — 在评估情绪的不同方式中,代表大脑电活动的脑电图 (EEG) 在过去十年中取得了令人鼓舞的成果。EEG 的情绪估计有助于某些疾病的诊断或康复。在本文中,我们提出了一个双重模型,考虑了 EEG 特征图的两种不同表示:1) 基于顺序的 EEG 频带功率表示,2) 基于图像的特征向量表示。我们还提出了一种创新方法,根据基于图像的模型的显着性分析来组合信息,以促进两个模型部分的联合学习。该模型已在四个公开可用的数据集上进行了评估:SEED-IV、SEED、DEAP 和 MPED。对于三个提出的数据集,所取得的结果优于最先进方法的结果,标准差较低,反映了更高的稳定性。为了可重复性,本文提出的代码和模型可在 https://github.com/VDelv/Emotion-EEG 获得。
数据增强现在是图像训练过程的重要组成部分,因为它可以有效地防止过度拟合并使模型对噪声数据集更加稳健。最近的混合增强策略已经取得了进展,可以生成可以丰富显着性信息的混合掩码,这是一种监督信号。然而,这些方法在优化混合掩码时会产生很大的计算负担。出于这个动机,我们提出了一种新颖的显着性感知混合方法GuidedMixup,旨在以较低的计算开销保留混合图像中的显着区域。我们开发了一种高效的配对算法,该算法致力于最小化配对图像的显着区域的冲突并在混合图像中实现丰富的显着性。此外,GuidedMixup通过平滑地插值两个配对图像来控制每个像素的混合率以更好地保留显着区域。在多个数据集上的实验表明,GuidedMixup 在分类数据集上实现了数据增强开销和泛化性能之间的良好平衡。此外,我们的方法在损坏或精简数据集的实验中也表现出良好的性能。
摘要:了解大脑感知外界输入数据的功能是神经科学的一大目标。神经解码有助于我们模拟大脑活动和视觉刺激之间的联系。通过这种建模可以实现从大脑活动重建图像。最近的研究表明,视觉显著性是图像刺激的重要组成部分,它给大脑活动留下了深刻的印象。本文提出了一个深度模型,通过视觉显著性从脑电图 (EEG) 记录中重建图像刺激。为此,我们训练了基于几何深度网络的生成对抗网络 (GDN-GAN),将 EEG 信号映射到每个图像对应的视觉显著性图。所提出的 GDN-GAN 的第一部分由切比雪夫图卷积层组成。所提出的网络的 GDN 部分的输入是基于功能连接的 EEG 通道图形表示。 GDN 的输出被施加到所提出的网络的 GAN 部分以重建图像显著性。所提出的 GDN-GAN 使用 Google Colaboratory Pro 平台进行训练。显著性指标验证了所提出的显著性重建网络的可行性和效率。训练后的网络的权重用作初始权重来重建灰度图像刺激。所提出的网络实现了从 EEG 信号进行图像重建。