在文本到视频生成[2,13,27,31,42]中。尽管取得了成就,但文本输入的有限可控性刺激了图像到视频(I2V)生成领域的增长趋势,旨在鉴于图像和文本描述[27,38,43],旨在产生视频序列。在I2V生成上的最新研究[35,38,43]试图通过将时间层纳入现有SD模型并在视频和图像数据集中训练这些较大的模型来利用预训练的SD模型的功能。尽管这些方法表现出了令人鼓舞的结果,但在大规模标记的数据集中,很大的缺点仍然很大程度上依赖广泛的培训[9,39]。这可以表现出来,从而限制了这些方法的可访问性和发展潜力。
摘要 — 从脑电图 (EEG) 信号中进行情绪识别是生物医学研究的一个重要领域,其应用范围广泛,从精神障碍调节到人机交互。在本文中,我们讨论了 EEG 情绪识别的两个基本方面:情绪状态的连续回归和情绪的离散分类。虽然分类方法已经引起了广泛关注,但回归方法仍然相对未被充分探索。为了弥补这一差距,我们引入了 MASA-TCN,这是一种新颖的统一模型,它利用时间卷积网络 (TCN) 的空间学习能力进行 EEG 情绪回归和分类任务。关键创新在于引入了空间感知时间层,使 TCN 能够捕捉 EEG 电极之间的空间关系,从而增强其辨别细微情绪状态的能力。此外,我们设计了一个具有注意力融合的多锚块,使模型能够自适应地学习 EEG 信号中的动态时间依赖性。在两个公开数据集上的实验表明,MASA-TCN 在 EEG 情绪回归和分类任务中都取得了比最先进方法更高的结果。
摘要 - 高时间分辨率和不对称空间激活是大脑中脑电图(EEG)的基本属性。为了学习脑电图对准确和普遍的情绪识别的时间动态和空间不对称性,我们提出了Tsception,这是一种多尺度的卷积神经网络,可以从EEG分类情绪。tsception由动态时间,不对称空间和高级融合层组成,它们同时学习时间和通道尺寸。动态时间层由多尺度的1D卷积内核组成,其长度与EEG的采样率有关,EEG学习了EEG的动态时间和频率表示。不对称的空间层利用了情绪的不对称脑电图模式,学习歧视性的全球和半球表示。学习的空间表示将被高级融合层融合。使用更广泛的交叉验证设置,在两个公开可用的数据集DEAP和MAHNOB-HCI上评估了所提出的方法。将所提出的网络的性能与先前报道的方法(例如SVM,KNN,FBFGMDM,FBTSC,无监督学习,DeepConvnet,ShallowConvnet和Eegnet)进行了比较。tsception达到了更高的分类精度和F1评分。这些代码可在以下网址提供:https://github.com/yi-ding-cs/tseption
摘要— 高时间分辨率和不对称空间激活是脑电图 (EEG) 的基本属性,是大脑情绪过程的基础。为了学习 EEG 的时间动态和空间不对称性以实现准确和广义的情绪识别,我们提出了 TSception,这是一种可以从 EEG 中对情绪进行分类的多尺度卷积神经网络。TSception 由动态时间、不对称空间和高级融合层组成,它们同时学习时间和通道维度中的判别表示。动态时间层由多尺度 1D 卷积核组成,其长度与 EEG 的采样率有关,它学习 EEG 的动态时间和频率表示。不对称空间层利用情绪的不对称 EEG 模式,学习判别性全局和半球表示。学习到的空间表示将由高级融合层融合。使用更通用的交叉验证设置,在两个公开可用的数据集 DEAP 和 MAHNOB-HCI 上评估所提出的方法。将所提出的网络的性能与 SVM、KNN、FBFgMDM、FBTSC、无监督学习、DeepConvNet、ShallowConvNet 和 EEGNet 等先前报告的方法进行了比较。在大多数实验中,TSception 的分类准确率和 F1 分数高于其他方法。代码可在以下位置获得:https://github.com/yi-ding-cs/TSception
摘要 — 高时间分辨率和不对称空间激活是脑电图 (EEG) 的基本属性,是大脑情绪过程的基础。为了学习 EEG 的时间动态和空间不对称性以实现准确和广义的情绪识别,我们提出了 TSception,这是一种可以从 EEG 中对情绪进行分类的多尺度卷积神经网络。TSception 由动态时间、不对称空间和高级融合层组成,它们同时学习时间和通道维度中的判别表示。动态时间层由多尺度 1D 卷积核组成,其长度与 EEG 的采样率有关,它学习 EEG 的动态时间和频率表示。不对称空间层利用情绪的不对称 EEG 模式,学习判别性全局和半球表示。学习到的空间表示将由高级融合层融合。使用更通用的交叉验证设置,在两个公开可用的数据集 DEAP 和 MAHNOB-HCI 上评估所提出的方法。将所提出的网络的性能与 SVM、KNN、FBFgMDM、FBTSC、无监督学习、DeepConvNet、ShallowConvNet 和 EEGNet 等先前报告的方法进行了比较。在大多数实验中,TSception 的分类准确率和 F1 分数高于其他方法。代码可在以下位置获得:https://github.com/yi-ding-cs/TSception