摘要:情绪是人类生活中不可分割的一部分。自动情绪识别可广泛应用于脑机接口。本研究提出了一种基于深度学习和模糊网络相结合的脑电信号自动情绪识别新模型,可以识别两种不同的情绪:积极和消极。为了实现这一目标,我们编制了一个基于脑电信号音乐刺激的标准数据库。然后,为了处理过拟合现象,使用生成对抗网络来扩充数据。生成对抗网络的输出被输入到所提出的模型中,该模型基于具有 2 型模糊激活函数的改进深度卷积网络。最后,在两个单独的类中,对两种积极情绪和两种消极情绪进行分类。在这两类的分类中,所提出的模型实现了 98% 以上的准确率。此外,与以前的研究相比,所提出的模型表现良好,可用于未来的脑机接口应用。
长期以来,人们一直对意识的起源及神经关联存在争议。研究表明,前额叶和后顶叶皮质的感觉区整体工作空间与大脑的意识活动高度相关(Giacino et al.,2014)。后部皮质包含一个后部热区,用于产生视觉、听觉、触觉等多种意识体验(Boly et al.,2017;Koch,2018),这为后部脑区与人类意识相关提供了直接证据。前额叶严重损伤的患者仍然保留有唤醒和意识,这表明前额叶皮质应排除为意识依赖性皮质(Koch,2018)。但也有研究者认为,大多数与意识无关的额叶结构受损,并不会导致意识丧失;额叶中的关键结构主导着人类的意识(Koenigs 等人,2007 年;Koch 等人,2016 年)。意识障碍 (DOC) 是由于调节觉醒和意识的神经系统部分受损或功能障碍导致的意识状态改变(Schiffi 和 Plum,2000 年;Giacino 等人,2014 年)。DOC 患者通常因中风、缺氧等原因遭受严重的脑损伤(Gosseries 等人,2011b、2014 年)。此类患者可能处于植物人状态 (VS) 或微意识状态 (MCS)。这两种状态都具有较高的觉醒水平;MCS 涉及可重复的非反射性行为反应,而 VS [也称为无反应性觉醒综合征 (UWS)] 仅涉及对外部刺激的反射性行为反应。 VS/UWS 是一种临床综合征,描述患者在睁眼清醒状态下无法表现出自主运动反应(Laureys 等人,2010)。MCS 患者无法与周围环境交流;然而,他们表现出波动的意志行为残余(Laureys 等人,2004)。此外,根据他们对命令的响应能力、有意交流等,MCS 可分为 MCS + 和 MCS-(Chennu 等人,2017 年;Rizkallah 等人,2019 年)。此外,Thibaut 等人(2021 年)将大脑活动与 MCS 相似的 VS/UWS 患者定义为 MCS ∗。额叶是言语功能和运动行为的控制中心;它还被认为与更高级的认知有关,包括记忆和执行力(Chayer and Freedman,2001)。全局工作空间理论假设意识通过信息处理产生,信息处理通过以额叶和顶叶为中心的两个神经元网络将输入信息传播到整个大脑(Koch,2018)。神经影像学研究表明,意识水平的提高伴随着顶叶联想皮层代谢率的变化(Laureys et al.,1999 ) 以及与额叶相关的神经连接增加 ( Jang and Lee , 2015 )。脑电图 (EEG) 是一种非侵入性、高度兼容且便携的测量方法,可以测量
摘要:了解大脑感知外界输入数据的功能是神经科学的一大目标。神经解码有助于我们模拟大脑活动和视觉刺激之间的联系。通过这种建模可以实现从大脑活动重建图像。最近的研究表明,视觉显著性是图像刺激的重要组成部分,它给大脑活动留下了深刻的印象。本文提出了一个深度模型,通过视觉显著性从脑电图 (EEG) 记录中重建图像刺激。为此,我们训练了基于几何深度网络的生成对抗网络 (GDN-GAN),将 EEG 信号映射到每个图像对应的视觉显著性图。所提出的 GDN-GAN 的第一部分由切比雪夫图卷积层组成。所提出的网络的 GDN 部分的输入是基于功能连接的 EEG 通道图形表示。 GDN 的输出被施加到所提出的网络的 GAN 部分以重建图像显著性。所提出的 GDN-GAN 使用 Google Colaboratory Pro 平台进行训练。显著性指标验证了所提出的显著性重建网络的可行性和效率。训练后的网络的权重用作初始权重来重建灰度图像刺激。所提出的网络实现了从 EEG 信号进行图像重建。
方法。— 在本研究中,我们提出了一种新颖的深度网络架构 Brain2Char,用于直接从直接脑记录(称为皮层脑电图,ECoG)解码文本(特别是字符序列)。Brain2Char 框架结合了最先进的深度学习模块 - 用于从神经数据中提取多波段时空特征的 3D Inception 层和双向循环层、扩张卷积层,然后是用于解码字符序列的语言模型加权波束搜索,以及优化联结主义时间分类损失。此外,考虑到皮层功能转换为字符序列所依赖的高度非线性变换,我们对网络的潜在表示进行了正则化,其动机是对语音产生的皮层编码和特定于 ECoG 数据采集的人工方面的洞察。为此,我们对发声运动、语音声学和会话特定非线性的潜在表示施加了辅助损失。
方法。— 在本研究中,我们提出了一种新颖的深度网络架构 Brain2Char,用于直接从直接脑记录(称为皮层脑电图,ECoG)解码文本(特别是字符序列)。Brain2Char 框架结合了最先进的深度学习模块 - 用于从神经数据中提取多波段时空特征的 3D Inception 层和双向循环层、扩张卷积层,然后是用于解码字符序列的语言模型加权波束搜索,以及优化联结主义时间分类损失。此外,考虑到皮层功能转换为字符序列所依赖的高度非线性变换,我们对网络的潜在表示进行了正则化,其动机是对语音产生的皮层编码和特定于 ECoG 数据采集的人工方面的洞察。为此,我们对发声运动、语音声学和会话特定非线性的潜在表示施加了辅助损失。
1 简介 走神是一种思维过程,其特点是与当前情境中的主要目标没有直接关系 (Smallwood & Schooler, 2015)。走神往往表现为注意力不集中,这往往会导致在任务中出错 (Cheyne et al., 2006)。然而,走神并非在所有情况下都会导致错误。有时,当人们开始享受这些自我分心的时期,将其作为暂时逃避当前情况的方式时,他们可以很好地处理他们的主要任务 (Schooler et al., 2011)。当当前任务的认知负荷较低时,走神产生的这种积极影响尤其常见——换句话说,几乎不需要执行控制就可以自动实现绩效 (Randall et al., 2019),因此低绩效并不是走神万无一失的指标。另一种用来描述走神的行为指标是增加反应时间变化。多项研究表明,即使没有观察到明显的错误,当参与者的思绪游离时,他们的反应时间也会发生变化(Bastian & Sackur,2013;Seli 等人,2013;Zanesco 等人,2021b;Zheng 等人,2019)。
摘要 — 高时间分辨率和不对称空间激活是脑电图 (EEG) 的基本属性,是大脑情绪过程的基础。为了学习 EEG 的时间动态和空间不对称性以实现准确和广义的情绪识别,我们提出了 TSception,这是一种可以从 EEG 中对情绪进行分类的多尺度卷积神经网络。TSception 由动态时间、不对称空间和高级融合层组成,它们同时学习时间和通道维度中的判别表示。动态时间层由多尺度 1D 卷积核组成,其长度与 EEG 的采样率有关,它学习 EEG 的动态时间和频率表示。不对称空间层利用情绪的不对称 EEG 模式,学习判别性全局和半球表示。学习到的空间表示将由高级融合层融合。使用更通用的交叉验证设置,在两个公开可用的数据集 DEAP 和 MAHNOB-HCI 上评估所提出的方法。将所提出的网络的性能与 SVM、KNN、FBFgMDM、FBTSC、无监督学习、DeepConvNet、ShallowConvNet 和 EEGNet 等先前报告的方法进行了比较。在大多数实验中,TSception 的分类准确率和 F1 分数高于其他方法。代码可在以下位置获得:https://github.com/yi-ding-cs/TSception
可穿戴神经技术和活动追踪技术的快速发展意味着我们的认知活动很快将得到监测、量化、分析和解读,就像可穿戴设备已经被用来“改善”我们的身体健康一样。目前,试图从身体上[ 1 ]和身体外技术[ 8 ]对认知活动进行分类的研究可以说与 21 世纪的身体活动追踪技术一样成熟[ 9 ]。与此同时,普通消费者已经可以购买专用的“大脑监测”设备,这些设备声称可以支持认知健康(例如冥想练习 1 、工作专注 2 )。同样,其他可穿戴技术声称可以通过追踪我们的呼吸 3 来估计我们的压力,通过学习“识别你的情绪模式” 4 的腕带或推荐生理调节活动(例如有节奏的呼吸练习)以保持健康的手表 5 ,以及测量我们的睡眠和估计我们对未来一天的心理准备程度的设备 6 。
技术和生理伪影会干扰脑电图 (EEG) 信号。最常见的伪影之一是受试者眼球运动和眨眼产生的自然活动。眨眼伪影 (EB) 遍布整个头部表面,使 EEG 信号分析变得困难。消除眼电图 (EOG) 伪影的方法已知,例如独立成分分析 (ICA) 和回归。本文旨在实现卷积神经网络 (CNN) 以消除眨眼伪影。为了训练 CNN,提出了一种增强 EEG 信号的方法。将从 CNN 获得的结果与 ICA 和回归方法的结果进行比较,以比较生成的和真实的 EEG 信号。所得结果表明,CNN 在消除眨眼伪影的任务中表现更好,尤其是对于位于头部中央部分的电极。