摘要 — 神经心理学研究表明,不同大脑功能区域之间的合作活动推动了高级认知过程。为了了解大脑不同功能区域内和之间的大脑活动,我们提出了一种新型神经学启发式图神经网络 LGGNet,用于学习脑机接口 (BCI) 的脑电图 (EEG) 的局部-全局图表示。LGGNet 的输入层由一系列具有多尺度 1D 卷积核和内核级注意力融合的时间卷积组成。它捕获 EEG 的时间动态,然后将其作为所提出的局部和全局图过滤层的输入。LGGNet 使用一组定义的具有神经生理学意义的局部和全局图,对大脑功能区域内和之间的复杂关系进行建模。在稳健的嵌套交叉验证设置下,在三个公开可用的数据集上对四类认知分类任务(即注意力、疲劳、情绪和偏好分类任务)评估了所提出的方法。 LGGNet 与 DeepConvNet、EEGNet、R2G-STNN、TSception、RGNN、AMCNN-DGCN、HRNN 和 GraphNet 等最先进的方法进行了比较。结果表明,LGGNet 的表现优于这些方法,并且在大多数情况下,改进具有统计意义(p < 0.05)。结果表明,将神经科学先验知识引入神经网络设计可以提高分类性能。源代码可以在 https://github.com/yi-ding-cs/LGG 找到
给定一个从一个人思考/看到从 0 到 9 的数字时记录的多通道 EEG 信号,我们能否识别出用户是否在思考某个特定的数字?这是本研究试图解决的基本问题。然而,这个问题并不简单,而且预计会更具挑战性,因为对这类数据集的研究很少。从机器学习的角度来看,这个问题可以表述为分类问题(二分类和多类)。此外,EEG 信号可以被视为多元时间序列数据,其中不同的通道相当于各种时间序列变量。所以问题归结为多元时间序列分类。根据 [1] 和 [2],随着深度学习在 BCI 中的引入,从 2015 年到 2020 年,出版物数量急剧增加。这意味着深度学习在基于 EEG 的 BCI 中的应用是社区越来越感兴趣的话题。
从人脑活动中解码的视觉表示已成为繁荣的研究领域,尤其是在大脑计算机界面的背景下。我们的研究提出了一种创新的方法,该方法采用知识蒸馏来培训EEG分类器并从ImageNet和Thicke-eeg 2数据集中重建图像,仅使用脑电图(EEG)数据集(EEG)数据,这些数据是来自参与者的数据,这些数据本身就查看了图像(即''大脑解码')。我们分析了来自6位参与者的eeg录音,用于Imagenet数据集,为Things-EEG 2数据集进行了10个录音,这些数据集暴露于跨越独特语义类别的图像。这些脑电图读数被转换为频谱图,然后将其用于训练卷积神经网络(CNN),该卷积神经网络(CNN)与知识蒸馏程序集成了基于预先训练的对比语言图像 - 训练前训练(CLIP)基于基于图像的图像分类教师网络。这种策略使我们的模型可以达到87%的前5个精度,显着优于标准CNN和各种基于RNN的基准测试。此外,我们根据预训练的潜扩散模型合并了图像重建机制,这使我们能够生成引起脑电图活性的图像的估计。因此,我们的体系结构不仅解码了神经活动中的图像,而且还提供了仅从脑电图中重建的可信图像重建,为例如迅速,个性化的反馈实验铺平了道路。
从脑电信号进行语音解码是一项具有挑战性的任务,其中大脑活动被建模以估计声学刺激的显著特征。我们提出了 FESDE,一种从脑电信号进行完全端到端语音解码的新颖框架。我们的方法旨在根据脑电信号直接重建所听语音波形,其中不需要中间声学特征处理步骤。所提出的方法由脑电模块、语音模块和连接器组成。脑电模块学习更好地表示脑电信号,而语音模块从模型表示中生成语音波形。连接器学习连接脑电和语音的潜在空间分布。所提出的框架既简单又高效,允许单步推理,并且在客观指标上优于以前的工作。进行了细粒度的音素分析以揭示语音解码的模型特征。源代码可在此处获取:github.com/lee-jhwn/fesde。索引词:语音解码、语音合成、脑电图、神经活动、脑信号
1 赫尔辛基大学神经科学中心,Haartmaninkatu 8, 00290 赫尔辛基,芬兰 2 喀山联邦大学计算数学与信息技术研究所,Kremlyovskaya 35,喀山 420008,鞑靼斯坦,俄罗斯; anton@egorchev.ru(AAE); fmmusin@kpfu.ru (调频); rumgimadutdinov@stud.kpfu.ru (RMG) 3 俄罗斯喀山联邦大学物理研究所,Kremlyovskaya 16a,喀山 420008,鞑靼斯坦; nikita.lipachev@gmail.com(荷兰); alvaraganov@gmail.com (AVA) 4 俄罗斯喀山联邦大学基础医学和生物学研究所,卡尔马克思街 74,喀山 420015,鞑靼斯坦; anastasiia_melnikova@outlook.com 5 俄罗斯鞑靼斯坦喀山联邦大学人工智能、机器人与系统工程学院,Kremlyovskaya 18,喀山 420008; hide.kashipov@gmail.com(ARK); dmitry.kfu@ya.ru (DEC) 6 赫尔辛基大学生物医学成像部,Haartmaninkatu 8, 00014 赫尔辛基,芬兰; dmitry.molotkov@embl.it * 通讯地址:paveliev@outlook.com
abtract。通过社会沟通和重复行为不足而认识到的一种神经发育障碍,被缩写为自闭症谱系障碍(ASD)。诊断自闭症的最实际设备之一是脑电图(EEG)信号,它准确地代表了大脑的功能。每个个体的记录的脑电图都包含大量数据,这些数据很难在视觉上学习和检查。机器学习算法的主要目标是以最终接近人脑的诊断方式训练机器。在本文中评估了在自闭症诊断的特征提取块中进一步开发深度学习能力的适当策略。为此,卷积神经网络(CNN)结构参与检查可用数据以提取功能。涉及支持向量机(SVM),线性判别分析(LDA),决策树(DT),简单贝叶斯分类(GNB)和随机森林(RF)的五个机器学习分类器(SVM)。通过SVM,LDA,DT,GNB和RF分类器获得的精度百分比分别为100、82、80.5、100和100%。通过应用不同的机器学习方法,这种提出的用于特征提取和分类的卷积神经网络的方法可以产生高临界性,即使不是比其自闭症诊断的同类方法相似。
许多脑部疾病迫切需要新的生物标记物;例如,轻度创伤性脑损伤 (mTBI) 的诊断具有挑战性,因为临床症状多样且不具特异性。EEG 和 MEG 研究已经证明了 mTBI 的几个人群水平指标,可以作为脑损伤的客观标记物。然而,从 EEG/MEG 信号中获取 mTBI 和其他脑部疾病的临床有用生物标记物受到个体间差异大(即使在健康人群中也是如此)的阻碍。在这里,我们使用多元机器学习方法从静息态 MEG 测量中检测 mTBI。为了解决病情的异质性,我们采用了规范建模方法,并将个体 mTBI 患者的 MEG 信号特征建模为相对于正常变化的偏差。为此,使用包含 621 名健康参与者的规范数据集来确定整个皮层功率谱的变化。此外,我们根据全规范数据的年龄匹配子集构建了规范数据集。为了区分患者和健康对照者,我们基于 25 名 mTBI 患者和 20 名未包含在常模数据集中的对照者的定量偏差图训练了支持向量机分类器。表现最佳的分类器利用了整个年龄和频率范围内的完整常模数据。该分类器能够以 79% 的准确率区分患者和对照者。对训练模型的检查显示,θ 频带(4-8 Hz)内的低频活动是 mTBI 的重要指标,这与早期研究一致。结果证明了使用 MEG 数据的常模建模结合机器学习来推进 mTBI 诊断和识别可从治疗和康复中受益患者的可行性。当前方法可应用于多种脑部疾病,从而为获取基于 MEG/EEG 的生物标志物提供基础。
从神经信号中解码语言具有重要的理论和实践意义。先前的研究表明从侵入式神经信号中解码文本或语音的可行性。然而,当使用非侵入式神经信号时,由于其质量低下,面临着巨大的挑战。在本研究中,我们提出了一种数据驱动的方法,用于从受试者听连续语音时记录的脑磁图 (MEG) 信号中解码语言语义。首先,使用对比学习训练多受试者解码模型,从 MEG 数据中重建连续词嵌入。随后,采用波束搜索算法根据重建的词嵌入生成文本序列。给定波束中的候选句子,使用语言模型来预测后续单词。后续单词的词嵌入与重建的词嵌入相关联。然后使用这些相关性作为下一个单词的概率度量。结果表明,所提出的连续词向量模型可以有效利用特定主题和共享主题的信息。此外,解码后的文本与目标文本具有显著的相似性,平均 BERTScore 为 0.816,与之前的 fMRI 研究结果相当。
脑电图是使用分布在颅骨周围的小电极记录的。电极的数量各不相同,国际临床神经生理学联合会采用的标准之一是国际 10-20 电极放置协议,该协议描述了 21 个电极的放置位置[ 24 ],但也有许多应用使用 35 通道、125 通道甚至高密度 256 通道。《行为与脑科学杂志》的一篇文章探讨了不同数量的电极对移动活动期间记录的脑电图的影响。[19 ]随着电极数量的增加,捕获的脑电图质量会提高,但成本和设置也会变得更加复杂和耗时。
摘要 - 使用电解图(EEG)对情绪的检测是脑部计算机内部的关键领域,并且在诸如Reha-Bilitation和Medicine等领域具有宝贵的应用。在这项研究中,我们采用了转移学习来克服基于EEG的情绪检测中数据可用性有限的挑战。本研究中使用的基本模型是RESNET50。此外,我们在基于EEG的情绪检测中采用了一种新颖的功能组合。该模型的输入是图像矩阵的形式,该图像矩阵分别包含平均相位相干性(MPC)和宏观平方相干性(MSC),分别包括三角形和下三角矩阵。我们通过将从差分熵(DE)获得的特征纳入对角线来进一步提高了技术,该特征以前几乎没有对情绪进行分类的信息。这项研究中使用的数据集,种子脑电图(62通道脑电图),包括三个类(正,中性和负)。我们计算了与受试者无关和主体依赖性的能力。使用10倍的交叉验证方法获得了受试者依赖性的精度,为93.1%,而独立于主题的分类是通过采用遗留对象 - 受试者(LOSO)策略来进行的。与受试者无关的分类中所具有的准确性为71.6%。这两个精度至少是分类3类的机会准确性的两倍。研究发现,在基于EEG的情绪检测中使用MSC和MPC进行了情绪分类。这项工作的未来范围包括使用数据增强技术,增强的分类器以及更好的情感分类功能。索引项 - 脑计算机界面,情绪检测,转移学习,脑电图,平均相干性,幅度平方相干性,种子EEG