虚拟现实环境为研究脑机接口 (BCI) 在现实环境中的性能提供了绝佳的机会。由于现实世界的刺激通常是多模态的,它们的神经元整合会引发复杂的反应模式。为了研究额外的听觉提示对视觉信息处理的影响,我们使用虚拟现实来模拟工业环境中的安全相关事件,同时记录脑电图 (EEG) 信号。我们模拟了一个在传送带系统上移动的盒子,其中两种类型的刺激(爆炸和燃烧的盒子)会中断正常操作。来自 16 名受试者的记录分为两个子集,一个是纯视觉实验,另一个是视听实验。在纯视觉实验中,两种刺激的反应模式引发了类似的模式——视觉诱发电位 (VEP),然后是枕叶-顶叶上的事件相关电位 (ERP)。此外,我们发现感知到的事件严重程度反映在信号幅度中。有趣的是,额外的听觉提示对先前的发现产生了双重影响:在爆炸盒刺激的情况下,P1 成分被显著抑制,而燃烧盒刺激下 N2c 则有所增强。这一结果凸显了多感官整合对现实 BCI 应用性能的影响。事实上,我们观察到基于混合特征提取(方差、功率谱密度和离散小波变换)和支持向量机分类器的检测任务的离线分类准确度发生了变化。在爆炸的情况下,与仅视觉实验相比,视听实验的准确度略有下降,为 -1.64%。相反,当存在额外的听觉提示时,燃烧盒的分类准确度增加了 5.58%。因此,我们得出结论,特别是在具有挑战性的检测任务中,当 BCI 应该在(多模态)真实世界条件下运行时,考虑多感官整合的潜力是有利的。
摘要:增材制造 (AM) 工艺中的质量预测至关重要,特别是在航空航天、生物医学和汽车等高风险制造业。声学传感器已成为一种有价值的工具,可通过分析特征和提取独特特征来检测打印图案的变化。本研究重点关注熔融沉积成型 (FDM) 3D 打印样品立方体 (10 mm × 10 mm × 5 mm) 的声学数据流的收集、预处理和分析。以 10 秒为间隔提取不同层厚度的时域和频域特征。使用谐波-打击源分离 (HPSS) 方法对音频样本进行预处理,并使用 Librosa 模块对时间和频率特征进行分析。进行了特征重要性分析,并使用八种不同的分类器算法(K最近邻(KNN)、支持向量机(SVM)、高斯朴素贝叶斯(GNB)、决策树(DT)、逻辑回归(LR)、随机森林(RF)、极端梯度提升(XGB)和轻梯度提升机(LightGBM))实施机器学习(ML)预测,以基于标记数据集对打印质量进行分类。使用具有不同层厚度的三维打印样品(代表两种打印质量水平)生成音频样本。从这些音频样本中提取的频谱特征作为监督ML算法的输入变量,以预测打印质量。调查显示,频谱平坦度、频谱质心、功率谱密度和RMS能量的平均值是最关键的声学特征。使用包括准确度分数、F-1分数、召回率、精确度和ROC / AUC在内的预测指标来评估模型。极端梯度提升算法脱颖而出,成为最佳模型,预测准确率为 91.3%,准确率为 88.8%,召回率为 92.9%,F-1 得分为 90.8%,AUC 为 96.3%。这项研究为使用熔融沉积模型进行基于声学的 3D 打印部件质量预测和控制奠定了基础,并可扩展到其他增材制造技术。
图 1. Neuro-stack 平台。a、用于单神经元和局部场电位 (LFP) 记录以及闭环可编程锁相 (PLS) 刺激的 Neuro-stack 和基于 GUI 的平板电脑。平板电脑可以选择记录和刺激通道、采样率、单极/双极记录和其他参数。显示的是封装(左)和未封装(右)版本。b、Neuro-stack 由三个堆叠层组成:1)通信 (Comm)、2) 数字和 3) 模拟。展示的是印刷电路板 (PCB,尺寸 = 90×60 mm 2 ) 和 5×2 引脚(8 个通道、1 个参考和 1 个接地,共 10 个引脚)Omnetics 探头连接器,可连接微电极(仅连接顶部模拟层)。请注意,每个模拟层最多接收两个 Omnetics 连接器,以通过一个探头连接最多 4 个电极。显示了每层的高级框图(右)。通信层包含一个 FPGA(现场可编程门阵列),用于介导外部软件和集成电路 (IC) 芯片之间的命令和数据传输(通过 USB)。数字层包含 PLS IC。模拟层包含用于感测(Sense IC)和刺激(Stim IC)的芯片。显示三个模拟层以允许记录 192 个通道(64 x 3 层)。串行外围设备接口 (SPI) 用于 FPGA 与 Sense 和 Stim IC 的通信,移位寄存器用于 FPGA 与 PLS 和 Spike IC 的通信。c,神经堆栈连接到佩戴眼动追踪系统的参与者的微电极。d,显示用于宏电极的 10 针防触摸跳线和用于微电极记录的 10 针连接器(例如 Adtech)。e,使用临床监测系统(Nihon Kohden,灰色)和神经堆栈(黑色)同时记录的示例数据显示信号相似。 f,数据(e)中功率谱图示例,显示一致的活动模式。使用对数刻度显示频率(0.1-32 Hz)。g,数据(e)中归一化功率谱密度(PSD)图示例。
摘要 - 目的:在大多数现有的大脑计算机界面(BCI)系统中,通常会忽略脑电图频谱动力学中隐藏的拓扑信息。此外,脑电图与其他信息性的大脑信号(例如功能性近红外光谱(FNIRS))的系统多模式融合尚未得到充分研究,以增强BCI系统的性能。在这项研究中,我们利用一系列基于图形的EEG特征来研究其在运动假想(MI)分类任务上的性能。方法:我们首先根据复杂的Morlet小波时间频率图提取用户多通道EEG信号的幅度和相位序列,然后将它们转换为无向图以提取EEG EEG拓扑特征。然后通过阈值方法选择基于图的特征,并与FNIRS信号的时间特征融合在一起,每个特征是由最小绝对收缩和选择算子(Lasso)算法选择的。然后,通过线性支持向量机(SVM)分类将融合功能分类为MI任务与基线。结果:与在频带过滤的时间eeg信号上构建的图相比,EEG信号的时频图提高了MI分类精度约5%。我们提出的基于图的方法还显示出与基于功率谱密度(PSD)的经典脑电图特征相当的性能,但是标准偏差较小,显示出在实用BCI系统中潜在使用的稳健性。关键字 - 大脑计算机界面(BCI),EEG-FNIRS数据融合,特征选择,图理论。我们的融合分析显示,与最高的FNIRS相对于单个模态效果相关时,与最高的FNIR相比,仅EEG的最高平均准确性仅为17%,而仅EEG的最高平均精度仅为最高的平均准确性,而最高的FNIRS的平均准确性仅为3%。显着性:我们的发现表明,通过使运动假想推理更加准确,更强大,利用混合BCI系统中基于图的特征的提议数据融合框架的潜在用途。
图 1. Neuro-stack 平台。a、用于单神经元和局部场电位 (LFP) 记录以及闭环可编程锁相 (PLS) 刺激的 Neuro-stack 和基于 GUI 的平板电脑。平板电脑可以选择记录和刺激通道、采样率、单极/双极记录和其他参数。显示的是封装(左)和未封装(右)版本。b、Neuro-stack 由三个堆叠层组成:1)通信 (Comm)、2) 数字和 3) 模拟。展示的是印刷电路板 (PCB,尺寸 = 90×60 mm 2 ) 和 5×2 引脚(8 个通道、1 个参考和 1 个接地,共 10 个引脚)Omnetics 探头连接器,可连接微电极(仅连接顶部模拟层)。请注意,每个模拟层最多接收两个 Omnetics 连接器,以通过一个探头连接最多 4 个电极。显示了每层的高级框图(右)。通信层包含一个 FPGA(现场可编程门阵列),用于介导外部软件和集成电路 (IC) 芯片之间的命令和数据传输(通过 USB)。数字层包含 PLS IC。模拟层包含用于感测(Sense IC)和刺激(Stim IC)的芯片。显示三个模拟层以允许记录 192 个通道(64 x 3 层)。串行外围设备接口 (SPI) 用于 FPGA 与 Sense 和 Stim IC 的通信,移位寄存器用于 FPGA 与 PLS 和 Spike IC 的通信。c,神经堆栈连接到佩戴眼动追踪系统的参与者的微电极。d,显示用于宏电极的 10 针防触摸跳线和用于微电极记录的 10 针连接器(例如 Adtech)。e,使用临床监测系统(Nihon Kohden,灰色)和神经堆栈(黑色)同时记录的示例数据显示信号相似。 f,数据(e)中功率谱图示例,显示一致的活动模式。使用对数刻度显示频率(0.1-32 Hz)。g,数据(e)中归一化功率谱密度(PSD)图示例。
各种提示策略(内部和外部)已被用于缓解帕金森病 (PD) 的步态障碍。然而,目前仍不清楚哪种提示策略在不同的疾病阶段或更严重的步行障碍(例如步态冻结 (FOG))下最有效。对提示作出反应的潜在神经机制也未知。这项试验旨在:(i) 确定 PD 患者行走时大脑活动对提示刺激(内部、视觉、听觉或触觉)的反应;(ii) 检查 PD 不同阶段大脑活动对提示的变化。这项正在进行的单点研究采用探索性观察设计,在实验室应用步态障碍提示。总共将招募 80 名符合纳入标准的 PD 患者。参与者根据其疾病阶段(用 Hoehn 和 Yahr (H&Y) 量表分类)分成几组;n = 20 H&YI;n = 30 H&YII; n = 30 H&YIII。在 H&Y II 和 III 期组中,我们还将确保每组招募 15 名 FOG 患者。参与者在几种条件下执行步行任务:无提示的基线步行;随机提示步行条件 [内部和外部(视觉、听觉和触觉)提示]。组合功能性近红外光谱和脑电图系统可量化步行时的皮质大脑活动。惯性传感器用于评估步态。主要结果测量是步行时与提示相关的皮质大脑活动变化,包括皮质 HbO 2 的相对变化和 alpha(8-13Hz)、beta(13-30Hz)、delta(0.5-4Hz)、theta(4-8Hz)和 gamma(30-40Hz)频率带宽的功率谱密度。次要结果测量是时空步态特征的线索相关变化。研究结果将增强我们对皮质对不同线索策略的反应的理解,以及它们如何受到 PD 进展和 FOG 状态的影响。该试验已在 clinicaltrials.gov 注册(NCT04863560;2021 年 4 月 28 日,https://clinicaltrials.gov/ct2/show/NCT04863560)。
跨任务脑电信号分析方法研究已成为一个快速发展的研究热点。近年来,越来越多的研究者将脑电信号分析中广泛使用的特征应用到跨任务脑电信号分析研究中,包括功率谱密度(PSD)特征(Touryan et al.,2016;Adewale and Panoutsos,2019)、融合特征(Kakkos et al.,2021)等,旨在找到有效处理任务间差异的方法。同时,一些研究者通过与传统特征分类方法进行比较,探索出对不同任务之间的差异更加友好的分类器,包括多层感知器神经网络(MLPNN)(Kamrud et al.,2021)、领域自适应方法(Zhou et al.,2022)、滑动窗口支持向量机(SVM)(Boring et al.,2020)等。另一方面,为了缩小任务间的差异,提出了一些基于深度学习模型的新型跨任务模型,如卷积神经网络(CNN)(Mota et al.,2021)、循环神经网络(RNN)(Gupta et al.,2021)、基于度量的方法(Jia et al.,2023)、CNN 与 RNN 的组合(Zhang et al.,2019;Zhou et al., 2019;Taori等,2022)等。但跨任务脑电信号分析方法领域仍有许多未探索的领域,例如:任务分割与复杂度设计(Kamrud等,2021)、多源域自适应应用(Zhou等,2022)、多尺度多方向滤波器研究(Taori等,2022)、同时考虑特征提取和特征分类、增加数据量等。另外,跨任务分析与比较常见的跨学科研究也存在一些相互联系。本研究将从特征提取和特征分类的角度对跨任务脑电信号分析相关的文献进行综述,并讨论跨任务研究与跨学科研究对于脑电信号分析的关系,最后提出我们原创的观点,以期为跨任务脑电信号分析研究领域提供有益的建议。
5 收发器构建模块建模 ................................................................................................................................ 20 5.1 信号路径组件 .............................................................................................................................................. 20 5.1.1 接收器噪声系数和非线性 ...................................................................................................................... 20 5.1.1.1 高级建模 ...................................................................................................................................... 20 5.1.1.2 THz 频段接收器非线性模型 ...................................................................................................... 21 5.1.1.3 三阶截点 IIP3dBm 和 SNDR ............................................................................................. 22 5.1.2 发射器输出功率 ................................................................................................................................ 22 5.1.2.1 输出功率的作用 ................................................................................................................................ 22 5.1.2.2 功率放大器输出功率和效率 ............................................................................................................. 23 5.1.3 功率放大器非线性建模................................................................................................... 24 5.2 时钟组件 ...................................................................................................................................... 25 5.2.1 锁相环和倍频器的相位噪声分布 ................................................................................................ 25 5.2.2 时间域相位噪声样本的生成 ............................................................................................................. 28 5.2.2.1 离散时间相位噪声模型 ............................................................................................................. 28 5.2.2.2 相位噪声功率谱密度采样 ............................................................................................................. 29 5.2.2.3 离散 PSD 缩放 ............................................................................................................................. 30 5.2.2.4 相位噪声样本生成 ............................................................................................................................. 30 5.2.2.4.1 随机性包含 ............................................................................................................................. 30 5.2.2.4.2 相位样本生成 ............................................................................................................................. 30 5.2.2.4.3 相位噪声样本生成................................................................................................................ 30 5.2.2.5 单次长生成................................................................................................................................................ 30 5.2.2.6 建议............................................................................................................................................... 31 5.3 数据转换器和基带滤波器........................................................................................................................ 31 5.3.0 简介....................................................................................................................................................... 31 5.3.1 数据转换器....................................................................................................................................... 31 5.3.1.0 简介................................................................................................................................................. 31 5.3.1.1 数据转换器性能指标.................................................................................................................... 32 5.3.1.2 性能趋势.................................................................................................................................... 42 5.4 光束斜视.................................................................................................................................................... 43 5.4.1 THz 波段的光束斜视效应............................................................................................................. 43 5.4.2 光束斜视的理论分析................................................................................................... 44 5.4.3 波束斜视处理 ................................................................................................................................ 48 5.5 射频损伤对 THz 链路的影响 ................................................................................................................ 5031 5.3.1.1 数据转换器性能指标 ...................................................................................................................... 32 5.3.1.2 性能趋势 ...................................................................................................................................... 42 5.4 光束斜视 ......................................................................................................................................................... 43 5.4.1 THz 频段的光束斜视效应 ......................................................................................................................... 43 5.4.2 光束斜视的理论分析 ............................................................................................................................. 44 5.4.3 光束斜视处理 ...................................................................................................................................... 48 5.5 RF 损伤对 THz 链路的影响 ............................................................................................................................. 5031 5.3.1.1 数据转换器性能指标 ...................................................................................................................... 32 5.3.1.2 性能趋势 ...................................................................................................................................... 42 5.4 光束斜视 ......................................................................................................................................................... 43 5.4.1 THz 频段的光束斜视效应 ......................................................................................................................... 43 5.4.2 光束斜视的理论分析 ............................................................................................................................. 44 5.4.3 光束斜视处理 ...................................................................................................................................... 48 5.5 RF 损伤对 THz 链路的影响 ............................................................................................................................. 50
在发育过程中,大脑在后到前梯度后发生自由基结构和功能变化,与清醒和睡眠期间皮质电活动的深刻变化有关。然而,缺乏对跨警戒状态的大型EEG活性成熟的发育影响的系统评估,尤其是在其地形方面。在这里,在160名健康的婴儿,儿童和青少年人群中(从2至17岁开始,每年10名受试者),我们研究了在觉醒和睡眠中的急诊EEG活动的发展。特别是,我们通过频谱指数和o o set进行了参数化EEG功率谱密度(PSD)的多频谱密度(PSD)的形状;指数反映了在增加频率上的功率衰减速率,并且集合反映了PSD的Y截距的估计值。我们发现睡眠和发育导致EEG-PSD在相反的方向上旋转:在唤醒期间,PSD表现出衰变,并且在发育过程中降低了脱落,而在睡眠期间,随着睡眠变得更深,睡眠状态更陡峭,较高的衰变和更高的脱落。在深度睡眠期间(N2,N3)仅光谱量降低了年龄的降低,从而索引了宽带的电压降低。结果,深度睡眠中的值与轻度睡眠(N1)和清醒的价值之间的差异随着年龄的增长而增加,这表明对睡眠EEG活性的觉醒有所不同,在额叶区域中最突出,是最新的成熟。值得注意的是,深度睡眠阶段期间的宽带光谱指数值与觉醒值完全分离,始终跨越发育年龄,并且与成年人的先前发现。涉及地形开发,显示出最陡峭的PSD衰减和最大的位置,随着年龄的增长,从后部转移到前区域。这种转变,尤其是在深度睡眠期间显而易见的,与睡眠慢波活动的迁移相似,并且与神经解剖学和认知发展一致。总体而言,神经性脑电图的活性将觉醒与睡眠区分开,无论年龄如何。而在开发期间,它揭示了后形的地形成熟和渐进的觉醒与睡眠的逐渐差异。我们的研究可以帮助解释由于病理状况而导致的变化,并可能阐明觉醒和睡眠发展的神经生理过程。
用户意图。基于 SSVEP 与视觉刺激调制频率锁定这一知识,界面通常设置为在场景中具有多个目标,每个目标都标记有一个通过闪烁传递的唯一频率。目标可以是放置在物体上或附近的发光二极管 (LED),以表示潜在动作、物品或到达坐标 [4–7],也可以表示在计算机屏幕上,每个目标块代表 BMI 拼写器中的字符或用于控制计算机或其他设备的命令 [8–10]。为了从界面中呈现的所有目标中识别出用户的预期目标,解码算法会分析包含 SSVEP 的收集到的脑信号的频率成分,并根据主要频率特征做出决策。在典型的 SSVEP 设置中,诱发的 SSVEP 包含刺激频率 𝑓 ,以及该频率的谐波 2 𝑓、3 𝑓,... [1, 11]。传统基于 SSVEP 的 BMI 的局限性之一是目标数量受到 SSVEP 有限的响应范围 [1] 和谐波存在的限制,如果在界面中同时使用某个频率及其谐波,可能会导致错误分类。这减慢了 BMI 在提高命令处理能力(命令数量)方面的发展 [12]。为了解决这个问题,引入了多频 SSVEP 刺激方法,旨在增加在有限频率下可呈现的目标数量 [13–17]。然而,多频 SSVEP 的解码器尚未得到广泛探索。现有的多频 SSVEP 解码器包括基于功率谱密度的分析(PSDA)[15, 17]、多频典型相关分析(MFCCA)[18] 和针对每个单独用户或用例的基于训练的算法 [13, 19]。与两种无需训练的方法相比,基于训练的算法具有更高的分类准确率,但需要为每个用户进行额外的训练和界面设置。PSDA 和 MFCCA 支持即插即用,提高了 BMI 的实用性。然而,PSDA 通常解码准确率有限,因为它没有充分考虑多频 SSVEP 中的复频率特征,这些特征不仅包含刺激频率及其谐波(如单频 SSVEP),还包含刺激频率之间的线性相互作用 [16]。MFCCA 通过在解码中引入线性相互作用而显示出在多频 SSVEP 解码中的优势 [18],但 MFCCA 的一个主要问题是它是基于典型相关分析 (CCA) [20] 开发出来的,具有很高的时间复杂度。 CCA 的渐近时间复杂度为 O ( lD 2 ) + O ( D 3 ) (以 O ( n 3 ) 为界,其中 n 表示解码时的输入大小),其中 l