摘要 — 与侵入式脑机接口 (BCI) 相比,非侵入式皮质神经接口在肢体运动及其力量的皮质解码方面仅取得了中等水平的表现。虽然非侵入式方法更安全、更便宜、更容易获得,但信号在空间域 (EEG) 或时间域 (功能性近红外光谱 (fNIRS) 的 BOLD 信号) 中分辨率较差。之前从未实现过双手力产生和连续力信号的非侵入式 BCI 解码,因此我们引入了一个等距握力跟踪任务来评估解码。我们发现,使用深度神经网络结合 EEG 和 fNIRS 比线性模型更能解码左手和右手产生的连续握力调节。我们的多模态深度学习解码器在力重建中实现了 55.2 FVAF[%],并且解码性能比每种单独的模态提高了至少 15%。我们的结果表明,使用非侵入性移动脑成像获得的皮质信号实现连续手力解码的方法对康复、恢复和消费者应用具有直接影响。
抽象目标。了解驾驶员的认知负荷对于道路安全至关重要。大脑传感有可能客观地衡量驾驶员认知负荷。我们旨在开发一个高级机器学习框架,用于使用功能近红外光谱(FNIRS)对驱动程序认知负载进行分类。方法。,我们在驱动模拟器中使用FNIRS进行了一项研究,其n返回任务用作辅助驾驶员的结构性认知负载。为了对不同的驱动程序认知负载水平进行分类,我们检查了卷积自动编码器(CAE)和回声状态网络(ESN)自动编码器的应用,以从FNIRS中提取功能。主要结果。通过使用CAE,将两个和四个级别的驱动程序认知负载分类的精度分别为73.25%和47.21%。所提出的ESN自动编码器在没有窗口选择的情况下实现了组级模型的最新分类结果,精度为80.61%和52.45%,用于分类两个和四个级别的驱动程序认知负载。意义。这项工作为使用FNIRS在现实世界应用中测量驱动程序认知负载奠定了基础。此外,结果表明,所提出的ESN自动编码器可以有效地从FNIRS数据中提取时间信息,并且对于其他FNIRS数据分类任务很有用。
人类步态是一种复杂的活动,需要中枢神经系统,肢体和肌肉骨骼系统之间的高配位。需要进行更多的研究,以了解后者协调在为步态疾病设计更好,更有效的康复策略方面的复杂性。脑电图(EEG)和功能性近红外光谱(FNIRS)是由于便携性,非侵入性和与其他人相比相对较低的成本,用于监测大脑活动的最常用技术之一。融合脑电图和FNIRS是一种众所周知的既定方法,被证明是根据分类精度,控制命令的数量和响应时间来增强大脑 - 计算机接口(BCI)性能。尽管有显着的研究探索了涉及不同类型的任务和人类活动的脑电图和FNIRS的混合BCI(HBCI),但人体步态仍然不足。在本文中,我们旨在阐明使用基于混合EEG-FNIRS的BCI系统分析人体步态的最新发展。当前的审查遵循了在数据收集和选择阶段期间对系统评价和荟萃分析(PRISMA)的首选报告项目的指南。在这篇综述中,我们特别关注常用的信号处理和机器学习算法,并调查了步态分析的潜在应用。我们提炼了本调查的一些关键发现。首先,应仔细考虑硬件规格和实验范例,因为它们对步态评估质量的直接影响。第二,由于脑电图和fnirs均对运动伪影,仪器和生理噪声敏感,因此寻求更健壮和复杂的信号处理算法。第三,通过融合EEG和FNIRS并与皮质激活相关的杂种时间和空间特征可以帮助更好地识别脑激活与步态之间的相关性。总而言之,与较高的肢体相比,由于其复杂性,HBCI(EEG + FNIRS)系统尚未对下肢进行太多探索。现有用于步态监控的BCI系统往往只关注一种模式。我们预见到在步态分析中采用HBCI具有巨大的潜力。使用基于Hybrid EEG-FNIRS的BCI来控制辅助设备和
目的.基于功能性近红外光谱(fNIRS)的脑机接口(BCI)有望为严重影响其生活质量的步行功能障碍患者提供一种可选的主动康复训练方法。利用稀疏表示分类(SRC)氧合血红蛋白(HbO)浓度对步行表象和空闲状态进行解码,构建基于步行表象的 fNIRS-BCI。方法.招募15名受试者,采集步行表象和空闲状态下的 fNIRS 信号。首先对 HbO 信号进行带通滤波和基线漂移校正,提取 HbO 的均值、峰值、均方根(RMS)及其组合作为分类特征;利用 SRC 对提取的特征进行识别,并将 SRC 的结果与支持向量机(SVM)、K 最近邻(KNN)、线性判别分析(LDA)和逻辑回归(LR)的结果进行比较。结果.实验结果表明,三种特征组合的SRC对于步行想象和静止状态的平均分类准确率为91.55±3.30%,显著高于SVM、KNN、LDA和LR的86.37±4.42%、85.65±5.01%、86.43±4.41%和76.14±5.32%,且其他组合特征的分类准确率均高于单一特征的分类准确率。结论研究表明,在fNIRS-BCI中引入SRC能有效识别步行想象和静止状态。同时特征提取的不同时间窗口对分类结果有影响,2~8 s的时间窗口取得了比其他时间窗口更好的分类准确率(94.33±2.60%)。显著性意义。该研究旨在为步行功能障碍患者提供一种新的、可选的主动康复训练方法,此外该实验也是一项罕见的基于fNIRS-BCI利用SRC解码步行意象和静止状态的研究。
a 波士顿大学,神经光子学中心,生物医学工程,美国马萨诸塞州波士顿 b 麻省总医院,哈佛医学院,MGH/HST Athinoula A. Martinos 生物医学成像中心,放射科,美国马萨诸塞州查尔斯顿 c 苏黎世大学医院,苏黎世大学,新生儿科,生物医学光学研究实验室,新生儿科研究,瑞士苏黎世 d 伯尔尼大学,补充和综合医学研究所,瑞士伯尔尼 e 巴黎大学,法国国家科学研究院,综合神经科学和认知中心,法国巴黎 f 帕多瓦大学,社会和发展心理学系,意大利帕多瓦 g 中央大学,科学与工程学院,应用认知神经科学实验室,日本东京 h 德雷塞尔大学,生物医学工程学院,科学与健康系统,美国宾夕法尼亚州费城 i 德雷塞尔大学,艺术与科学学院,心理学系,美国宾夕法尼亚州费城 j 德雷塞尔大学,德雷塞尔解决方案研究所,美国宾夕法尼亚州费城 k 宾夕法尼亚大学,家庭和社区健康系,美国宾夕法尼亚州费城 l 费城儿童医院,伤害研究与预防中心,美国宾夕法尼亚州费城 m 伦敦大学学院,DOT-HUB,医学物理与生物医学工程系,生物医学光学研究实验室,英国伦敦 n 华盛顿大学医学院,放射学系,美国密苏里州圣路易斯 o 伦敦大学学院,医学物理与生物医学工程系,英国伦敦 p 华盛顿大学医学院,马林克罗德放射学研究所,美国密苏里州圣路易斯 q 康考迪亚大学,物理学系和 PERFORM 中心,多模式功能成像实验室,加拿大魁北克省蒙特利尔 r 麦吉尔大学,生物医学工程系,多模式功能成像实验室,加拿大魁北克省蒙特利尔 s 东京都立大学,语言科学系,日本东京 t 蒙特利尔理工学院,电气工程系,加拿大蒙特利尔 u 德国莱比锡大学医院、马克斯普朗克人类认知与脑科学研究所及认知神经病学诊所 v 韩国基础科学研究所、生物融合分析研究中心,韩国清州梧仓 w 普渡大学韦尔登生物医学工程学院,美国印第安纳州西拉斐特 x 意大利米兰理工大学、物理系
使用FNIRS测量值的基于内存的工作负载分类已被证明是现实的适应性BCI的理想方法,用于测量人类工作量水平。6在本文中,我们研究了与n个背任务不同条件相对应的FNIR的分类问题(即需要受试者连续记住最后的n∈F1; 2; 2; 3; 3; :: g快速变化的字母或数字)。我们在前额叶皮层(PFC)上进行了FNIRS测量,已发现这是通过正电子发射断层扫描和功能磁共振成像的与记忆相关任务的相关区域。7,8文献中的大多数n返还分类研究基于对fnirs信号的监督方法,并基于主题内部(即,在单个主题的数据获取的一次试验中)。9 - 11虽然这些研究表现出令人鼓舞的结果,但对于可以适应具有广泛生理条件的不同用户的界面系统而言,受试者和会话依赖的系统是不现实的。为了在BCI中使用,必须基于经验会议(会话逐句对齐)和跨主题(主题对准)基于FNIRS数据的工作负载分类。存在一些挑战,可以使用FNIRS数据妨碍精确的工作负载分类。我们在下面概述了它们,并提出了减轻它们的方法。第一个挑战是本文的主要重点,是处理n-back任务分类的逐项和主题变化。这些问题与机器学习中所谓的域适应性有关。12 - 14更具体地说,来自不同会话或不同主题的数据称为属于不同域,并且跨不同域(数据属于的会话或主题)的数据分布的变化被视为域移动。15由于这种现象,我们从一个领域学到的知识不能直接应用于另一个领域。为了解决这个问题,最佳运输理论和方法的最新进展(OT)16和度量测量空间比对17 - 19可用于将数据与已知标记的n个返回条件从一个会话或一个主题到同一主题或其他主题中的另一个会话的未标记的数据与未标记的数据对齐。尽管已将OT应用于具有潜在性能的域适应性,但是20,21当不存在两个空间之间的有意义的距离概念时,但是两组用于对齐的数据不共享相同的度量空间时,它会受到一定的限制。例如,对于会话逐一比对,由于信噪比较差(SNR),从两个会话中删除了一些FNIRS通道的数据。这将导致两个会话的数据嵌入两个域中的不同维度。幼稚的解决方案是从另一个会话中删除相应的通道,以确保两个会话具有相同的维度。但是,这是导致信息丧失的缺点。第二个挑战是FNIRS信号中的运动伪像。fnirs中的运动伪影通常是由于实验过程中头皮中任何源或检测器的耦合变化。31在本文中,我们提出,使用Gromov - Wasserstein(G-W)18,22和Fused Gromov - Wasserstein(FG-W)Barycenter 23将减轻此问题,并为FNIRS n-BACK任务分类的范围跨域提供算法。这会导致突然增加或减少测得的光强度,并可能影响测得的FNIRS信号。从机器学习的角度来看,运动伪影检测和校正有助于消除主题行为(抽搐,头部移动等)的任何误导性相关性分类模型从FNIRS数据中学到了什么。例如,分类模型可以识别当受试者由于受试者的头部移动而在测量信号中检测到测量信号中的峰值时,将受试者按下按钮作为需求,而不是从脑信号中检测实际的血液动力学反应。已提出了许多方法,灵感来自统计信号处理方法,例如自适应过滤,独立组件分析(ICA)和时频分析,以删除或纠正FNIRS信号中的运动伪影。24 - 30这些技术中的大多数都取决于使用辅助参考信号(例如,加速度计等)或自相间通道,或需要对运动伪影特征和清洁的FNIRS信号的特征进行某些假设。在本文中,我们使用基于稀疏优化的现成方法来自动检测和去除尖峰和台阶异常,即瞬时伪影还原算法(TARA)。
1 空军大学机电一体化工程系,伊斯兰堡 44000,巴基斯坦;hammad@mail.au.edu.pk 2 国立科技大学机械与制造工程学院,伊斯兰堡 44000,巴基斯坦;aakifmehboob@live.com (AM);jawad.khan@smme.nust.edu.pk (MJK);yasar@smme.nust.edu.pk (YA) 3 国家人工智能中心 (NCAI),伊斯兰堡 44000,巴基斯坦 4 萨斯喀彻温大学机械工程系,萨斯喀彻温省萨斯卡通 S7N5A9,加拿大;rayyan.khan@usask.ca 5 国立科技大学机电一体化工程系,H-12,伊斯兰堡 44000,巴基斯坦; u.shahbaz@ceme.nust.edu.pk 6 国家机器人与自动化中心 (NCRA),拉瓦尔品第 46000,巴基斯坦 * 通信地址:noman.naseer@mail.au.edu.pk
大脑计算机界面(BCI)多模式融合具有通过减轻与单个模态相关的缺点来以高度可靠的方式生成多个命令的潜力。在本工作中,通过同时记录的脑电图(EEG)(EEG)和功能性近红外光谱(FNIRS)信号融合来获得的混合EEG-FNIRS BCI系统 - 用于克服Uni-Mododity的局限性并获得更高的任务分类。尽管混合方法增强了系统的性能,但由于缺乏融合这两种方式的计算方法的可用性,这些改进仍然是适中的。为了克服这一点,提出了一种新的方法,使用多分辨率的奇异值分解(MSVD)来实现基于系统和特征的融合。使用KNN和树分类器比较了两种基于不同特征集的方法。通过多个数据集获得的结果表明,所提出的方法可以有效地融合这两种方式与分类精度的提高。
摘要 - 目的:功能性近红外光谱(FNIRS)最近在基于运动成像(MI)的基于脑部计算机界面(BCIS)的研究方面已经获得了动力。令人惊讶的是,大多数研究工作主要致力于增强基于FNIRS的BCIS的健康个体。尚未探索尚未探索尚未探讨BCI最终用户利用基于FNIRS的血液动力学反应来有效控制基于MI的BCI的主要BCI最终用户中的患者(ALS)的能力。本研究旨在量化ALS患者对MI任务的血液动力学反应的主体特异性时空特征,并研究使用这些反应作为控制二进制BCI的通信手段的可行性。方法:使用八名ALS患者的FNIR记录血液动力学反应,同时执行MI-REST任务。进行了广义线性模型(GLM)分析以统计估计并评估个性化的空间激活。选定的通道集已在统计上优化用于分类。特定于主题的判别特征,包括从GLM获得的提议的数据驱动的估计系数,并确定了优化的分类参数,并用于使用线性支持向量机(SVM)分类器进一步评估性能。结果:在患者血流动力学反应的时空特征中观察到了受试者间的变化。使用优化的分类参数和特征集,所有受试者都可以成功使用其MI血流动力学反应来控制BCI,平均分类精度为85.4%±9.8%。显着性:我们的结果表明,基于FNIRS的MI血流动力学反应可用于控制ALS患者的二元BCI。这些发现突出了特定于特定数据驱动的方法在识别优化BCI性能的歧视时空特征方面的重要性。