摘要 — 事故分析表明,飞行员可能无法处理诸如警报之类的听觉刺激,这种现象称为注意力缺失性失聪。这项研究的目的是开发一种被动脑机接口,可以预测在真实飞行条件下这种关键现象的发生。十名配备干脑电图系统的志愿者必须飞行一个具有挑战性的飞行场景,同时通过按下按钮来响应听觉警报。行为结果显示,飞行员错过了 36% 的听觉警报。ERP 分析证实,由于潜在的注意力瓶颈机制,这种现象会影响早期(N100)和晚期(P300)阶段的听觉处理。使用稀疏表示分类 (SRC)、稀疏和密集表示 (SDR) 以及更传统的方法(例如线性判别分析 (LDA)、收缩 LDA 和最近邻 (1-NN))对警报响起前三秒提取的频率特征进行受试者间分类。在最佳情况下,SRC 和 SDR 分别给出了 66.9% 和 65.4% 的正确平均分类率来预测注意力不集中性耳聋的发生,优于 LDA (60.6%)、sLDA (60%) 和 1-NN (59.6%)。这些结果为神经自适应自动化的实施开辟了光明的前景,最终目标是增强警报刺激传递,使其被感知和采取行动。
摘要:随着近年来低成本可穿戴脑电图 (EEG) 记录系统的发展,被动式脑机接口 (pBCI) 应用正在教育、娱乐和医疗保健等各种应用领域中得到积极研究。各种 EEG 特征已被用于实现 pBCI 应用;然而,经常有报道称,有些人难以充分享受 pBCI 应用,因为他们的 EEG 特征的动态范围(即其随时间变化的幅度)太小,无法用于实际应用。进行初步实验以寻找与不同心理状态相关的个性化 EEG 特征可以部分避免这一问题;然而,对于大多数 EEG 特征动态范围足够大以用于 pBCI 应用的用户来说,这些耗时的实验是没有必要的。在本研究中,我们尝试从静息状态脑电图 (RS-EEG) 预测个人用户最广泛用于 pBCI 应用的脑电图特征的动态范围,最终目标是识别可能需要额外校准才能适合 pBCI 应用的个人。我们使用基于机器学习的回归模型来预测三种广泛使用的脑电图特征的动态范围,已知这三种特征与大脑的效价、放松和集中状态有关。我们的结果表明,脑电图特征的动态范围可以预测,归一化均方根误差分别为 0.2323、0.1820 和 0.1562,证明了使用短暂静息脑电图数据预测 pBCI 应用的脑电图特征的动态范围的可能性。
脑机接口,尤其是被动脑机接口 (pBCI),由于能够估计和监控用户心理状态,越来越受到基础研究和应用研究与开发社区的关注。测试新的管道和基准分类器以及特征提取算法是进一步研究该领域的关键。不幸的是,pBCI 研究中的数据共享仍然很少。COG-BCI 数据库包含 29 名参与者在 3 个独立会话中的记录,这些会话中有 4 个不同的任务 (MATB、N-Back、PVT、Flanker),旨在引发不同的心理状态,总共超过 100 小时的开放 EEG 数据。该数据集在主观、行为和生理层面进行了验证,以确保其对 pBCI 社区的实用性。此外,还给出了一个概念证明,其中包含心理工作量估计管道和结果的示例,以确保数据可用于 pBCI 管道的设计和评估。这项工作为在开放科学框架中推广 pBCI 的使用做出了巨大努力。
随机神经网络 (RNN) 在许多不同领域都表现出色。训练参数较少和闭式解的优势使其在小数据集分析中广受欢迎。然而,在基于 EEG 的被动脑机接口 (pBCI) 分类任务中,使用 RNN 自动解码原始脑电图 (EEG) 数据仍然具有挑战性。具有高维 EEG 输入的模型可能会出现过度拟合,非平稳、高水平噪声和受试者变异性的固有特性可能会限制隐藏层中独特特征的生成。为了解决基于 EEG 的 pBCI 任务中的这些问题,本文提出了一种频谱集合深度随机向量功能链接 (SedRVFL) 网络,该网络专注于频域中的特征学习。具体而言,提出了一种无监督特征细化 (FR) 块来提高 RNN 中的低特征学习能力。此外,还执行动态直接链接 (DDL) 以进一步补充频率信息。所提出的模型已在自收集数据集和公共驾驶数据集上进行了评估。获得的跨受试者分类结果证明了其有效性。这项工作为EEG解码提供了一种新的解决方案,即使用优化的RNN来解码复杂的原始EEG数据并提高基于EEG的pBCI任务的分类性能。
摘要:由于公众对被动式脑机接口 (pBCI) 应用的兴趣日益浓厚,市场上最近推出了许多用于在日常生活中捕捉脑电图 (EEG) 信号的可穿戴设备。然而,目前还没有确定此类设备电极配置的完善标准。本文提出了一个总体程序来确定可穿戴 EEG 设备的最佳电极配置,从而为预期的 pBCI 应用提供最佳性能。我们使用了两个 EEG 数据集,这些数据集是在旨在调节情绪或注意力状态的不同实验中记录的。情绪专用 EEG 耳机旨在最大限度地提高使用情绪相关 EEG 数据集对不同情绪状态进行分类的准确性,注意力专用 EEG 耳机旨在最大限度地提高 EEG 指数和行为注意力指数之间的时间相关性。通用电极配置旨在最大限度地提高两种应用中不同数量电极(2、4、6 和 8)的整体性能。然后将性能与现有的可穿戴 EEG 设备进行比较。模拟表明,与传统电极配置相比,所提出的电极配置能够更准确地估计用户的情绪和注意力状态,这表明可穿戴 EEG 设备应根据与目标 pBCI 应用相关的完善的 EEG 数据集进行设计。
摘要 —人们对在自然环境中实施监测认知表现的工具的兴趣日益浓厚。最近的技术进步使得新一代脑成像系统(如干电极脑电图 (EEG) 和功能性近红外光谱 (fNIRS))的开发成为可能,以研究实验室外各种人类任务中的皮质活动。这些高度便携的脑成像设备为实现被动脑机接口 (pBCI) 和神经自适应技术提供了有趣的前景。我们开发了一种基于 fNIRS-EEG 的 pBCI,使用参与相关特征(EEG 参与率和基于小波相干性 fNIRS 的指标)来监测认知疲劳。众所周知,这种心理状态会损害认知表现并危及飞行安全。在这项初步研究中,四名参与者被要求在飞行模拟器和实际轻型飞机中执行四种相同的交通模式以及次要听觉任务。前两种交通模式被视为低认知疲劳类别,而后两种交通模式被视为高认知疲劳类别。正如预期的那样,飞行员在实验的第二部分中错过的听觉目标比第一部分中更多。当结合两种模式时,飞行模拟器条件下的分类准确率达到 87.2%,实际飞行条件下的分类准确率达到 87.6%。本研究表明,fNIRS 和基于 EEG 的 pBCI c
摘要 — 事故分析表明,飞行员可能无法处理诸如警报之类的听觉刺激,这种现象称为注意力不集中性失聪。这项研究的动机是开发一种被动脑机接口,可以预测在真实飞行条件下这种关键现象的发生。十名配备干脑电图系统的志愿者必须飞行一个具有挑战性的飞行场景,同时通过按下按钮来响应听觉警报。行为结果显示,飞行员错过了 36% 的听觉警报。ERP 分析证实,由于潜在的注意力瓶颈机制,这种现象会影响早期(N100)和晚期(P300)阶段的听觉处理。使用稀疏表示分类 (SRC)、稀疏和密集表示 (SDR) 以及更传统的方法(例如线性判别分析 (LDA)、收缩 LDA 和最近邻 (1-NN)),对警报开始前三秒提取的频率特征进行受试者间分类。在最佳情况下,SRC 和 SDR 分别给出了 66.9% 和 65.4% 的正确平均分类率来预测注意力不集中性耳聋的发生,优于 LDA (60.6%)、sLDA (60%) 和 1- NN (59.6%)。这些结果为神经自适应自动化的实施开辟了光明的前景,最终目标是增强警报刺激传递,以便人们感知和采取行动。
背景。操作飞机是多维且复杂的。飞行员必须“飞行、导航、通信”——保持空中飞行、管理飞机航线并与空中交通管制部门通话。为了方便完成这些任务,驾驶舱引入了自动化(Billings,1997 年)。当这种自动化发生故障时,后果充其量是令人讨厌的,最坏的情况是危及生命(Endsley & Kiris,1995 年)。自动化中的错误可能会令人惊讶和分心,从而导致自动化意外(Boer & Dekker,2017 年)。这些可能会导致飞行员感到困惑,进而导致人为错误,这是航空事故的主要原因(Lyssakov,2019 年)。识别这种混淆及其原因可能会改善人机交互 (Dehais 等人,2015)。在之前的一项研究中 (Krol 等人,2018),我们表明可以通过脑电图 (EEG;Berger,1929) 记录飞行员对飞行相关事件的认知反应,使用被动脑机接口 (pBCI;Zander & Kothe,2011) 确定不同级别的事件关键性并实时将解释报告回驾驶舱。此程序可用于使驾驶舱适应飞行员的认知,从而形成神经自适应驾驶舱 (Krol 等人,即将出版)。在本研究中,我们开发了一个更具体的分类器,可以可靠地检测飞行员对意外和/或错误的飞行相关事件的认知反应,这些事件对于持续操作飞机至关重要。方法。记录了 13 名试飞员(均为男性)的脑电图活动和眼球运动,年龄 44-62 岁(平均 54 岁),飞行经验 7210 ± 4809 小时。我们在两部分实验中使用了 32 通道移动无线脑电图系统 1 和双目眼球追踪眼镜 2。在第一部分中,参与的飞行员进行了 10 个新设计的训练范例。我们打算针对意外事件(S 分类器)、错误事件(E 分类器)以及意外和错误事件(AS 分类器)校准不同的分类器,以对应可能的自动化意外。因此,我们设计了一种训练范式组合,即交互奇特范式。该范式由 2 个独立部分组成,分类器在结果数据的不同部分上进行训练。为了唤起与意外和/或错误相对应的认知状态,我们模拟了一个计算机程序,需要教它何时计数音调以及何时忽略它。在 10 个块中的每个块中呈现 50 个音调序列。每个音调可以是标准音调(概率 70%-80%)、非目标音调(概率 10%-15%)或目标音调(概率 10%-15%)。这代表了一个标准的奇特范例(Friedman 等人,2001 年)。研究发现,目标音调会引起参与者的惊讶(Squires 等人,1975 年)。指示参与者在每个音调之后口头说明它是目标音调(“是”)还是不是目标音调(“否”)。然后计算机给出声音反馈:“计数”或“忽略”。由于语音识别是(参与者不知道)模拟的,因此反馈与参与者的评估无关。这使我们能够控制反馈中发生的错误数量。在前 7 个区块中,不一致反馈的概率为 14%-18%,即计算机在“是”后回答“忽略”,或在“否”后回答“计数”。这对应于罕见的、令人惊讶的错误。在最后 3 个区块中,不一致概率为 38-40%,对应于频繁的错误。