睡眠必要性的生理基础仍不确定。最近的证据表明,睡眠会增加脑脊液 (CSF) 的对流并促进间质溶质的输出,从而为解释为什么所有脊椎动物都需要睡眠提供了一个框架。心血管、呼吸和血管运动脑脉动均已被证明会驱动脑脊液沿血管周围空间流动,但尚不清楚这些脉动在人类睡眠期间如何变化。为了研究这些脉动现象与睡眠的关系,我们同时记录了一组健康志愿者的快速 fMRI、磁共振脑电图 (MREG) 和脑电图 (EEG) 信号。我们通过频谱熵分析量化了信号频率分布的睡眠相关变化,并通过功率总和分析计算了 15 名受试者(年龄 26.5 6 4.2 岁,6 名女性)的生理(血管运动、呼吸和心脏)脑脉动的强度。最后,我们确定了 EEG 慢振荡 (0.2 – 2 Hz) 功率和 MREG 脉动之间的空间相似性。与清醒状态相比,非快速眼动 (NREM) 睡眠的特点是频谱熵降低和脑脉动强度增加。对于极低频 (£ 0.1 Hz) 血管运动脉动,这些影响在后脑区域最为明显,但对于呼吸脉动也在整个大脑范围内明显,对于心脏脑脉动则影响较小。在与显示睡眠相关 MREG 脉动变化的大脑区域空间重叠的大脑区域中,EEG 慢振荡功率增加。我们认为,频谱熵降低和脉动强度增强是 NREM 睡眠的特征。根据我们发现的慢振荡功率增加,目前的结果支持睡眠促进人脑液体运输的假设。
基于脑电图 (EEG) 的脑机接口 (BCI) 近来在虚拟现实 (VR) 应用中引起越来越多的关注,成为一种有前途的工具,可以“免提”方式控制虚拟物体或生成命令。视频眼动图 (VOG) 经常被用作一种工具,通过识别屏幕上的注视位置来提高 BCI 性能,然而,当前的 VOG 设备通常过于昂贵,无法嵌入到实用的低成本 VR 头戴式显示器 (HMD) 系统中。在本研究中,我们提出了一种新颖的免校准混合 BCI 系统,该系统结合了基于稳态视觉诱发电位 (SSVEP) 的 BCI 和基于眼电图 (EOG) 的眼动追踪,以提高 VR 环境中九目标基于 SSVEP 的 BCI 的信息传输速率 (ITR)。在以 3×3 矩阵排列的三种不同频率配置的模式反转棋盘格刺激上重复实验。当用户注视九种视觉刺激中的一种时,首先根据用户的水平眼球运动方向(左、中或右)识别包含目标刺激的列,并使用从一对电极记录的水平 EOG 进行分类,该电极可以很容易地与任何现有的 VR-HMD 系统结合使用。请注意,与 VOG 系统不同,可以使用与记录 SSVEP 相同的放大器来记录 EOG。然后,使用多元同步指数 (EMSI) 算法的扩展(广泛使用的 SSVEP 检测算法之一)在选定列中垂直排列的三个视觉刺激中识别目标视觉刺激。在我们对 20 名佩戴商用 VR-HMD 系统的参与者进行的实验中,结果表明,与 VR 环境中基于传统 SSVEP 的 BCI 相比,所提出的混合 BCI 的准确度和 ITR 均显着提高。
版权所有 © 2022 Helakari 等人。这是一篇开放获取的文章,根据知识共享署名 4.0 国际许可条款分发,允许在任何媒体中不受限制地使用、分发和复制,前提是正确署名原始作品。
在学习机器方面,Nilsson (1965) 的研究更多地关注模式分类的机器学习。近年来,对眼动追踪的研究也有所增加。许多研究人员在实验中研究如何利用眼动追踪数据进行研究。因此,在分类研究中使用眼动追踪技术时,会引发一个疑问:从眼动追踪数据中可以获得哪些眼部特征用于分类。眼动追踪技术是指跟踪和测量用户的眼球运动和眼睛焦点的过程。眼动追踪广泛应用于心理学、市场营销、医学、电脑游戏和认知科学等许多领域。因此,眼动追踪越来越多地应用于计算机科学领域,并利用眼部特征来研究信息处理任务(Rayner,2009)。眼动追踪数据可以通过使用眼动追踪传感器或摄像头来测量和获取。这些数据提供了多种特征,可用于多种分类任务。眼动追踪技术非常有用,它可以在未来被广泛采用和实施,因为它只需要一个简单的摄像头就可以收集所需的数据。在本文中,我们进行了系统的文献综述,并收集了5年内(即从2016年到现在)所有与使用眼动追踪数据中的特征进行分类相关的研究和文章。第一部分介绍本文。在背景部分,我们提供了眼动追踪技术和眼动追踪器类型的背景,包括桌面眼动追踪、移动眼动追踪和虚拟现实(VR)中的眼动追踪,以及机器学习的简要介绍。方法论部分描述了研究方法,包括研究问题、选择标准、搜索过程和选择过程。结果部分展示了结果,相关研究如表1所示。最后一部分总结了本文。
利用生物医学信号作为计算人类情感状态的基础是情感计算(AC)的重要问题。随着对情感信号研究的深入,多模型认知与生理指标的结合、动态完整数据库的建立以及高科技创新产品的加入成为AC的最新趋势。本研究旨在开发一种深度梯度卷积神经网络(DGCNN),用于利用眼动追踪信号进行情感分类。首先应用通用信号处理工具和预处理方法,例如卡尔曼滤波器、汉明窗、短时傅里叶变换(SIFT)和快速傅里叶变换(FTT)。其次,将眼动和追踪信号转换为图像。随后应用基于卷积神经网络的训练结构;实验数据集是通过眼动追踪设备通过分配16名参与者的四种情感刺激(紧张、平静、快乐和悲伤)获得的。最后,使用真阳性率 (TPR) 和假阴性率 (FPR) 指标将 DGCNN 与决策树 (DT)、贝叶斯高斯模型 (BGM) 和 k-最近邻 (KNN) 的性能进行比较。最后还部署了自定义小批量、损失、学习率和梯度定义以用于深度神经网络的训练结构。预测分类矩阵显示了所提出方法对眼动和跟踪信号的有效性,其准确率超过 87.2%。这项研究为通过眼动和跟踪信号寻找更自然的人机交互提供了一种可行的方法,并且在情感产品设计过程中具有潜在的应用价值。
摘要:全球脑项目中创新神经技术的出现加速了 BCI 的研究和临床应用,使其超越了感觉和运动功能。侵入式和非侵入式传感器都已开发出来,用于与思考、交流或记忆等认知功能进行交互。通过摄像头检测眼球运动为计算机接口提供了一种特别有吸引力的外部传感器,用于监控、评估和控制这些更高级的大脑功能,而无需从大脑获取信号。凝视位置和瞳孔扩张的特征可有效用于跟踪我们在健康心理过程中的注意力,实现意识障碍中的互动,甚至预测各种脑部疾病中的记忆表现。在这篇前瞻性文章中,我们提出了“CyberEye”一词,以涵盖眼球追踪界面在神经科学研究、临床实践和生物医学行业中的新兴认知应用。随着 CyberEye 技术的不断发展,我们预计 BCI 对大脑活动的依赖性会降低,侵入性会降低,从而更具适用性。
摘要:针对从人类有机体衍生的信号的研究变得越来越流行。在这个领域,基于脑电波的脑部计算机界面扮演了特殊的角色。由于脑电图记录设备和较低的设定价格的缩小尺寸,它们变得越来越受欢迎。不幸的是,此类系统在生成的命令数量方面受到很大的限制。这尤其适用于不是医疗设备的集合。本文提出了一个基于稳态视觉诱发电位(SSVEP),EOG,眼睛跟踪和力反馈系统的混合脑计算机系统。这样的扩展系统消除了许多特定的系统缺点,并提供了更好的结果。本文的第一部分介绍了有关混合脑部计算机系统中应用的方法的信息。根据操作员将机器人的尖端放置在指定位置的能力来测试提出的系统。提出了工业机器人的虚拟模型,该模型用于测试。在现实生活中的工业机器人上重复测试。通过启用和禁用的反馈系统验证了系统的定位精度。在模型和真实对象上进行的测试结果清楚地表明,在由操作员控制时,力反馈提高了机器人尖端的定位精度。此外,模型和现实生活中的工业模型的结果非常相似。在下一阶段,对使用BCI系统进行分类项目的可能性进行了研究。该研究是在模型和真正的机器人上进行的。结果表明,可以使用来自人体的生物信号进行排序。
多模态情绪识别一直是情感计算的热门话题,因为与单一模态相比,它能显著提高识别性能。其中,脑电图 (EEG) 和眼动信号的组合由于它们的互补性和客观性而成为最有吸引力的实践之一。然而,脑电图信号采集的高成本和不便性严重阻碍了多模态情绪识别在实际场景中的普及,而眼动信号则更容易获取。为了在不影响性能的情况下提高情绪解码的可行性和泛化能力,我们提出了一个基于生成对抗网络的框架。在我们的模型中,单一模态的眼动作为输入,它能够将信息映射到多模态特征上。在不同情绪类别的 SEED 系列数据集上的实验结果表明,与使用多模态输入的模型相比,使用单一眼动模态生成的多模态特征的模型保持了具有竞争力的准确率,并且大大优于那些单模态情绪分类器。这说明该模型有可能在不牺牲性能的情况下减少对多模态的依赖,从而使情绪识别更具适用性和实用性。
应作战人员的要求,进行了研究以确定眼动追踪 (ET) 作为战术实战环境中大面积显示器 (LAD) 的人机界面 (HMI) 的军事用途。飞行测试确定 ET 感觉毫不费力,直到快速变化的光照条件和瞳孔大小以及升高的重力负荷系数导致 ET 滑动导致请求的界面无法使用。本着“顾客永远是对的”的精神,研究人员通过在 ET 的同时测试一种称为“Rhino Pointing (RP)”的头部跟踪算法,证明了作战人员对新型 LAD HMI 的要求最终是明智的。RP 更易于实施,并且提供了更高的准确性并缩短了任务完成时间。虽然从物理工作量的角度来看并不像 ET 那么轻松,但在飞行测试期间对 RP 概念的评估表明,它比传统的触摸屏 LAD HMI 有显著的改进,并为作战人员在大多数性能指标上提供了比 ET 更好的替代方案。
空中交通管制员(ATCO)将成为对航空运输系统影响最大的部门。ATCO 的职责是按照地面管制员的要求防止飞机在空中相撞并消除可能造成的混乱。作为高风险职业群体之一,ATCO 承担着非常高的认知工作量,这对飞行安全至关重要。然而,据观察,文献中对在不同任务难度下有经验和没有经验的 ATCO 之间可能出现的认知工作量差异的研究相当不足。本研究介绍了认知工作量测量方法和 ATCO 认知工作量的研究。在本研究中,解释了确定认知工作量及其测量方法的重要性。此外,还介绍了与 ATCO 认知工作量相关的文献研究,特别是使用眼动仪的研究。