摘要:稳态视觉诱发电位 (SSVEP) 因其稳健性、大量命令、高分类准确率和信息传输率 (ITR) 等优点,被广泛应用于开发脑机接口 (BCI)。然而,同时使用多个闪烁刺激往往会导致用户感到非常不适、疲倦、烦恼和疲劳。在这里,我们建议使用脑电图 (EEG) 和基于视频的眼动追踪来设计一种刺激响应混合拼写器,以提高用户在面对大量同时闪烁的刺激时的舒适度。有趣的是,基于典型相关分析 (CCA) 的框架可用于识别闪烁信号持续时间为 1 秒的目标频率。我们提出的 BCI 拼写器仅使用六个频率来对 48 个目标进行分类,从而大大提高了 ITR,而基本的 SSVEP BCI 拼写器使用的频率数量与目标数量相同。使用此拼写器,我们在提示拼写任务中获得了 90.35 ± 3.597% 的平均分类准确率,平均 ITR 为 184.06 ± 12.761 比特/分钟,在自由拼写任务中获得了 190.73 ± 17.849 比特/分钟。因此,我们提出的拼写器在目标分类、分类准确率和 ITR 方面优于其他拼写器,同时产生的疲劳、烦人、疲倦和不适感更少。我们提出的混合眼动追踪和基于 SSVEP BCI 的系统最终将实现真正的高速通信通道。
自 2014 年以来,挪威皇家海军 (RNoN) 一直在追求电子导航,这主要意味着不使用纸质海图。在此过程中,我们做出了一些有趣的观察。这主要涉及对导航系统中位置呈现的信任,以及导航员的系统意识水平。RNoN 导航能力中心 (NCC) 的导航模拟器越来越多地被操作人员和新导航员的培训使用,并且有明显迹象表明使用导航模拟器是有效的。尤其是 Skjold 级桥梁导航模拟器已被 Corvette 服务广泛使用,反馈是积极的。已经确定需要更好地理解这些断言。
本文件是经过答辩评审团批准的大量工作的结果,并向整个大学社区提供。它受作者知识产权的保护。这意味着使用本文档时有义务引用和引用。此外,任何伪造、剽窃或非法复制行为都将受到刑事起诉。联系方式:ddoc-theses-contact@univ-lorraine.fr
在学习机器方面,Nilsson (1965) 的研究更多地关注模式分类的机器学习。近年来,对眼动追踪的研究也有所增加。许多研究人员在实验中研究如何利用眼动追踪数据进行研究。因此,在分类研究中使用眼动追踪技术时,会引发一个疑问:从眼动追踪数据中可以获得哪些眼部特征用于分类。眼动追踪技术是指跟踪和测量用户的眼球运动和眼睛焦点的过程。眼动追踪广泛应用于心理学、市场营销、医学、电脑游戏和认知科学等许多领域。因此,眼动追踪越来越多地应用于计算机科学领域,并利用眼部特征来研究信息处理任务(Rayner,2009)。眼动追踪数据可以通过使用眼动追踪传感器或摄像头来测量和获取。这些数据提供了多种特征,可用于多种分类任务。眼动追踪技术非常有用,它可以在未来被广泛采用和实施,因为它只需要一个简单的摄像头就可以收集所需的数据。在本文中,我们进行了系统的文献综述,并收集了5年内(即从2016年到现在)所有与使用眼动追踪数据中的特征进行分类相关的研究和文章。第一部分介绍本文。在背景部分,我们提供了眼动追踪技术和眼动追踪器类型的背景,包括桌面眼动追踪、移动眼动追踪和虚拟现实(VR)中的眼动追踪,以及机器学习的简要介绍。方法论部分描述了研究方法,包括研究问题、选择标准、搜索过程和选择过程。结果部分展示了结果,相关研究如表1所示。最后一部分总结了本文。
本研究调查了人类运动想象 (MI) 能力的评估。通常,MI 能力通过两种方法测量:自填问卷 (MIQ-3) 和心理计时 (MC),后者测量实际和想象的运动任务之间的时间差异。然而,这两种测量都依赖于受试者的自我评估,而不使用生理测量。在本研究中,我们提出了一组从眼球注视信号的非线性动力学中提取的新特征,以区分好和坏的想象者。为此,我们设计了一个实验,让 20 名志愿者(根据 MC 分为好或坏的想象者)执行三项任务:运动任务 (MT)、视觉想象任务 (VI) 和运动想象任务 (KI)。在整个实验过程中,使用眼动追踪系统持续监测受试者的目光注视。通过对重建相空间进行递归量化分析来分析目光注视时间序列,并在两组之间进行比较。统计结果表明非线性眼球行为如何表达意象心理过程的内在动态,并可用作 MI 能力的更客观、基于生理的测量方法。
摘要 — 自动眼动追踪对于与患有肌萎缩侧索硬化症的人互动、用眼睛控制电脑鼠标以及对葡萄膜黑色素瘤进行控制性放射治疗都具有重要意义。据推测,凝视估计的准确性可能通过使用前庭眼动反射来提高。这种不自主的反射会导致缓慢的补偿性眼动,与头部运动的方向相反。因此,我们假设在眼动追踪过程中让头部自由移动一定比保持头部固定、只让眼睛移动产生更准确的结果。本研究的目的是创建一个低成本的眼动追踪系统,通过保持头部自由移动,将前庭眼动反射纳入凝视估计中。所用的仪器包括一个低成本的头戴式网络摄像头,可记录一只眼睛。尽管用于记录的网络摄像头是低端的,并且没有直接照明,但瞳孔检测是完全自动和实时的,采用了简单的基于颜色和基于模型的混合算法。本研究测试了基于模型的算法和基于插值的算法。根据凝视估计结果中的平均绝对角度差,我们得出结论,基于模型的算法在头部不动时表现更好,而在头部移动时同样表现良好。当头部自由移动时,使用任一算法,凝视点与目标点的大多数偏差小于 1 ◦,可以得出结论,我们的设置完全符合文献中的 2 ◦ 基准,而头部不动时的偏差超过 2 ◦。所使用的算法之前未在被动照明下进行测试。这是首次研究考虑到前庭眼反射的低成本眼动追踪装置。
周燕萍 ( 通信作者 ), 硕士 , 研究员 , 主要研究方向为半导体材料的刻蚀工艺开发 。E-mail:yanping_zhou@ ulvac. com
摘要 — 准确地对眼动进行分类对于人机界面、睡眠分期和疲劳检测等各种实际应用都至关重要。然而,基于眼电图 (EOG) 的眼动分类 (EMC) 仍然具有挑战性,现有的解决方案在准确性方面仍然不是最优的。传统的基于机器学习 (ML) 的方法主要关注手工制作的特征,严重依赖于 EOG 分析的先验知识。此外,大多数现有的基于深度学习 (DL) 的方法仅仅专注于提取单尺度或多尺度特征,而不考虑不同层次特征的贡献,从而限制了模型学习判别表示的能力。为了解决上述问题,提出了一种新的基于多尺度 Inception 的深度融合网络 (MIDF-NET),由并行 CNN 流和多尺度特征融合 (MSFF) 模块组成,用于从原始 EOG 信号中提取信息特征。并行的 CNN 流可以有效地提取 EOG 的多尺度表示,而 MSFF 模块融合了这些特征,利用了低级和高级多尺度特征。在 5 个公共 EOG 数据集(50 名受试者和 59 条记录)上进行了全面的实验,包含 5 种眼球运动(眨眼、向上、向下、向右和向左)。还实现了最先进的基于 EOG 的眼球运动方法,包括经典机器学习模型和深度网络,以供比较。实验结果表明,我们的 MIDF-NET 在 5 个公共数据集中实现了最高的准确率(87.7%、86.0%、95.0%、94.2% 和 95.4%),优于最先进的方法,准确率显著提高。总之,提出的 MIDF-NET 可以根据特征融合子网络综合考虑多级特征,并通过增强的 EOG 表示有效地对眼球运动模式进行分类。
1 简介................................................................................................................................................................ 1