摘要 — 准确地对眼动进行分类对于人机界面、睡眠分期和疲劳检测等各种实际应用都至关重要。然而,基于眼电图 (EOG) 的眼动分类 (EMC) 仍然具有挑战性,现有的解决方案在准确性方面仍然不是最优的。传统的基于机器学习 (ML) 的方法主要关注手工制作的特征,严重依赖于 EOG 分析的先验知识。此外,大多数现有的基于深度学习 (DL) 的方法仅仅专注于提取单尺度或多尺度特征,而不考虑不同层次特征的贡献,从而限制了模型学习判别表示的能力。为了解决上述问题,提出了一种新的基于多尺度 Inception 的深度融合网络 (MIDF-NET),由并行 CNN 流和多尺度特征融合 (MSFF) 模块组成,用于从原始 EOG 信号中提取信息特征。并行的 CNN 流可以有效地提取 EOG 的多尺度表示,而 MSFF 模块融合了这些特征,利用了低级和高级多尺度特征。在 5 个公共 EOG 数据集(50 名受试者和 59 条记录)上进行了全面的实验,包含 5 种眼球运动(眨眼、向上、向下、向右和向左)。还实现了最先进的基于 EOG 的眼球运动方法,包括经典机器学习模型和深度网络,以供比较。实验结果表明,我们的 MIDF-NET 在 5 个公共数据集中实现了最高的准确率(87.7%、86.0%、95.0%、94.2% 和 95.4%),优于最先进的方法,准确率显著提高。总之,提出的 MIDF-NET 可以根据特征融合子网络综合考虑多级特征,并通过增强的 EOG 表示有效地对眼球运动模式进行分类。
按年份确定了 2011 年至 2021 年期间在(眼电图)EOG 与眼球运动、EOG 与轮椅、EOG 与眼角、EOG 与睡眠状态、EOG 与情绪估计以及 EOG 与游戏应用领域进行的研究的分布,并研究和介绍了被引用次数最多的研究。研究领域从文章数最多到最少依次为眼球运动分类、轮椅、睡眠状态、眼角、情绪状态和游戏应用。按引用次数排列,从多到少依次为睡眠状态、眼球运动分类、轮椅、眼角、情绪状态和游戏应用。在这些研究中,人们尝试通过使用带有机器学习的脑机接口来改善各种残疾人群的生活。
基于脑电图 (EEG) 的脑机接口 (BCI) 近来在虚拟现实 (VR) 应用中引起越来越多的关注,成为一种有前途的工具,可以“免提”方式控制虚拟物体或生成命令。视频眼动图 (VOG) 经常被用作一种工具,通过识别屏幕上的注视位置来提高 BCI 性能,然而,当前的 VOG 设备通常过于昂贵,无法嵌入到实用的低成本 VR 头戴式显示器 (HMD) 系统中。在本研究中,我们提出了一种新颖的免校准混合 BCI 系统,该系统结合了基于稳态视觉诱发电位 (SSVEP) 的 BCI 和基于眼电图 (EOG) 的眼动追踪,以提高 VR 环境中九目标基于 SSVEP 的 BCI 的信息传输速率 (ITR)。在以 3×3 矩阵排列的三种不同频率配置的模式反转棋盘格刺激上重复实验。当用户注视九种视觉刺激中的一种时,首先根据用户的水平眼球运动方向(左、中或右)识别包含目标刺激的列,并使用从一对电极记录的水平 EOG 进行分类,该电极可以很容易地与任何现有的 VR-HMD 系统结合使用。请注意,与 VOG 系统不同,可以使用与记录 SSVEP 相同的放大器来记录 EOG。然后,使用多元同步指数 (EMSI) 算法的扩展(广泛使用的 SSVEP 检测算法之一)在选定列中垂直排列的三个视觉刺激中识别目标视觉刺激。在我们对 20 名佩戴商用 VR-HMD 系统的参与者进行的实验中,结果表明,与 VR 环境中基于传统 SSVEP 的 BCI 相比,所提出的混合 BCI 的准确度和 ITR 均显着提高。