Apple Vision Pro 和 Meta Quest Pro 等眼动追踪混合现实头戴设备已将眼动追踪推向主流。截至撰写本文时,消费级混合现实 (XR) 产品通常将眼动追踪用于两个主要目的。首先,Vision Pro 将目光注视和手指捏合 [ 11 , 12 ] 作为其主要输入模式。其次,VRChat 等社交 XR 应用可以使用目光注视数据在虚拟形象中实现准确的目光表现和目光接触 [ 1 ]。这些机制通常将瞳孔位置数据作为输入,并产生光线投射或虚拟形象运动作为输出。然而,目光注视和人类心理学之间的深厚联系可以使研究方向超越显式位置输入。传统上,HCI 专注于显式输入领域的眼动追踪——用于交互或运动追踪的位置数据。在系统综述中,Vasseur 等人 2019 年 9 月发表了一篇系统综述,介绍了一种用于追踪眼动追踪的眼动追踪方法。 [ 13 ] 发现大多数眼动追踪研究传统上都是使用桌面设置进行的,并建议将眼动追踪人机交互扩展到新的指标、分析和设备中。心理生理学领域率先使用可观察的物理数据来揭示人类的认知过程。眼球运动和特征以及心跳、脑电波和荷尔蒙变化等其他指标已被用来得出有关用户行为和认知状态的结论。可观察的认知行为可以包括有目的的(有意识的)状态和冲动的(无意识的)状态 [ 3 ]。此外,可测量的认知还可以包括一般的个人现象,如学习、反思、情感和记忆。凝视数据可以预测疲劳、注意力、分心和走神等认知状态 [ 9 ]。除了瞳孔扩张和眨眼率可以 61% 的准确率预测用户的困惑之外 [ 5 ],瞳孔大小还与
摘要:商业航空是目前最安全的交通方式之一;然而,人为失误仍然是航空事故和事件的主要原因之一。进一步提高飞行安全性的一个有希望的途径是神经人体工程学,这是一种神经科学、认知工程和人为因素交叉的方法,旨在创造更好的人机交互。眼动追踪技术允许用户通过深入了解飞行员的注意力分布和潜在的决策过程来“监控监控”。在本立场文件中,我们确定并定义了一个由四个阶段组成的框架,逐步将眼动追踪系统集成到现代驾驶舱中。第一阶段涉及地面飞行员培训和飞行性能分析;第二阶段提出将机载凝视记录作为“黑匣子”记录器的额外数据;第三阶段描述了基于凝视的驾驶舱适应,包括警告和警报系统,最终,第四阶段预言了基于凝视的飞机适应,包括飞机接管权力。我们通过描述我们本可以通过眼动追踪避免的事件或事故来说明这四个步骤的潜力。还提出了每个阶段集成的预计里程碑以及一些实施限制的列表。我们相信,该领域的研究机构和工业参与者都将受益于将眼动追踪系统框架集成到驾驶舱中。
摘要:商业航空是目前最安全的交通方式之一;然而,人为失误仍然是航空事故和事件的主要原因之一。进一步提高飞行安全性的一个有希望的途径是神经人体工程学,这是一种神经科学、认知工程和人为因素交叉的方法,旨在创造更好的人机交互。眼动追踪技术允许用户通过深入了解飞行员的注意力分布和潜在的决策过程来“监控监控”。在本立场文件中,我们确定并定义了一个由四个阶段组成的框架,逐步将眼动追踪系统集成到现代驾驶舱中。第一阶段涉及地面飞行员培训和飞行性能分析;第二阶段提出将机载凝视记录作为“黑匣子”记录器的额外数据;第三阶段描述了基于凝视的驾驶舱适应,包括警告和警报系统,最终,第四阶段预言了基于凝视的飞机适应,包括飞机接管权力。我们通过描述我们本可以通过眼动追踪避免的事件或事故来说明这四个步骤的潜力。还提出了每个阶段集成的预计里程碑以及一些实施限制的列表。我们相信,该领域的研究机构和工业参与者都将受益于将眼动追踪系统框架集成到驾驶舱中。
通常,各种模态会捕捉特定心理状态或活动的不同方面。虽然机器学习算法可以使用单一模态可靠地预测人类认知和行为的许多方面,但它们可以从多种模态的组合中受益。这就是混合 BCI 越来越受欢迎的原因。然而,组合多模态数据集中的特征并不总是那么简单。除了生成特征的方法外,还必须决定在分类过程中何时组合模态。在本研究中,我们将单模态 EEG 和眼动追踪对内部和外部注意力的分类与多模态方法在早期、中期和晚期融合中的应用进行了比较。在机会水平为 0.5 的二元数据集上,数据的后期融合实现了最高的分类准确率 0.609–0.675(95% 置信区间)。总体而言,结果表明,对于这些模态,中期或晚期融合方法比早期融合方法更合适。对观察到的趋势进行额外的验证将需要使用额外的数据集、替代特征生成机制、决策规则和神经网络设计。我们得出了一组在决定多模态注意力状态分类方法时需要考虑的前提。
空中交通管制员或“空中交通管制员”的活动包括确保空中交通流量的安全,他们的工作活动很快将面临前所未有的演变。为了补偿主要与空中交通水平显着增加相关的环境变化,我们的目标是构建新的控制环境,从而引入新技术并实现控制任务的部分自动化。这些观点旨在减少对空中交通管制员的要求,以提高空中交通管理的容量门槛,但提出了一些问题。特别是,我们如何确保这些进展得到验证以实现既定目标?
摘要 — 眼动追踪是扩展现实 (XR) 中基于凝视的交互的关键技术,但传统的基于帧的系统难以满足 XR 对高精度、低延迟和低功耗的要求。事件摄像机由于其高时间分辨率和低功耗而提供了一种有前途的替代方案。在本文中,我们提出了 FACET(快速准确的基于事件的眼动追踪),这是一种端到端神经网络,可直接从事件数据输出瞳孔椭圆参数,针对实时 XR 应用进行了优化。椭圆输出可直接用于后续基于椭圆的瞳孔追踪器。我们通过扩展带注释的数据并将原始掩模标签转换为基于椭圆的注释来训练模型,从而增强了 EV-Eye 数据集。此外,采用了一种新颖的三角损失来解决角度不连续性问题,并提出了一种快速因果事件体积事件表示方法。在增强版 EV-Eye 测试集上,FACET 实现了平均瞳孔中心误差 0.20 像素,推理时间为 0.53 毫秒,与现有技术 EV-Eye 相比,像素误差和推理时间分别减少了 1.6 倍和 1.8 倍,参数和算术运算减少了 4.4 倍和 11.7 倍。代码可在 https://github.com/DeanJY/FACET 上找到。
摘要:全球脑项目中创新神经技术的出现加速了 BCI 的研究和临床应用,使其超越了感觉和运动功能。侵入式和非侵入式传感器都已开发出来,用于与思考、交流或记忆等认知功能进行交互。通过摄像头检测眼球运动为计算机接口提供了一种特别有吸引力的外部传感器,用于监控、评估和控制这些更高级的大脑功能,而无需从大脑获取信号。凝视位置和瞳孔扩张的特征可有效用于跟踪我们在健康心理过程中的注意力,实现意识障碍中的互动,甚至预测各种脑部疾病中的记忆表现。在这篇前瞻性文章中,我们提出了“CyberEye”一词,以涵盖眼球追踪界面在神经科学研究、临床实践和生物医学行业中的新兴认知应用。随着 CyberEye 技术的不断发展,我们预计 BCI 对大脑活动的依赖性会降低,侵入性会降低,从而更具适用性。
“[我们的女儿] 自 2023 年 11 月以来一直在服用 Daybue。......我们的体验有好有坏。我们目前正在经历一些腹泻的副作用,并且仍在努力控制它。目前,我们还没有达到全剂量。我们一直在增加剂量,也一直在减少剂量。我们正试图找到一个最佳点来帮助控制我们正在经历的一些副作用。但总的来说,我看到我女儿的情况有所改善。我绝对认为从沟通的角度来看,她正在更多地使用她的眼动仪。她对周围环境更加了解,我也认为她总体上更快乐了,脸上大部分时间都挂着笑容,我认为这对她的生活质量有很大的改善。” – 一位患有雷特氏综合症的孩子的妈妈,DAYBUE 的真实体验
2020 年 10 月 28 日——目标。 2020 年 10 月 28 日下午 1:56。编号0050簿009-10(03)。红细胞。 ID 6789ABCDEF[].白细胞。 CHM 测试(9UB)。谷氨酸2+。 8.3毫摩尔/升。 NSE。赞成。听到。 9/L 和/L。上海质量工程有限公司