摘要 近年来,随着消费级智能眼镜的出现,增强现实技术正在兴起。那些有兴趣部署这些头戴式显示器的人需要更好地了解技术对最终用户的影响。可能阻碍使用的一个关键方面是晕动症,这是从虚拟现实中继承下来的一个已知问题,迄今为止仍未得到充分探索。在本文中,我们通过对航空、医疗和航天三个不同行业的 142 名受试者进行实验来解决这一问题。我们评估了增强现实头戴式显示器 Microsoft HoloLens 是否会导致模拟器晕动症,以及不同症状组(恶心、眼球运动和迷失方向)如何导致模拟器晕动症。我们的研究结果表明,Microsoft HoloLens 在所有参与者中只会引起微不足道的模拟器晕动症症状。大多数使用它的消费者不会出现任何症状,而只有少数人在我们所测试的训练环境中感到轻微的不适。
✉ 通信和材料索取请发送至 Lan Luan 或 Chong Xie。lan.luan@rice.edu;chongxie@rice.edu。作者贡献 CX 构思并组织了整个研究;ZZ、HZ、XL、LL 和 CX 设计了实验,所有作者均参与其中;ZZ 和 XL 在 CX 的监督下设计和制作了 NET 设备;DFL、JEC 和 LF 与 SpikeGadgets LLC 合作设计了堆叠头戴式记录系统;ZZ 和 XL 在 JEC 和 DFL 的帮助以及 CX 和 LF 的监督下设计了 NET 探头与头戴式记录系统的集成;ZZ 和 XL 在 CX 的监督下开发并执行了手术程序;ZZ、XL 和 HZ 在 LS 和 FH 的帮助以及 CX 和 LL 的监督下进行了动物神经记录实验; HZ 和 ZZ 开发并实施了数据预处理,由 CX 监督,并得到了 JEC 和 LF 的意见;ZZ 和 HZ 执行了数据后分析,由 LL 和 CX 监督,并得到了 LF 的意见;ZZ 执行了组织学研究,由 CX 监督;ZZ、LL 和 CX 撰写并修改了手稿,得到了所有作者的意见。
一直致力于提供增强培训的方法,同时大幅降低成本。虽然已经取得了一些进步,但最近立体摄像机、头戴式显示器和运动跟踪等高性能硬件的进步弥补了以前方法中遇到的技术差距。此外,这些技术现在已可商用现货 (COTS) 供应,成本比十年前低得多。使用这种新的低成本硬件,Systems Technology, Inc. (STI) 开发了 Fused Reality® Flight,这是一种基于 STI 专利 Fused Reality® 技术的混合现实解决方案,用于飞行中飞行员评估和培训。在为 NASA 进行的成功的飞行 Fused Reality® 演示的基础上,当前的飞行系统应用了新的低成本 COTS 硬件来创造飞行体验,允许将包括其他飞机在内的虚拟物体放置在驾驶舱窗外,作为通过头戴式显示器观看的虚拟和现实世界视频场景的一部分。飞行员通过虚拟平视“显示器”保持态势感知。此外,组合视频图像支持对实际驾驶舱仪表和接收器的扫描。本文介绍了混合现实模拟解决方案在飞行环境中的应用。
VR 系统有多种类型,包括非沉浸式、半沉浸式和全沉浸式。非沉浸式系统允许用户在计算机屏幕上看到虚拟物体,而半沉浸式系统使用投影屏幕或多个显示器将虚拟图像环绕在用户周围。全沉浸式系统使用头戴式显示器或其他设备将用户完全环绕在虚拟图像和声音中,隔绝现实世界。
头盔和头戴式显示系统的设计和性能。本报告的很大一部分是对这些文献进行仔细和全面分析的结果。随着各种军事系统的部署,自 20 世纪 80 年代中期以来,该领域的研究大大加速。虽然本报告旨在提供对该技术领域及其与人类观察者的界面的相当全面的概述,但它并不详尽。希望更详细地研究选定主题的读者可以参考以下资源,它们是本报告的重要来源:
—G-10 航空航天行为工程技术 (ABET) 指导小组 G-10A 航空信息系统 G-10EAB 执行顾问组 G-10D 彩色显示器 G-10E 增强视觉/合成视觉系统 G-10G 逼真训练 G-10J 制图 G-10M 多功能显示器 G-10OL 作战激光器 G-10P 透视飞行引导 G-10T 激光安全隐患 G-10U 无人航空系统 G-10V 垂直飞行 G-10W 气象信息系统 G-10WV 尾流涡 G-10TDS 触摸交互式显示系统 G-10HWD 头戴式显示器
介绍了当前通过显示屏或头戴式显示器提供增强现实的方法。其中包括一系列技术,介绍了每种技术应用于 RETINA 概念的优缺点。对列出的各种技术进行了分析,以从人为因素的角度研究每种技术的人体工程学可行性以及风险和益处。还包括在标准和低能见度条件下从控制塔提供 ATC 服务的任务分析,重点关注 RETINA 概念将如何影响它们。本次审查将为 WP2 中要开发的合成视觉系统和概念提出操作要求。
在本研究中,我们报告了一项现场测试,我们询问是否有可能提供可扩展的、商业级的基于大脑的身份验证解决方案,而目前可用的头戴式设备都是如此。2020 年秋季,居住在美国各地的 62 名参与者在一周内完成了四 (4) 次在家会议。每次会议中有六 (6) 次身份验证事件,包括快速呈现图像 (10Hz),参与者观看 10 秒钟,同时用现成的脑信号测量头带记录他们的脑信号。脑信号的非平稳性质,以及信号来自大脑中数百个对环境作出反应的同时发生的过程的叠加这一事实,使得数据在时间上独一无二、不可重复且不可预测。即使参与者观看相同的刺激,我们也发现没有两个时间段是相同的(图 4B),而且,没有两个时间段的组合是相同的。我们发现,不同会话中人与人之间(参与者内)的差异非常显著,但稳定的过程似乎是信号复杂性和非平稳性的基础。我们展示了一种简化的基于大脑的身份验证系统,该系统可以捕获参与者在家中可区分的信息,具有可靠的商业级性能。我们得出结论,非侵入式测量的脑信号是生物识别身份验证的理想选择,尤其是对于耳机和 AR/VR 设备等头戴式设备而言。
介绍了当前通过显示屏或头戴式显示器提供增强现实的方法。其中包括一系列技术,介绍了每种技术在应用于 RETINA 概念时的优点和缺点。对列出的各种技术进行了分析,以从人为因素的角度研究每种技术的人体工程学可行性以及风险和好处。还包括在标准和低能见度条件下从控制塔提供 ATC 服务的任务分析,重点关注 RETINA 概念将如何影响它们。本次审查将为 WP2 中要开发的合成视觉系统和概念提出操作要求。