本手册提供了示例规范段落、基本原理、指导和经验教训,这些内容对于开发飞机的主要飞行显示器和任务航空电子控制和显示子系统非常有用。这包括平视显示器 (HUD)、头盔显示器 (HMD) 和多功能显示器 (MFD),用于呈现图形以及显示电视 (TV)、前视红外 (FLIR) 和雷达视频,以及相关的电子显示生成设备。基本原理段落解释了指定每个参数的原因。指导段落解释了通常使用的值及其原因。经验教训段落可作为该技术领域的历史信息存储库。
能够与之交流。在这里,增强现实(AR)环境中提供的信息可能有益于传达机器人的意图[24,26],可视化安全信息,并高点用户必须执行的过程或任务[22]。根据我们的经验,这种沉浸式的人类机器人协作(HRC)环境通常在桌面系统(例如Unity3D)上撰写,从而充分利用鼠标和键盘等熟悉的输入技术。但是,在教育者中有效设计AR内容需要准确模拟应锚定的现实世界环境。即使那样,通常在AR中的AR内容模拟AR含量与AR头部安装显示器(HMD)时的位置可视化之间存在明显差异。此外,部署到HMD,测试和调试的过程以及在桌面系统上再次编辑的过程通常很慢,乏味且具有挑战性。为了解决这个问题,先前的工作最近证明了使用增强现实来创作AR-AR-ADITU的潜力[21]。但是,原位AR创作工具的好处是什么,可以说在输入功能方面可能会受到限制(中间交互作用与鼠标和键盘)?我们看到了几个优点:(1)用户可以立即测试例如可视化及其外观属性的变化,而无需重新编译整个应用程序。此外,(2)这样的创作工具可以降低进入障碍,因为它可以允许新手用户在不需要广泛的编程技能的情况下设计受支持的系统。但是,我们从AR中开发创作系统[21]的经验表明,在纯AR环境中,整个AR体验的设计和配置可能很困难:例如,在空气中显示的虚拟键盘上有效的文本输入并不是琐碎的[12],并且操纵传统界面元素(例如,按钮和列表)可能会互动(例如,纽扣和列表),因此很难改善互动。最近的作品因此,将多个设备作为互补接口[9,27](例如AR HMDS和移动触摸屏设备)组合起来,以利用每种技术的各自优势。在我们先前的Robovisar [21]项目上构建,我们提供了一种混合创作工具,其中包括桌面环境,平板电脑和AR HMD,可以集体作者并运行完整的AR用户体验。该系统应允许用户在与机器人直接合作的同时设计所有AR内容。通过启用初始设置和原位创作,我们提出的系统会流畅地支持执行阶段,从而使用户可以在一个或多个机器人上尝试使用其撰写的工作流,这可能但不必是配件。在以下内容中,我们介绍了我们的概念,描述了原型的特征。在本文中,我们将范围限制在创作和协作集会上,从而排除了HRC组装的其他关键方面(例如,机器人编程,设计组装说明)。但是,我们有信心将来这些步骤可以与我们的概念集成在一起。
Metaverse 提供了一个虚拟环境,可以进行实验、实践和学习,而无需承担在现实世界中进行这些操作的昂贵后果。随着功能更强大、用途更广泛的头戴式显示器 (HMD) 和 VR 外围设备的开发,虚拟现实 (VR) 行业将使我们能够进入这个虚拟世界。这就是为什么技术型公司将注意力转向沉浸式 VR 作为战略机遇的原因。因此,本研究认识到 Metaverse 的快速增长和兴趣,通过分析 BCI 和相关领域的 VR 研究,提出了一项示范性研究。因此,研究了 Metaverse、虚拟现实、游戏化和脑机接口等技术在人类生活中的利弊,并提到了 BCI 在 Metaverse 中的位置。
Cybersickness是与虚拟现实(VR)用户体验相关的常见疾病。基于机器学习(ML)和深度学习(DL)的几种自动化方法,以检测网络病。但是,这些Cybersickness检测方法中的大多数被视为计算密集型和黑盒方法。因此,这些技术既不值得信赖,也不是实用的,因为它可以在独立的能源受限的VR头部安装设备(HMD)上。在这项工作中,我们提出了可解释的人工智能(XAI)基于Cybersickness检测的框架LiteVR,解释了模型的结果,降低了功能维度和整体计算成本。首先,我们基于长期短期记忆(LSTM),门控复发单元(GRU)和多层感知器(MLP)开发了三个Cybersickness DL模型。然后,我们采用了事后解释,例如Shapley添加说明(SHAP),以解释结果并提取Cybersickness的最主要特征。最后,我们以减少的功能数量重新训练DL模型。我们的结果表明,引人注目的特征是Cybersickness Declection的最主要的。此外,基于基于XAI的功能排名和降低维度,我们显着将模型的大小降低了4.3倍,训练时间最高为5.6倍,其推理时间最高为3.8倍,最高可降低Cybersick Nessick Nespection tection coctection tection coctiction Percipation Percipation和低回归误差(即快速运动尺度)(FMS)。我们提出的LITE LSTM模型在分类网络病和回归(即FMS 1-10)中获得了94%的精度,其根平方误差(RMSE)为0。30,表现优于最先进的。我们提出的LITEVR框架可以帮助研究人员和从业人员在独立的VR HMD中分析,检测和部署其基于DL的Cybersickness检测模型。
1 引言 虚拟现实 (VR) 本质上不同于传统媒体,因为它引入了额外的自由度、更宽的视野、更复杂的声音空间化,甚至让用户可以控制摄像头。因此,VR 沉浸式设置(如头戴式显示器 (HMD) 或类似 CAVE 的系统)有可能改变内容消费方式,提高真实感、沉浸感和参与度。这已经影响了许多应用领域,如教育和培训 [ 29 ]、康复和神经科学 [ 183 , 237 ] 或虚拟电影摄影 [ 194 ]。这些系统的关键方面之一在于它们能够重现来自不同模态(主要是视觉和听觉,也有触觉、嗅觉、味觉或本体感受)的感官信息,这给它们带来了前所未有的潜力。
基于脑电图 (EEG) 的脑机接口 (BCI) 近来在虚拟现实 (VR) 应用中引起越来越多的关注,成为一种有前途的工具,可以“免提”方式控制虚拟物体或生成命令。视频眼动图 (VOG) 经常被用作一种工具,通过识别屏幕上的注视位置来提高 BCI 性能,然而,当前的 VOG 设备通常过于昂贵,无法嵌入到实用的低成本 VR 头戴式显示器 (HMD) 系统中。在本研究中,我们提出了一种新颖的免校准混合 BCI 系统,该系统结合了基于稳态视觉诱发电位 (SSVEP) 的 BCI 和基于眼电图 (EOG) 的眼动追踪,以提高 VR 环境中九目标基于 SSVEP 的 BCI 的信息传输速率 (ITR)。在以 3×3 矩阵排列的三种不同频率配置的模式反转棋盘格刺激上重复实验。当用户注视九种视觉刺激中的一种时,首先根据用户的水平眼球运动方向(左、中或右)识别包含目标刺激的列,并使用从一对电极记录的水平 EOG 进行分类,该电极可以很容易地与任何现有的 VR-HMD 系统结合使用。请注意,与 VOG 系统不同,可以使用与记录 SSVEP 相同的放大器来记录 EOG。然后,使用多元同步指数 (EMSI) 算法的扩展(广泛使用的 SSVEP 检测算法之一)在选定列中垂直排列的三个视觉刺激中识别目标视觉刺激。在我们对 20 名佩戴商用 VR-HMD 系统的参与者进行的实验中,结果表明,与 VR 环境中基于传统 SSVEP 的 BCI 相比,所提出的混合 BCI 的准确度和 ITR 均显着提高。
1简介虚拟现实(VR)与传统媒体固有不同,因为它引入了额外的自由度,更广泛的视野,更复杂的声音空间化,甚至可以使用户控制相机。VR沉浸式设置(例如头部安装的显示器(HMD)或类似洞穴的系统)有可能改变消费内容的方式,增加现实主义,沉浸和参与度。这影响了许多应用领域,例如教育和培训[29],康复和神经科学[183,237]或虚拟摄影[194]。这些系统的关键方面之一在于它们能够从不同方式(主要是视觉和听觉,但也是触觉,嗅觉,味道或本体感受)重现感觉信息的能力,从而使它们具有前所未有的潜力。
在1968年,计算机图形的教父之一伊万·萨瑟兰(Ivan Sutherland)展示了世界上的首次头部安装显示(HMD)给世界的沉浸式媒体系统:一种沉浸式虚拟现实(IVR)耳机,使用户能够交互式地注视到三个尺寸(3D)虚拟环境(SUTHATERAINS,1968年),1968年; 1968年;萨瑟兰(Sutherland)在“达马克尔(Damocles)之剑”(Damocles of Damocles)之前,描述了他对系统的灵感,这成为沉浸式媒体最具影响力的文章之一:“当然,最终的展示当然将是计算机可以控制物质存在的房间。在这样的房间里展示的椅子足以坐在。在这样的房间里展示的手抓手会得到填充,在这样的房间里展示的子弹将是致命的。通过适当的编程,这样的展示实际上可能是爱丽丝走到的仙境”(Sutherland,1965)。病态,最终显示的这种愿景询问是否可以创建这样的计算熟练媒介,以使现实本身可以通过物理响应模拟。萨瑟兰州的“达马克尔之剑”帮助引发了一个新的研究时代,旨在在竞赛中为学术界和工业界回答这个问题,以在虚拟世界内建立最沉浸式的展示(Costello,1997; Steinicke,2016)。但是,由于当时的硬件限制和成本,这种趋势是短暂的(Costello,1997)。在2019年,出售了700万个商业HMD,到2023年,销售额预计每年将达到3000万(Statista,2020)。过去十年中,这一领域的增长爆炸性增长,计算能力的提高和数字系统的效果有效地降低了技术制造,消费者市场,所需技能和组织需求的障碍(Westwood,2002年)。这种大众消费者的采用部分是由于硬件成本下降和可用性的相应提高所致。这些商业系统提供了一种传达6-DOF信息(位置和轮换)的方法,同时也从用户行为中学习
3.2.1.22 核生存能力。 ...................................................................................................................... 81 3.2.1.23 处理器标准。 ................................................................................................................ 82 3.2.1.24 损坏保护/过载保护。 ...................................................................................................... 83 3.2.1.25 平视显示器(HUD)-特定要求。 ...................................................................................... 84 3.2.1.26 头盔显示器(HMD)特定要求。 ...................................................................................... 99 3.2.2 系统接口。 ............................................................................................................. 107 3.2.2.1 电气接口。 ............................................................................................................. 108 3.2.2.2 机械接口。 ............................................................................................................. 113 3.2.2.3 冷却接口。 ............................................................................................................. 114 3.2.2.4 显示记录接口。 ........................................................................................... 115 3.2.3 可靠性. ..............................................................................................................116 3.2.4 可维护性. ..............................................................................................................117 3.2.4.1 维护概念. ..............................................................................................................118 3.2.4.2 定期维护. ..............................................................................................................119 3.2.4.3 自检. ......................................................................................................................120 3.2.4.4 内置测试(BIT) ......................................................................................................121 3.2.4.5 可测试性. ......................................................................................................................122 3.2.4.6 故障报告. ................................................................................................................123 3.2.5 重量. ......................................................................................................................124 3.2.6 体积. ................................................................................................................125 3.3 设计和施工 ................................................................................................................126 3.3.1 环境完整性. ..............................................................................................................126 3.3.1.1 爆炸减压. ......................................................................................................126................................................................ 129 3.3.2 安全性. ....................................................................................................................130 3.3.2.1 逃生间隙. ....................................................................................................................131 3.3.2.2 噪声产生. ....................................................................................................................132 3.3.2.3 X 射线发射. ....................................................................................................................133 3.3.2.4 碰撞安全性. ....................................................................................................................133 3.3.2.5 结合玻璃鸟撞. ....................................................................................................................134 3.3.3 人体工程学. ....................................................................................................................135 3.3.3.1 手柄和抓握区域. ....................................................................................................135 3.3.3.2 键盘要求. ....................................................................................................................136 4. 验证 .............................................................................................................................6 4.1 控制和显示部分的验证。 ................................................................8 4.1.1 主飞行显示器的验证。 ......................................................................................11 4.1.2 情况显示的验证。 ..............................................................................................13 4.1.3 HUD/HMD 的验证。 .............................................................................................14 4.1.4 车辆管理子系统(VMS)显示的验证。 .............................................................16 4.1.5 警告、注意和咨询(WCA)显示的验证。 .............................................................17 4.1.6 航空电子子系统控制和数据输入的验证。 .............................................................18 4.1.7 视频记录的验证。 .............................................................................................19 4.2 从属元素的特性验证。 .............................................................................................20 4.2.1 性能环境的验证。 .............................................................................................20 4.2.1.1 照明颜色的验证。 .............................................................................................21 4.2.1.2 符号的验证。 ........................................................................................... 24 4.2.1.3 显示模式验证. ........................................................................................... 31 4.2.1.4 显示屏分辨率验证。 ................................................................................................................ 33 4.2.1.5 图像分辨率验证。 .......................................................................................................... 36 4.2.1.6 显示屏清晰度验证。 ...................................................................................................... 38 4.2.1.7 显示屏尺寸验证。 ...................................................................................................... 62 4.2.1.8 显示屏色彩验证。 ...................................................................................................... 64