虚拟现实(VR)已知会引起大脑运动区域的大量激活。尚不清楚虚拟现实在多大程度上会触发感觉运动系统,更特别地,它是否会影响较低的神经水平。在这项研究中,我们旨在评估VR模拟具有挑战性和压力的姿势情况(Richie的木板经验)是否可以干扰15位健康的年轻参与者中姿势肌肉的脊柱兴奋性。三头肌肌肉的H-Re the ex在参与者站立并戴着VR头戴式耳机的同时,通过电神经刺激引起。参与者经历了几种情况,在此期间唤起了刺激:站立(Novr)站在地面上的VR(地面VR),站在建筑物的边缘(plankVr)(plankVr)(plankVr),并从建筑物(Fallowvr)掉下来。在整个实验过程中,测量了三头肌肌肉的肌电活性。腿部和头部运动也通过加速度计来测量以说明身体振荡。首先,在条件之间,头部旋转和肌电活性没有差异。第二,从novr到GroundVR和PlankVr不影响三头肌H-Re-Refex(H Max / m max)。最显着的发现是在跌落过程中H-Re-ex的急剧下降(Novr和FallingVR之间的47±26.9%,P = 0.015)。建议在VR中遇到姿势威胁有效地调节脊柱兴奋性,尽管保持了安静的站立姿势。这项研究表明,模拟掉落的模仿神经调整在实际的姿势挑战任务中观察到的神经调整。
1.1 航空电子、电子系统和电子学发展简介:“航空电子”一词源于航空和电子学的结合。它最早于 20 世纪 50 年代初在美国使用,此后得到了广泛的使用和认可,尽管必须指出,有时仍有必要向外行解释它的含义。本书中使用的术语“航空电子系统”或“航空电子子系统”是指飞机中任何依赖电子设备运行的系统,尽管该系统可能包含机电元件。例如,电传操纵 (FBW) 飞行控制系统依靠电子数字计算机有效运行,但系统中还有其他同样重要的元素。这些包括固态速率陀螺仪和加速度计,用于测量飞机的角运动和线性运动,以及大气数据传感器,用于测量高度、空速和入射角。还有飞行员的操纵杆和方向舵传感器组件以及电液伺服执行器,用于控制控制面的角位置。航空电子行业是全球数十亿美元的主要行业,现代军用或民用飞机上的航空电子设备可占飞机总成本的 30% 左右。对于海上巡逻/反潜飞机(或直升机),航空电子设备的这一数字更像是 40%,对于机载预警机(AWACS)而言,这一数字可能超过总成本的 75%。现代通用航空飞机也具有大量航空电子设备。例如,彩色头戴式显示器、GPS 卫星导航系统、无线电通信设备。1.2 电子设备的发展 航空电子设备可占其总成本的 10%。需要注意的是,无人驾驶飞机 (UMA) 完全依赖于航空电子系统。这些包括显示器、通信、数据输入和控制以及飞行控制。显示系统提供飞行员和飞机系统之间的视觉界面,包括
基于脑电图 (EEG) 的脑机接口 (BCI) 近来在虚拟现实 (VR) 应用中引起越来越多的关注,成为一种有前途的工具,可以“免提”方式控制虚拟物体或生成命令。视频眼动图 (VOG) 经常被用作一种工具,通过识别屏幕上的注视位置来提高 BCI 性能,然而,当前的 VOG 设备通常过于昂贵,无法嵌入到实用的低成本 VR 头戴式显示器 (HMD) 系统中。在本研究中,我们提出了一种新颖的免校准混合 BCI 系统,该系统结合了基于稳态视觉诱发电位 (SSVEP) 的 BCI 和基于眼电图 (EOG) 的眼动追踪,以提高 VR 环境中九目标基于 SSVEP 的 BCI 的信息传输速率 (ITR)。在以 3×3 矩阵排列的三种不同频率配置的模式反转棋盘格刺激上重复实验。当用户注视九种视觉刺激中的一种时,首先根据用户的水平眼球运动方向(左、中或右)识别包含目标刺激的列,并使用从一对电极记录的水平 EOG 进行分类,该电极可以很容易地与任何现有的 VR-HMD 系统结合使用。请注意,与 VOG 系统不同,可以使用与记录 SSVEP 相同的放大器来记录 EOG。然后,使用多元同步指数 (EMSI) 算法的扩展(广泛使用的 SSVEP 检测算法之一)在选定列中垂直排列的三个视觉刺激中识别目标视觉刺激。在我们对 20 名佩戴商用 VR-HMD 系统的参与者进行的实验中,结果表明,与 VR 环境中基于传统 SSVEP 的 BCI 相比,所提出的混合 BCI 的准确度和 ITR 均显着提高。
摘要 — 自动眼动追踪对于与患有肌萎缩侧索硬化症的人互动、用眼睛控制电脑鼠标以及对葡萄膜黑色素瘤进行控制性放射治疗都具有重要意义。据推测,凝视估计的准确性可能通过使用前庭眼动反射来提高。这种不自主的反射会导致缓慢的补偿性眼动,与头部运动的方向相反。因此,我们假设在眼动追踪过程中让头部自由移动一定比保持头部固定、只让眼睛移动产生更准确的结果。本研究的目的是创建一个低成本的眼动追踪系统,通过保持头部自由移动,将前庭眼动反射纳入凝视估计中。所用的仪器包括一个低成本的头戴式网络摄像头,可记录一只眼睛。尽管用于记录的网络摄像头是低端的,并且没有直接照明,但瞳孔检测是完全自动和实时的,采用了简单的基于颜色和基于模型的混合算法。本研究测试了基于模型的算法和基于插值的算法。根据凝视估计结果中的平均绝对角度差,我们得出结论,基于模型的算法在头部不动时表现更好,而在头部移动时同样表现良好。当头部自由移动时,使用任一算法,凝视点与目标点的大多数偏差小于 1 ◦,可以得出结论,我们的设置完全符合文献中的 2 ◦ 基准,而头部不动时的偏差超过 2 ◦。所使用的算法之前未在被动照明下进行测试。这是首次研究考虑到前庭眼反射的低成本眼动追踪装置。
摘要:在中风慢性期(例如中风后 6 个月以上),严重的肢体运动障碍可能难以解决。最近的证据表明,物理治疗在此阶段后仍可促进有意义的康复,但所需的大量治疗很难在标准临床实践范围内提供。数字游戏技术现在与脑机接口相结合,以激励人们积极参与和频繁锻炼并促进神经恢复。然而,获取脑信号的复杂性和成本阻碍了这些康复系统的广泛使用。此外,对于有残留肌肉活动的人来说,肌电图 (EMG) 可能是一种更简单且同样有效的替代方法。在这项初步研究中,我们评估了基于 EMG 的 REINVENT 虚拟现实 (VR) 神经反馈康复系统变体的可行性和有效性,以增加随意肌肉活动,同时减少意外的共同收缩。我们招募了四名中风康复慢性期的参与者,他们的主动腕关节运动均受到严重限制。他们完成了七次 1 小时的训练,在此期间,我们的头戴式 VR 系统强化了腕伸肌的激活,而没有激活屈肌。训练前后,参与者接受了一系列临床和神经肌肉评估。我们发现训练提高了标准化临床评估的分数,与之前报告的脑机接口分数相当。此外,训练可能引起皮质脊髓通讯的变化,表现为 12-30 Hz 皮质肌肉一致性的增加和维持恒定腕肌活动水平的能力的提高。我们的数据支持在严重慢性中风中使用肌肉-计算机接口的可行性,以及它们促进功能恢复和触发神经可塑性的潜力。
摘要:提出了一种使用虚拟现实头戴式显示器 (VR-HMD) 的实时飞行模拟工具,用于在超视距 (BLOS) 条件下运行的遥控飞艇。具体来说,VR-HMD 是为在低/高空飞行的平流层飞艇开发的。提出的飞行模拟工具使用 FlightGear 飞行模拟器 (FGFS) 中飞艇的相应空气动力学特性、浮力效应、质量平衡、附加质量、推进贡献和地面反应。VR 耳机与包含每个按钮的实时方向/状态的无线电控制器一起连接到 FGFS,这也被模拟以提供更好的态势感知,以及开发用于提供所需飞行数据的平视显示器 (HUD)。在本研究中,开发了一个系统,将 FGFS 和支持 VR 的图形引擎 Unity 实时连接到 PC 和无线 VR-HMD,数据传输之间的延迟最小。发现 FGFS 以 0.01 秒的周期写入 CSV 文件时存在平衡。对于 Unity,每帧读取一次文件,相当于大约 0.0167 秒(60 Hz)。还根据 NASA TLX 问卷进行了类似的评级技术测试程序,该问卷可确定飞行员在完成分配的任务时的可用心理能力,以确保拟议的 VR-HMD 的舒适性。因此,使用桌面模拟器和 VR-HMD 工具对飞机控制进行了比较。结果表明,该系统的当前迭代非常适合在安全和沉浸式环境中训练飞行员使用类似系统。此外,这种先进的便携式系统甚至可以提高飞行员的态势感知能力,并允许他们在模拟中使用相同的数据传输程序完成相当一部分实际飞行测试。VR-HMD 飞行模拟器还旨在表达地面控制站 (GCS) 概念,并使用机载摄像机广播的真实环境实时传输飞行信息以及视点 (POV) 视觉效果。
目的虚拟现实 (VR) 在神经外科教育和手术模拟中的应用日益广泛。到目前为止,VR 模拟的 3D 源来自医学图像,缺乏真实色彩。作者根据解剖尸体制作了照片 3D 模型,并将其集成到 VR 平台中。本研究旨在介绍一种开发照片集成 VR 的方法,并评估这些模型的教育效果。方法准备一个硅胶注射的尸体头部。对标本进行 CT 扫描,将软组织和头骨分割成 3D 对象。逐层解剖尸体,并用摄影测量法对每一层进行 3D 扫描。将对象导入免费的 VR 应用程序并分层。使用头戴式显示器和控制器,向神经外科住院医师演示了各种神经外科手术方法。在使用照片 3D 模型进行实际虚拟手术后,收集了 31 名参与者的反馈调查。结果 照片3D模型无缝集成到VR平台中。通过照片集成VR成功进行了各种颅底入路。在虚拟解剖过程中,根据颜色和形状识别标志性解剖结构。受访者对照片3D模型的评分高于传统3D模型(分别为4.3±0.8 vs 3.2±1.1;p=0.001)。他们回答说,使用照片3D模型进行虚拟手术有助于提高他们的手术技能以及开发和研究新的手术入路。 结论 作者首次将照片3D模型引入虚拟手术平台。将照片与3D模型相结合并使用分层技术增强了3D模型的教育效果。未来,随着计算机技术的进步,将可以实现更逼真的模拟。
数字设备用于学习和教育目的的运用越来越广泛。这在 1997 年至 2006 年期间尤为明显,当时联网计算机被广泛用于共享学习,而在 2007 年至 2016 年期间,所谓的在线数字学习变得普遍。在这两个时期,人们质疑利用虚拟学习环境和移动设备等新技术的潜力。尽管传统教育强调教师而不是学生,但这种方法已经显示出一些重大缺陷,并且与今天的标准不符 [1]。正如 Colin 和 O'Brien 所说 [2],学生被要求进行自己的同行评审,自己进行实验,并尝试将他们的发现与已知知识联系起来,而不是被动地接受老师提供的东西。技术在这一趋势中发挥了重要作用,尤其是游戏化 [3-6]、增强现实 (AR) 和虚拟现实 (VR) 娱乐和教育移动设备 [7、8]。最近,VR 技术已积极应用于各个实施领域的教育、教学和培训 [9]。尽管 VR 并不是什么新鲜事物,但过去十年中沉浸式技术在可视化和交互方面的发展使 VR 对科学家更具吸引力。最新的 VR 屏幕,如 HTC Vive 或 Oculus Rift,可让用户体验高度的沉浸感。“沉浸感”一词描述了用户参与虚拟环境的感觉,在此期间,他们对实时时间的感知常常变得不连贯。预计到 2022 年,头戴式显示器 (HMD) 市场规模将达到 250 亿美元,在 2019 年至 2025 年期间的年增长率为 39.52%。因此,现在是探索沉浸式 VR 的最佳时机,主要是因为 VR 技术的功能不断增强,而且价格越来越实惠 [9]。欧盟有 3300 所高等教育机构。与美国体系相比,欧洲体系要复杂得多,因为它主要在国家和地区层面组织,每个层面都有自己的法律要求、文化和历史框架以及不同的语言[10]。为了实现统一的
摘要 虚拟现实 (VR) 是一种很有前途的工具,可促进健康用户和脑损伤患者的运动(再)学习。然而,在当前基于 VR 的运动训练中,用户在三维空间中进行的运动通常在计算机屏幕、电视或投影系统上可视化,这些系统缺乏深度线索(2D 屏幕),因此仅使用单眼深度线索显示信息。深度线索的减少以及从三维空间中执行的运动到 2D 屏幕上的二维间接可视化的视觉空间转换可能会增加认知负荷,降低 VR 的可用性,尤其是对于患有认知障碍的用户。如果这些 2D 屏幕限制了用户的动机和体现力(这些因素以前与更好的运动表现有关),它们可能会进一步降低学习成果。本研究的目的是评估使用头戴式显示器 (HMD) 的更具沉浸感的技术的潜在好处。作为潜在临床实施的第一步,我们对 20 名健康参与者进行了一项实验,他们同时使用以下设备执行 3D 运动伸展和认知计数任务:(1) (沉浸式) VR (IVR) HMD,(2) 增强现实 (AR) HMD,和 (3) 计算机屏幕(2D 屏幕)。在之前的分析中,我们报告说,当使用 IVR 比使用 2D 屏幕可视化动作时,动作质量有所提高。在这里,我们展示了问卷分析的结果,以评估可视化技术是否影响用户的认知负荷、动机、技术可用性和体现。关于认知负荷的报告在不同的可视化技术中没有差异。然而,IVR 比 AR 和 2D 屏幕更具激励性和可用性。IVR 和 AR 都比 2D 屏幕达到了更高的体现水平。我们的结果支持了我们之前的发现,即在训练 3D 运动时,IVR HMD 似乎比基于 VR 的治疗中使用的常见 2D 屏幕更合适。对于 AR 而言,目前尚不清楚其相对于 2D 屏幕没有优势是由于可视化技术本身还是由于设备特定的技术限制。
摘要:中手势界面已在特定场景中流行起来,例如通过头戴式显示器与增强现实的交互、通过智能手机或游戏平台进行特定控制。本文探讨了使用位置感知的基于空中手势的命令三元组语法与智能空间进行交互。该语法的灵感来自人类语言,构建为具有命令结构的呼格。在“请打开灯!”这样的句子中,通过模仿其首字母/首字母缩略词(呼格,与句子的省略主语一致)的手势来调用被激活的对象。然后,几何或方向手势识别动作(命令式动词),可能包括对象特征或要与之联网的第二个对象(补语),也由首字母或首字母缩略词表示。从技术上讲,依赖于可训练的多设备手势识别层的解释器使对/三元组语法解码成为可能。识别层适用于可抓取设备(智能手机)和自由手持设备(智能手表和外部深度摄像头)以及特定编译器的加速度和位置输入信号。在 Living Lab 设施的特定部署中,语法已通过使用源自英语的词典(关于首字母和首字母缩略词)进行实例化。对 12 名用户的受试者内分析使我们能够分析手势语法在其三种设备实现(可抓取、可穿戴和无设备)中的语法接受度(就可用性、手势对物体动作的一致性和社会接受度而言)和技术偏好。参与者对学习语法的简单性及其在管理智能资源方面的潜在有效性表示了共识。在社交方面,参与者倾向于在户外活动中使用手表,在家庭和工作环境中使用手机,强调了社交背景在技术设计中的重要性。由于其效率和熟悉度,手机成为手势识别的首选。该系统可适应不同的传感技术,解决了可扩展性问题(因为它可以轻松扩展到新对象和新动作)并允许个性化交互。