摘要。在大数据时代,有效地可视化数据对于发现过程至关重要。我们正在探索使用沉浸式虚拟现实平台对 COVID-19 大流行进行科学数据可视化。我们感兴趣的是在认知技术和人机交互领域寻找更好地理解、感知和与多维数据交互的方法。沉浸式可视化可以更好地理解和感知数据中的关系。本文介绍了一种基于 Unity 开发平台的沉浸式数据可视化工具。该数据可视化工具能够可视化美国五十个州的实时 COVID 大流行数据。与传统的桌面可视化工具相比,沉浸式可视化可以更好地理解数据,并带来更多以人为本的态势感知洞察。这项研究旨在确定虚拟现实工具中描绘的图表和条形图等图形对象如何根据分析师的心理模型开发,从而增强分析师的态势感知。我们的结果还表明,用户在使用沉浸式虚拟现实数据可视化工具时会感到更加满意,从而展示了沉浸式数据分析的潜力。
在自闭症谱系障碍领域(ASD)中,与尖端技术(尤其是虚拟现实(VR))的动态交集已成为教育和治疗性干预措施的开创性途径。ASD以社会交流和重复行为的困难为特征,在导航日常社交互动方面提出了独特的挑战(美国精神病学协会,DSM-5 TOMPLECT,2013年)。最近,技术创新(尤其是虚拟现实)的利用情况显着提高,以解决自闭症谱系障碍患者的各种要求(Burdea和Coi效率,2017年; Glaser和Schmidt,20222)。自闭症和技术共生的新兴领域有望以量身定制和令人鼓舞的方式改善社会,认知和语言能力。vr是在现代时期快速扩张的关键参与者,在那里信息和通信技术系统(ICT)正在策划整个部门的破坏性变化(乌卷,2020年)。其根源在计算机图形上,虚拟现实(VR)为虚拟环境中的用户提供丰富的感官体验。沉浸式VR(IVR)系统,例如头部安装的显示(HMD),对VR的出现做出了重要贡献,尤其是在医疗保健领域。学术界逐渐探索了IVR在医疗保健中的使用,目的是提高学习率并解决与ASD这样的与神经发育障碍有关的特定问题。IVR的优势与ASD的人的特征很好,例如他们对技术的天生热爱,出色的视觉回忆和对视觉空间信息的敏感性提高(Glaser and Schmidt,2022; Schmidt et el。,Schmidt等,2021b)。通过减少社交焦虑并促进现实,适应性的虚拟世界中的教学,这项技术促进了受监管且可重复的学习环境(Zhang等,2022; Karami等,2021; Parsons,2016)。文献强调了针对IVR作为ASD患者的关注IVR的研究激增,强调了其对解决该疾病核心症状的深远影响(Bozgeyikli等,2018; Miller and Bugnariu,2016; Lorenzo et al。,2019年)。然而,IVR的效果取决于其与精心设计的学习策略的整合,强调需要采取整体方法来利用这种变革技术对自闭症谱系中的个人的潜力。
拟议的研究介绍了创新的虚拟现实(VR)和大型语言模型(LLM)体系结构,以增强各种教育环境的学习过程,从学校到工业环境。利用LLM的功能和检索功能发电(RAG),建筑围绕着沉浸式VR应用。该应用程序使所有背景的学生都可以通过提出问题并以文本格式和VR中的视觉提示来与他们的环境进行交互式互动,从而促进了动态的学习体验。llms带有抹布作为这种体系结构的骨干,从而促进了将私人或域特异性数据集成到学习过程中。通过通过数据连接器无缝连接各种数据源,RAG克服了不同的和孤立的信息存储库的挑战,包括API,PDFS,SQL数据库等。RAG Solutions提供的数据索引通过将摄入的数据构造成优化的LLMs消费的格式,进一步简化了此过程。进行了一项经验研究,以评估该VR和LLM架构的有效性。二十名参与者分为实验组和对照组,以评估其学习过程的影响。实验组利用了沉浸式VR应用程序,该应用程序允许与教育环境进行互动互动,而对照组则遵循传统的学习方法。这项研究揭示了实验组的学习成果的显着改善,证明了将VR和LLMS整合到增强学习环境中的理解和参与方面的潜力。本研究提出了一种创新的方法,该方法利用了LLMS与沉浸式VR技术之间的协同作用,为变革性学习经验开辟了途径,超越了传统的界限,并在各种教育景观中获得了学习者。
根据世界中风组织的说法,“中风已经达到了流行比例”,其中25%的25%以上的成年人估计有一生中的中风(1)。尽管幸存者的比例大于死者的比例(大约6:4)(1),但许多首先仍然存在身体残疾。在过去几年中,虚拟现实(VR)技术恢复运动的进步为中风受害者创造了新的治疗可能性。随着对康复不断增长的需求(2),VR系统代表了一种选择,有助于减轻诊所和物理治疗师的稀缺性,尤其是在低收入国家。VR技术允许物理治疗专家探索刺激大脑可塑性的新路径(3)并改善康复。此外,由于其可爱的特征,这些系统的使用与患者之间的依从性较高有关(4)。如Weiss及其同事所述,VR是“使用计算机硬件和软件创建的交互式模拟,以向用户提供机会参与与现实世界对象和事件相似的环境的机会”(5)。vr允许创建一个安全的环境,在这种环境中,有可能在经过治疗师的密切监督的同时,无论是出现还是遥远的,都可以进行运动康复疗法所需的日常活动和练习。第一种类型在文献中更为丰富,可能是因为后者会引起网络智能症状(13)。手势控制的VR允许用户执行更接近现实的生活。几个VR系统,无论是在架子上还是明确开发用于研究的系统,已用于恢复中风患者的上和/或下肢[例如(6-9)]和其他疾病,例如大脑麻痹(10)和帕金森氏病(11,12)。这些系统范围从非放入性的范围(通常在视频显示器上呈现虚拟环境)到完全沉浸式的环境,到用户通常戴着眼镜或类似设备,这些设备给人以不同的环境(虚拟环境)的印象。VR系统中的另一个重要方面是用户界面,它可以使用控制器(例如操纵杆)或基于手势控制,该控制器可以依靠可穿戴的传感器或光学设备。的确,手势控制的VR系统称为天然界面(14)。尽管如今,这些系统在复杂性问题方面相当,但是具有可穿戴传感器的VR系统的价格通常更昂贵,并且基于手势的VR系统的可控性仍然比常规VR系统(考虑到手势识别问题)要困难得多(15)。GestureCollection System(14)是一种基于计算机的手势控制,是在我们组中开发的低成本,简单和直观的,非放入性的康复解决方案。在这里,我们研究了与有或不包括基于妊娠的活性在治疗方案中进行运动康复的中风患者的临床结局有关的大脑变化。fMRI(基于血液氧合水平依赖 - 粗体 - 信号)测量它包含三个VR游戏:手势嘴,用户必须使用上肢将难题的部分放在一起; Gesturechess,用户使用上肢进行棋子来移动碎片;和GestureMaps,受试者可以通过Google Street View的虚拟图导航,以实际的固定步态和中继旋转来控制虚拟运动。的确,研究大脑中广泛使用的康复作用的一种方法是静止状态(RS)功能磁共振成像(fMRI)与图理论相关的,以衡量脑网络中拓扑变化(16)。
由于缺乏可视化功能、非破坏性操作、建议和灵活性,探索虚拟场景中对象配置的设计空间对于虚拟现实创作工具而言是一项挑战。这项工作引入了属性空间,即在 3D 内容生成期间可视化和操纵虚拟现实中的对象属性的工具。属性空间使设计师能够系统地探索设计空间,支持快速比较设计方案并提供设计建议。可以为多个对象同时分组和操纵自定义属性组合。分组支持创建自定义操作组合,可用作编辑多个属性的工具,以及有希望的设计决策的快照以供以后审查。在 3D 设计专家对属性空间的评估中,我们发现我们的方法可以增强用户对其设计空间探索的理解
摘要 — 虚拟自我化身在增强现实 (AR) 中的应用越来越广泛,人们可以在其中看到嵌入物理空间的虚拟内容。然而,人们对这种背景下自我化身的感知知之甚少。它们的化身可能以与虚拟现实类似的方式实现,这为教育、通信、娱乐或医疗领域的众多应用打开了大门。本文旨在回顾有关 AR 中虚拟自我化身的化身的文献。我们的目标是 (i) 引导读者了解与 AR 化身系统实施相关的不同选项和挑战,(ii) 通过对现有知识进行分类,更好地理解 AR 化身感知,以及 (iii) 为 AR 和化身研究的未来研究主题和趋势提供见解。为此,我们通过定义“身体化身”连续体引入了虚拟化身体验的分类法。所提出的知识表明,化身感在 AR 中的演变方式与在其他环境中的演变方式相同,但这种可能性尚未得到充分研究。我们认为,尽管还有待进一步了解,但虚拟形象在 AR 领域有着光明的未来,最后我们讨论了可能的研究方向。
摘要:我们对计算机生成的世界的访问改变了我们的感受,思维方式以及如何解决问题的方式。在这篇综述中,我们探讨了不同类型的虚拟现实,身临其境或非降低性的实用性,以提供可控制的,安全的环境,以实现个人培训,神经疗程甚至更换丢失的功能。虚拟现实对神经元可塑性的神经生物学作用已显示导致皮质灰质体积增加,电脑betaβ波的浓度较高以及增强的认知性能。虚拟现实的临床应用得到了创新的大脑 - 计算机界面的帮助,这些界面可以直接利用由不同脑皮质区域产生的电活动,以精确地自愿控制连接的机器人设备。虚拟现实对于健康的个体作为一种叙事媒介也很有价值,可以在自我完善和个人发展的综合过程中重新设计其个人故事。基于虚拟现实的技术的未来升级有望帮助人类超越其生物体的局限性,并增强其塑造物理现实的能力,以更好地满足全球化世界的需求。
重复使用权和重印许可:允许免费将本材料用于教育或个人用途,但前提是:1) 不以营利为目的;2) 在副本首页包含此声明和对原始作品的完整引用;3) 不暗示 IEEE 认可任何第三方产品或服务。作者及其公司可以在未经许可的情况下在自己的 Web 服务器上发布 IEEE 版权材料的已接受版本,但前提是 IEEE 版权声明和对原始作品的完整引用出现在已发布副本的第一屏上。已接受的手稿是作者修改以纳入审阅建议的版本,但不是由 IEEE 编辑、校对和格式化的已发布版本。有关更多信息,请访问:http://ww.ieee.org/publications_standards/publications /rights/paperversionpolicy.html。若要出于商业、广告或促销目的重印/重新发布本材料,或创建新的集体作品以供转售或再分发,必须通过写信给 IEEE 知识产权办公室(地址:445 Hoes Lane, Piscataway, NJ 08854-4141 或 pubs-permissions@ieee.org)获得 IEEE 许可。版权所有 © 2025 IEEE。保留所有权利。
摘要:虚拟现实(VR)技术越来越多地应用于人机交互(HRI)研究,以增强交互的沉浸感和真实感。然而,VR 融入 HRI 也带来了新的挑战,例如延迟、虚拟与现实环境不匹配以及对人类用户的潜在不利影响。尽管存在这些挑战,但在 HRI 中使用 VR 仍有可能带来许多好处,包括改善沟通、提高安全性以及加强培训和教育。然而,学者们对 VR 在人机交互中应用的最新进展进行回顾的研究很少。为了弥补这一差距,本文概述了在 HRI 中使用 VR 的挑战和好处,以及该领域的当前研究和未来发展方向。研究发现,机器人变得比以往任何时候都更加个性化、互动性和吸引力;随着虚拟现实创新的普及,我们或许能够预见到 VR 将被广泛用于控制机器人,以完成医院、学校和工厂的各种任务。尽管如此,仍存在一些挑战,例如需要更先进的 VR 技术来提供更逼真、身临其境的体验,开发更像人类的机器人模型来改善社交互动,以及需要更好的方法来评估 VR 在人机交互中的有效性。
虚拟场景与现实世界之间的同步。然而,由于特定设备的可用性有限以及现有跟踪设备通常价格昂贵,这可能会阻止更多人使用 VR 技术。在本论文中,我探讨了将特定传感器配置连接到 VR 应用程序的过程,以便能够根据特定应用程序定制运动传感器,而不必依赖通常不符合应用程序需求的解决方案。MPU-6050 传感器非常精确,因为它每个通道都包含 16 位模拟到数字转换硬件。因此,它同时捕获 x、y 和 z 通道。传感器使用 I2C 总线与 Arduino 接口。Arduino Ethernet Shield 利用 UDP 通信程序为我们提供了一种在 Arduino 和任何所需软件应用程序之间进行交互的便捷方式。最后,通过三个实验展示了虚拟环境下实时仿真的应用,结果表明本工作可以为VR应用提供实时精准的运动跟踪。