摘要:本文通过认知心理学实验探讨2D和VR电影剪辑技术之间的差异。我们招募了16名志愿者观看一系列不同显示模式和剪辑类型的实验材料。参与者观看时同时记录脑电图(EEG)。主观结果表明VR模式反映了更高的负荷分数,特别是在努力维度。不同的剪辑类型对主观沉浸感分数没有影响。VR模式引发更强的EEG能量,差异集中在枕叶、顶叶和中央区域。在此基础上,进行了视觉诱发电位(VEP)分析,结果表明VR模式引发了更大的空间注意,而2D模式的剪辑引发了更强的语义更新和主动理解。此外,我们发现虽然两种显示模式下不同剪辑类型的效果相似,但交叉轴剪辑比连续性剪辑引发了更大的认知违规,这可以为未来VR电影剪辑技术的发展提供科学的理论支持。
摘要 — 非侵入式脑机接口 (BCI) 被广泛用于识别用户意图。特别是,与触觉和感觉解码相关的 BCI 可以在许多工业领域提供各种效果,例如制造先进的触摸显示器、控制机器人设备以及更具沉浸感的虚拟现实或增强现实。在本文中,我们介绍了基于触觉和感官知觉的 BCI 系统,称为神经触觉。这是使用实际触摸和触摸图像范例对各种场景进行的初步研究。我们设计了一个新颖的实验环境和一种可以在触摸指定材料时获取脑信号以产生自然的触觉和纹理感觉的设备。通过实验,我们收集了针对四种不同纹理物体的脑电图 (EEG) 信号。招募了七名受试者参加实验,并使用机器学习和深度学习方法评估分类性能。因此,我们可以确认在 EEG 信号上解码实际触摸和触摸图像以开发实用的神经触觉的可行性。 关键词-脑机接口;脑电图;触觉信息;触觉分析;触觉意象
摘要 — 交互式计算机系统的延迟是创建它们的组件固有的处理、传输和同步延迟的产物。在虚拟环境 (VE) 系统中,延迟会损害用户的沉浸感、身体表现和舒适度。准确测量 VE 系统的延迟以进行研究或优化并非易事。许多作者已经开发出表征延迟的技术,这些技术已逐渐变得更加容易获得和使用。在本文中,我们将描述这些技术。我们描述了一个简单的机械模拟器,旨在模拟具有各种延迟量的 VE,这些延迟量可以精细控制(在 3 毫秒以内)。我们开发了一种称为自动帧计数的新延迟测量技术,以帮助使用高速视频(在 1 毫秒以内)评估延迟。我们使用机械模拟器来测量 Steed 和 Di Luca 测量技术的准确性,并提出可以改进的地方。我们使用这些方法来测量 VE 工程师可能感兴趣的许多交互式系统的延迟,并且非常有信心。所有技术都表现出色,但 Steed 的方法既准确又易于使用,不需要专门的硬件。
摘要 力反馈被认为是虚拟现实 (VR) 的下一个前沿。最近,随着消费者对无线 VR 的推动,研究人员放弃了基于笨重硬件(如外骨骼和机械臂)的解决方案,开始探索更小的便携式或可穿戴设备。然而,在渲染惯性力时,例如移动重物或与具有独特质量特性的物体交互时,当前不接地的力反馈设备无法提供快速的重量转移感觉,无法真实模拟 2D 表面上的重量变化。在本文中,我们介绍了 Aero-plane,一种基于两个微型喷气螺旋桨的力反馈手持控制器,可以在 0.3 秒内渲染高达 14 N 的重量转移。通过两项用户研究,我们:(1)描述用户在使用我们的设备时感知和正确识别虚拟平面上不同运动路径的能力; (2)测试了控制器在两个 VR 应用程序(飞机上的滚动球和使用不同形状和大小的厨房工具)中使用时的真实度和沉浸感。最后,我们展示了一组应用程序,进一步探索我们设备的不同使用情况和替代外形尺寸。
摘要 — 交互式计算机系统的延迟是创建它们的组件固有的处理、传输和同步延迟的产物。在虚拟环境 (VE) 系统中,延迟会损害用户的沉浸感、身体表现和舒适度。准确测量 VE 系统的延迟以进行研究或优化并非易事。许多作者已经开发出表征延迟的技术,这些技术已逐渐变得更加容易获得和使用。在本文中,我们将描述这些技术。我们描述了一个简单的机械模拟器,旨在模拟具有各种延迟量的 VE,这些延迟量可以精细控制(在 3 毫秒以内)。我们开发了一种称为自动帧计数的新延迟测量技术,以帮助使用高速视频(在 1 毫秒以内)评估延迟。我们使用机械模拟器来测量 Steed 和 Di Luca 测量技术的准确性,并提出可以改进的地方。我们使用这些方法来测量 VE 工程师可能感兴趣的许多交互式系统的延迟,并且非常有信心。所有技术都表现出色,但 Steed 的方法既准确又易于使用,不需要专门的硬件。
01 信号处理技术进步 02 便携式脑电图设备,可随时测量 03 呼吸和决策 04 定制智能可穿戴设备的数字化制造 05 下一代可穿戴运动传感器 06 用于持续监测运动员的生物传感器 07 Xsensio:用于进行传统传感器无法企及的生理测量 08 用于汗液分析的柔性贴片 09 测量职业网球运动员的感知能力 10 了解线粒体功能及其对运动员表现的影响 11 Inyu:一种用于分析人体整体健康状况的便携式系统 12 新型计算机模型可估算不同步行方式的能量 13 将智能可穿戴设备与云端机器学习相结合,开发预防保健系统 14 评估个人对压力的反应 15 通过食物调节我们的动力 16 DiMo:运动、健身和健康领域的数字运动 17 使用客观信息预防伤害 18 STill:支持心理健康的沉浸式身体体验19 设计如何增强自我沉浸感
开发能够增加日常治疗强度和时间以及提高患者积极性和兴趣的康复技术是科学研究的重点领域。到目前为止,将康复和临床方案与机器人、辅助设备、神经假体、脑机接口甚至智能手机或平板电脑应用程序等不同技术相结合已经取得了积极的成果[1]。最近,来自神经科学、心理学、医学、神经康复和运动康复的越来越多的科学证据表明,虚拟现实 (VR) 可能是康复不同疾病的最佳解决方案。事实上,由于其技术特性(即高生态效度、与其他医疗设备的智能接口、真实生活体验的 3D 模拟、用户与虚拟环境之间的自然交互)及其对人类感知和行为的强大影响,VR 为实现下一代认知/运动治疗和临床应用开辟了道路[2]。然而,尽管人们在这一主题上做出了许多努力,但对 VR 在康复和临床应用中的功效的清晰理解仍然遥遥无期。主要问题之一源于文献中术语的不当使用,其中“VR”一词通常用于描述不完全满足 VR 规范的技术(即,仅仅显示在显示器上的严肃游戏或视频游戏)。因此,更好地澄清术语以区分 VR 技术的两个方面,即沉浸式和非沉浸式 VR 非常重要。根据 Slater [3] 的说法,沉浸感由连接到系统的用户感觉和运动通道的数量和范围决定,并通过在整个系统中组合不同的技术来生成,该系统能够根据用户的头部和身体的运动实时传递变化的视觉信息,就像他/她处于等效的物理环境中一样 [3、4]。因此,在非沉浸式 VR 系统中,虚拟环境显示在标准计算机显示器上,交互仅限于使用鼠标、操纵杆或遥控器,而在沉浸式 VR 系统中(通常由新一代头戴式显示器或 Cave 自动虚拟环境系统 (CAVE) 构成),用户“被 3D 计算机生成的图像所包围”,可以使用自己的身体与虚拟环境进行自然的感觉运动交互。重要的是,证据表明,沉浸式 VR 能够引起临场感,即在虚拟环境中产生强烈的“身临其境”的感觉 [ 4 ],这种感觉让人能够以逼真的方式对虚拟刺激做出反应,并引发生理反应,就好像主体身处真实地点一样 [ 4 – 6 ]。先前的研究结果表明,存在感是虚拟环境中引发真实情绪的必要介质 [ 5 ],可以激活感觉运动整合的大脑机制和调节集中注意力的大脑网络 [ 7 ]。此外,研究表明,与沉浸感较低的 2D 虚拟现实相比,完全沉浸式虚拟现实更能引发存在感,而且重要的是,存在感可以影响虚拟治疗的有效性 [ 8 ],
摘要 — 交互式计算机系统的延迟是创建它们的组件固有的处理、传输和同步延迟的产物。在虚拟环境 (VE) 系统中,延迟会损害用户的沉浸感、身体表现和舒适度。准确测量 VE 系统的延迟以进行研究或优化并非易事。许多作者已经开发出表征延迟的技术,这些技术已逐渐变得更加容易获得和使用。在本文中,我们将描述这些技术。我们描述了一个简单的机械模拟器,旨在模拟具有各种延迟量的 VE,这些延迟量可以精细控制(在 3 毫秒以内)。我们开发了一种称为自动帧计数的新延迟测量技术,以帮助使用高速视频(在 1 毫秒以内)评估延迟。我们使用机械模拟器来测量 Steed 和 Di Luca 测量技术的准确性,并提出可以改进的地方。我们使用这些方法来测量 VE 工程师可能感兴趣的许多交互式系统的延迟,并且非常有信心。所有技术都表现出极高的性能,但 Steed 的方法既准确又易于使用,不需要专门的硬件。
过去两年,学术界和业界对移动/无线虚拟现实 (VR)、混合现实 (MR) 和增强现实 (AR) 产生了前所未有的兴趣。VR 能够让用户沉浸其中,从而创造出下一代娱乐体验,MR 和 AR 则有望增强用户体验,让终端用户可以从智能手机屏幕上抬起头来。5G 包含三个服务类别:增强移动宽带 (eMBB)、大规模机器类型通信 (mMTC) 以及超可靠和低延迟通信 (URLLC)。移动 VR、MR 和 AR 应用在很大程度上是针对特定用例的,它们处于 eMBB 和 URLLC 的交叉点,寻求在延迟限制下统一向终端用户传输多 Gbps 的数据。众所周知,低延迟和高可靠性是相互冲突的要求 [1]。超可靠性意味着为用户分配更多资源以满足高传输成功率要求,这可能会增加其他用户的延迟。需要智能网络设计来实现互联 VR/AR 的愿景,其特点是服务流畅可靠、延迟最小、无缝支持不同的网络部署和应用要求。
到目前为止,游戏平台一直处于元宇宙应用的前沿,但各公司也在开发其他娱乐和商业应用程序。6 据估计,全球元宇宙的收入机会在 2024 年可能接近 8000 亿美元,而 2020 年约为 5000 亿美元。7 此外,有人预计,到 2031 年,元宇宙将为全球国内生产总值 (GDP) 贡献超过 3 万亿美元。8 根据世界经济论坛的估计,15% 的数字经济已经转向元宇宙,预计到本世纪末,以游戏和电子商务为主导的元宇宙活动将覆盖全球 7 亿人。9 市场专业人士还指出,鉴于未来几代投资者对数字参与的需求可能会增加,金融机构未来有很大机会投资和参与元宇宙。10 事实上,几家大型金融机构表示,他们已经开始探索元宇宙,以构建更具沉浸感的在线环境,与下一代客户互动并增强其运营。 11 世界各国的政府机构(以及国际组织)也开始关注元宇宙,包括评估其可能性、伴随的风险以及对金融业的潜在影响。12