通过视觉引导手部动作进行的计算机交互通常采用抽象的基于光标的反馈或不同程度真实感的虚拟手 (VH) 表示。目前尚不清楚在虚拟现实环境中更改这种视觉反馈的效果。在这项研究中,19 名健康的右撇子成年人使用四种不同类型的视觉反馈执行食指运动(“动作”)和观察运动(“观察”):简单的圆形光标 (CU)、指示手指关节位置的点光 (PL) 图案、阴影卡通手 (SH) 和逼真的 VH。使用数据手套记录手指运动,并以光学方式记录眼动追踪。我们使用功能性磁共振成像 (fMRI) 测量大脑活动。与基线相比,动作和观察条件均显示枕颞皮质中的 fMRI 信号响应更强。动作条件还会引起运动、体感、顶叶和小脑区域的双侧激活增加。对于这两种情况,带有移动手指的手部反馈(SH、VH)比 CU 或 PL 反馈导致更高的激活,特别是在早期视觉区域和枕颞皮质中。我们的结果表明,与视觉不完整的手部和抽象反馈相比,在视觉引导的手指运动过程中,皮质区域网络的募集更强。这些信息可能对研究和应用或训练相关范例中涉及人体部位的视觉引导任务的设计产生影响。
摘要 — 在虚拟环境中,视觉和触觉场景之间的空间差异会对用户的表现和体验产生负面影响。本文展示了在具有接触式触觉显示器的触觉增强虚拟系统中,由于姿势差异而导致的空间差异是如何发生的。为了缓解这个问题,我们提出了视觉引导,这是一种动态操纵视觉场景以补偿差异的算法。在涉及按钮按下任务和±150 mm 和±40 ◦ 之间的空间差异的一对研究中验证了该算法的有效性。实验结果表明,使用该技术的差异试验产生的错误率和速度峰值数量(代表目标运动的数量)与零空间差异试验中达到的相当。此结果也是在无需专门的适应或训练过程的情况下实现的,从而确保用户可以立即使用该算法。一对后续研究还表明,该算法对模拟器晕动症的主观评分影响不大,这表明偶尔使用该算法不会对用户对虚拟环境的体验产生负面影响。我们相信,本文提出的视觉引导算法可用于在结合遭遇式触觉显示的各种触觉训练应用中创造更有用、更引人注目的体验。
。CC-BY-NC-ND 4.0 国际许可,根据 未经同行评审认证)是作者/资助者,他已授予 bioRxiv 永久展示预印本的许可。它是 预印本的版权持有者(此版本于 2024 年 6 月 1 日发布。 ; https://doi.org/10.1101/2024.05.28.596351 doi:bioRxiv 预印本
爱荷华州立大学数字资源库中的爱荷华州立大学顶点课程、学位论文和博士论文免费向您提供本篇论文,供您开放访问。爱荷华州立大学数字资源库的授权管理员已接受本篇论文,将其纳入研究生学位论文和博士论文。如需更多信息,请联系 digirep@iastate.edu 。
摘要功率分销网络的检查和维护对于有效地向消费者提供电力至关重要。由于电源分配网络线的高电压,手动现场直线操作很难,有风险和不足。本文研究了一个具有自主工具组装功能的功率分配网络实时运营机器人(PDLOR),以替代各种高风险电气维护任务中的人。为了应对PDLOR的动态和非结构化工作环境中工具组装的挑战,我们提出了一个框架,该框架包括深层视觉引导的粗糙本地化以及先验知识以及模糊逻辑驱动的深层确定性策略梯度(PKFD-DPG)高级装配算法。首先,我们提出了基于Yolov5的多尺度识别和本地化网络,该网络使PEG-HOLE可以快速接近并减少无效的探索。第二,我们设计了一个主要的合并奖励系统,其中主线奖励使用事后的经验重播机制,而辅助奖励基于模糊的逻辑推理机制,解决了学习过程中无效的探索和稀疏奖励。此外,我们通过模拟和物理实验来验证提出算法的有效性和优势,并将其性能与其他组装算法进行比较。实验结果表明,对于单芯组装任务,PKFD-DPG的成功率比具有功能的奖励功能的DDPG高15.2%,比PD力控制方法高51.7%。对于多工具组装任务,PKFD-DPG方法的成功率比其他方法高17%和53.4%。
2017 年,团队首席研究员 Eugenia Chiappe 获得了 ERC 启动基金,以支持她的研究,以了解估计动物自身运动的神经回路功能和组织的基本原理,特别是在视觉引导运动的情况下。我们大脑的许多基本功能,从运动控制到导航等更具认知性的操作,都严重依赖于自我运动估计。在该资金的支持下,团队将研究哪些回路参与了这种表示,以及这些回路执行了哪些计算。此外,他们还将致力于确定产生这些计算的活动动态和机制。
图 1. a) PPO-4000 在膨胀(4 o C)和塌陷(15 o C)构象下的 MD 模拟快照。碳原子以青色表示,氧以红色表示,氢以白色表示。为清晰起见,未显示水。b) PPO-4000(蓝色圆圈)和 PPO-2000(红色三角形)水溶液的相对热容量 𝛥𝐶 𝑝 与温度的关系。显示曲线作为视觉引导。(插图)分子量为 a. 4000 b. 2000 c. 1000 d. 725 的 PPO 水溶液的实验量热曲线 [28]。
患者导航迷宫已由行业合作伙伴投资 80 万英镑建立,旨在评估基因疗法和设备等新疗法对功能性视力的影响。该设施提供 FDA 批准的临床试验措施,并吸引了超过 2000 万英镑的行业资金,为严重视力受损的成人和儿童提供实验医学研究项目。视觉引导移动性评估测量患者在模拟现实生活情况的不同光照条件下导航迷宫结构、避开障碍物的能力。
图 2. S-QD 样品的 2DES 测量。(a)S-QD 样品在选定的布居时间 t 2 值下纯吸收 2DES 图的演变(图已标准化为 1)。虚线指出了激发激光轮廓覆盖的 1S 电子跃迁的位置。(b)和(c)在对角线(18500, 18500 cm -1 )坐标(圆圈)和非对角线(18900, 17200 cm -1 )坐标(正方形)提取的衰减轨迹与 t 2 的关系。黑色:实验数据;红色:从全局拟合分析获得的拟合轨迹。振荡残基报告在下面板中。(d)和(e)分别对图 (b) 和 (c) 中显示的衰减轨迹进行时间频率变换拍频分析。在拍频 1000 cm -1 处绘制一条灰色虚线,作为视觉引导。
摘要 - 如今,机器人辅助手术培训越来越依赖于基于计算机的模拟。但是,这种培训技术的应用仍仅限于实践培训的早期阶段。为扩大模拟器的实用性,最近研究了多感官反馈增强。本研究旨在将视觉和触觉域中的初始预测(指导)和随后的基于错误的基于错误(反馈)训练增强结合起来。32名参与者通过使用DA Vinci Research套件的外科医生控制台进行了30项虚拟现实任务的重复。这些受训者被随机且平均分为四组:一组没有训练增强,而其他小组分别进行了视觉,触觉和视觉狂热的增强。结果表明,在所有实验组的对照组的任务完成功能中,最初是由指南引入的显着改进。在准确性方面,实验组在训练结束时表现优于对照组。特定的视觉引导和触觉反馈在误差减少中起着重要作用。对长期学习的进一步研究可以更好地描述这些感觉域中的指导和反馈的最佳组合。