机构名称：
¥ 1.0
虚拟现实（VR）的进步减少了用户的经验不同。但是，现实与虚拟性之间的差距持续存在，这些任务需要以微妙的方式将用户的多模式物理技能与虚拟环境结合在一起。当物理性感觉不真实时，在VR EASILY中断中的用户实施例，尤其是当用户调用其天生的偏爱以触摸和操纵他们遇到的事物时。在这项研究中，我们研究了力量意识到的VR接口的潜力，可以使自然连接与用户物理学，并在高技能触摸案例中对其进行评估。将表面肌电图（SEMG）与视觉跟踪相结合，我们开发了一个基于端到端学习的系统，势力，从其前臂SEMG信号中解码用户的灵活的手指力，以直接在标准VR管道中使用。这种方法消除了对手持式触觉设备的需求，从而促进了自然实施。一系列有关VR中的操纵任务的用户研究，该势力比替代解决方案更准确，更健壮和直观。两个概念证明VR应用程序，书法和钢琴演奏，证明了Vi-Sual，听觉和触觉方式之间的良好协同作用，因为ForceSense提供了提高用户在VR中的任务学习表现的潜力。我们的源代码和受过训练的模型将在https：// github上发布。com/nyu-icl/vr-force-aware-multimodal-Interface。
灵巧的手指力吸引VR接口
主要关键词
相关文件推荐
