摘要:本文对多模态人机交互进行了系统回顾。本文展示了不同类型的交互技术(虚拟现实 (VR) 和增强现实、力和振动反馈设备(触觉)和跟踪)在不同领域(概念、医学、物理、人为因素/用户体验设计、交通、文化遗产和工业)中的应用。进行了系统的文献检索,最初确定了 406 篇文章。从这些文章中,我们选择了 112 篇我们认为与本文内容最相关的研究作品。从时间模式、不同领域技术类型的使用频率和聚类分析的角度对文章进行了深入分析。通过分析,我们能够回答相关问题,以寻找与多模态 HCI 相关的工作的下一步。我们研究了典型的技术类型、技术类型和频率在每个领域随时间的变化,以及考虑到相似性,论文如何按指标分组。这项分析确定 VR 和触觉是所有领域中使用最广泛的。虽然 VR 是最常用的,但触觉交互在越来越多的应用中出现,这表明未来应研究将 VR 和触觉配置在一起的应用。
主要关键词