自然,人类使用多种模式来传达信息。在人类大脑中,这些模式既按顺序处理,又并行处理,以进行交流,当人类与计算机交互时,这种情况会发生变化。使计算机能够以多模式处理输入是人机交互 (HCI) 的主要研究领域。技术的进步(强大的移动设备、先进的传感器、新的输出方式等)为研究人员设计允许多模式交互的系统开辟了新的途径。多模式输入取代传统的交互方式只是时间问题。本文介绍了多模式系统领域,解释了其简要历史,描述了多模式系统相对于单模式系统的优势,并讨论了各种模式。讨论了输入建模、融合和数据收集。最后,列出了多模式系统研究中的挑战。文献分析表明,与单模式系统相比,多模式界面系统提高了任务完成率并减少了错误。多模式交互的常用输入是语音和手势。对于多模态输入,研究人员更喜欢输入模态的后期整合,因为它可以轻松更新模态和相应的词汇。
主要关键词