摘要 - 认知理论在设计人类计算机界面和沉浸式系统时会为我们的决策提供信息,使我们能够研究这些理论。这项工作通过使用经典可视化问题研究内部和外部用户行为来探讨沉浸式环境中的感官过程:视觉比较和聚类任务。我们开发了一个沉浸式系统来执行用户研究,从不同的渠道收集用户行为数据:用于捕获外部用户互动的AR HMD,功能性近红外光谱(FNIRS)用于捕获内部神经序列以及用于参考的视频。为了检查感官,我们评估了界面的布局(平面2D与圆柱3D布局)以及任务的挑战水平(低认知负荷)的挑战水平如何影响用户的交互,这些交互作用如何随时间变化以及如何影响任务绩效。我们还开发了一个可视化系统,以探索所有数据通道之间的关节模式。我们发现,增加的相互作用和脑血液动力学反应与更准确的性能有关,尤其是在认知要求的试验上。布局类型没有可靠地影响交互作用或任务性能。我们讨论了这些发现如何为沉浸式系统的设计和评估提供信息,预测用户绩效和互动,并从体现和分布式认知的角度提供有关感官的理论见解。
主要关键词