近年来,人们对神经科学和人机交互 (HCI) 中的多模态实验越来越感兴趣,这些实验通常涉及闭环交互系统。许多新兴范式在扩展现实 (XR) 环境中找到了新的根源,包括虚拟现实 (VR) 和增强现实 (AR)。此类实验越来越多地融合多种模态并结合不同的生理测量。例如,一个传感器可以生成事件以从其他传感器中提取有意义的数据间隔,例如注视相关电位 (FRP) 研究,其中 EEG 时期锁定到眼动仪的视觉注视(Nikolaev 等人,2016 年)。还可以组合多种生理信号以增强其预测能力,以用于从情绪识别(He 等人,2020 年;Koelstra 等人,2011 年)到通过感觉运动节律进行运动驱动(Sollfrank 等人,2016 年)等应用。此外,多模态范式可以促进探索不同的生理系统如何相互作用;例如,瞳孔扩张可作为通过功能性磁共振成像(fMRI;Murphy 等人,2014)测量的蓝斑活动的替代。