评估人机交互 (HRI) 对于理解机器人为日常生活带来的价值至关重要。本文研究了机器学习分类技术在 HRI 期间解释生理信号的稳健性,考虑到机器人行为可能引起的伪影。通过一项涉及三个认知努力水平的 30 名参与者的用户研究探讨了这一现象。本研究使用了各种生理传感器,包括脑电图 (EEG)、光电容积描记法 (PPG) 和皮电活动 (EDA)。结果表明,EEG 和 PPG 信号受到机器人引起的噪声的影响,而 EDA 则不受影响。通过改变预处理参数,EEG 也被清除了机器人噪声,并且表现出比 EDA 更好的性能。该研究强调了仔细选择信号、平衡稳健性和信息量的重要性,并强调了预处理对于确保准确分类与用户心理状态相符的重要性。
工作记忆等执行认知功能决定了各种不同认知任务的成败,如解决问题、导航或规划。通过从神经生理或心理生理信号估计工作记忆负荷或记忆容量等结构,自适应系统可以对操作员经历的认知状态作出反应,并触发旨在支持任务执行的响应(例如,在受试者超负荷时简化辅导系统的练习 Gerjets et al., 2014 ,或关闭来自手机的干扰)。确定工作记忆负荷等认知状态对于自动测试/评估或可用性评估也很有用。虽然目前有大量关于工作记忆活动等认知功能的神经和生理相关性的研究,但很少有出版物涉及这类研究在复杂、现实场景中的单次试验检测和实时估计认知功能方面的应用。基于脑活动测量的单次试验分类器,例如脑电图 (EEG, Kothe and Makeig, 2011; Lotte 等人, 2018)、功能性近红外光谱 (fNIRS, Putze 等人, 2014; Herffiet al., 2015)、生理信号 (Fairclough 等人, 2005; Fairclough, 2008) 或眼动追踪 (Putze 等人, 2013),有可能根据短段数据对情感 (Koelstra 等人, 2010; Heger 等人, 2014; Mühl 等人, 2014) 或认知状态进行分类。为此,需要开发信号处理和机器学习技术并将其转移到现实世界的用户界面。这个前沿研究主题的目标是推动基于信号的认知过程建模的最新进展。我们对更复杂、更现实的研究设计特别感兴趣,例如在野外收集数据或调查相互作用
工作记忆等执行性认知功能决定了各种不同认知任务的成败,如解决问题、导航或规划。通过从神经生理或心理生理信号估计工作记忆负荷或记忆容量等结构,自适应系统可以对操作员经历的认知状态作出反应,并触发旨在支持任务执行的响应(例如,当受试者超负荷时简化辅导系统的练习 Gerjets et al., 2014 ,或关闭来自手机的干扰)。确定工作记忆负荷等认知状态也可用于自动测试/评估或可用性评估。虽然目前有大量关于工作记忆活动等认知功能的神经和生理相关性的研究,但很少有出版物涉及将这些研究应用于复杂、现实场景中的单次试验检测和实时估计认知功能。基于脑活动测量的单次试验分类器,例如脑电图 (EEG, Kothe and Makeig, 2011; Lotte et al., 2018)、功能性近红外光谱 (fNIRS, Putze et al., 2014; Herffi et al., 2015)、生理信号 (Fairclough et al., 2005; Fairclough, 2008) 或眼动追踪 (Putze et al., 2013),有可能对情感 (Koelstra et al., 2010; Heger et al., 201
生理参数的测量提供了一种客观的、通常是非侵入性的、(至少是半)自动的用户行为评估和利用方法。此外,虚拟现实 (VR) 的特定硬件设备通常附带内置传感器,即眼动追踪和运动传感器。因此,生理测量和 VR 应用的结合似乎很有前景。已有多种方法研究了这种组合对各种应用领域的适用性和好处。然而,可能的应用领域范围,加上潜在有用和有益的生理参数、传感器类型、目标变量和因素以及分析方法和技术是多种多样的。本文对 VR 中生理测量的使用情况进行了系统概述和广泛的最新回顾。我们确定了 1,119 项在 VR 中使用生理测量的作品。在这些作品中,我们确定了 32 种专注于对 VR 应用中常见的体验特征进行分类的方法。本综述的第一部分根据应用领域(即治疗、培训、娱乐、交流和互动)以及生理参数测量的特定目标因素和变量对 1,119 篇作品进行了分类。附加类别总结了适用于所有特定应用领域的通用 VR 方法,因为它们针对的是典型的 VR 品质。在本综述的第二部分,我们分析了用于自动分析和潜在分类的各自方法的目标因素和变量。例如,我们重点介绍了哪些测量设置已被证明足够敏感,可以区分虚拟领域中不同程度的唤醒、效价、焦虑、压力或认知工作量。这项工作可能对所有想要在 VR 中使用生理数据并希望很好地了解以前采用的方法、它们的优点和潜在缺点的研究人员有用。
随着驾驶功能越来越自动化,驾驶员面临着认知脱离驾驶过程的风险。心理生理测量可能提供仅通过行为或自我报告测量无法获得的附加价值。本文选择性地回顾了可用于评估真实驾驶环境中认知状态的心理生理测量。首先,讨论了心理生理测量在交通安全背景下的重要性。接下来,最常用的基于生理的认知状态指标被视为与驾驶研究相关的潜在候选指标。这些指标包括:脑电图和事件相关电位、光学成像、心率和心率变异性、血压、皮肤电导率、肌电图、热成像和瞳孔测量。对于每一项测量,都提供了概述,然后讨论了在驾驶环境中测量它的方法。根据最近的实证驾驶和心理生理研究,讨论了每一项测量的相对优势和局限性,以突出每一项测量的独特价值。考虑了从实验室到(不太可预测的)真实驾驶环境的有效可靠量化挑战和建议。最后,我们讨论了可能更适合近乎实时评估驾驶员认知状态的措施,这些措施可以在实验室外的应用环境中使用