评估人机交互 (HRI) 对于理解机器人为日常生活带来的价值至关重要。本文研究了机器学习分类技术在 HRI 期间解释生理信号的稳健性,考虑到机器人行为可能引起的伪影。通过一项涉及三个认知努力水平的 30 名参与者的用户研究探讨了这一现象。本研究使用了各种生理传感器,包括脑电图 (EEG)、光电容积描记法 (PPG) 和皮电活动 (EDA)。结果表明,EEG 和 PPG 信号受到机器人引起的噪声的影响,而 EDA 则不受影响。通过改变预处理参数,EEG 也被清除了机器人噪声,并且表现出比 EDA 更好的性能。该研究强调了仔细选择信号、平衡稳健性和信息量的重要性,并强调了预处理对于确保准确分类与用户心理状态相符的重要性。
生理参数的测量提供了一种客观的、通常是非侵入性的、(至少是半)自动的用户行为评估和利用方法。此外,虚拟现实 (VR) 的特定硬件设备通常附带内置传感器,即眼动追踪和运动传感器。因此,生理测量和 VR 应用的结合似乎很有前景。已有多种方法研究了这种组合对各种应用领域的适用性和好处。然而,可能的应用领域范围,加上潜在有用和有益的生理参数、传感器类型、目标变量和因素以及分析方法和技术是多种多样的。本文对 VR 中生理测量的使用情况进行了系统概述和广泛的最新回顾。我们确定了 1,119 项在 VR 中使用生理测量的作品。在这些作品中,我们确定了 32 种专注于对 VR 应用中常见的体验特征进行分类的方法。本综述的第一部分根据应用领域(即治疗、培训、娱乐、交流和互动)以及生理参数测量的特定目标因素和变量对 1,119 篇作品进行了分类。附加类别总结了适用于所有特定应用领域的通用 VR 方法,因为它们针对的是典型的 VR 品质。在本综述的第二部分,我们分析了用于自动分析和潜在分类的各自方法的目标因素和变量。例如,我们重点介绍了哪些测量设置已被证明足够敏感,可以区分虚拟领域中不同程度的唤醒、效价、焦虑、压力或认知工作量。这项工作可能对所有想要在 VR 中使用生理数据并希望很好地了解以前采用的方法、它们的优点和潜在缺点的研究人员有用。
工作记忆等执行性认知功能决定了各种不同认知任务的成败,如解决问题、导航或规划。通过从神经生理或心理生理信号估计工作记忆负荷或记忆容量等结构,自适应系统可以对操作员经历的认知状态作出反应,并触发旨在支持任务执行的响应(例如,当受试者超负荷时简化辅导系统的练习 Gerjets et al., 2014 ,或关闭来自手机的干扰)。确定工作记忆负荷等认知状态也可用于自动测试/评估或可用性评估。虽然目前有大量关于工作记忆活动等认知功能的神经和生理相关性的研究,但很少有出版物涉及将这些研究应用于复杂、现实场景中的单次试验检测和实时估计认知功能。基于脑活动测量的单次试验分类器,例如脑电图 (EEG, Kothe and Makeig, 2011; Lotte et al., 2018)、功能性近红外光谱 (fNIRS, Putze et al., 2014; Herffi et al., 2015)、生理信号 (Fairclough et al., 2005; Fairclough, 2008) 或眼动追踪 (Putze et al., 2013),有可能对情感 (Koelstra et al., 2010; Heger et al., 201
压力和疲劳在护理文献中交替使用,从而导致操作化和测量问题。进行了范围界定审查,以确定这些结构的不同定义和操作化。研究结果可用于开发工具来测量压力和疲劳作为不同的结构,以帮助护理管理人员从新的角度了解护理计划、工作量、护士的士气和幸福感。研究结果表明,在护理急性压力测量方面存在研究空白,生理测量目前尚未用于持续评估护士的压力或疲劳,并且缺乏用于评估目的的生理测量方面的压力和疲劳定义。可以使用连续监测和心率等生理测量来测量和区分压力和疲劳的结构
随着驾驶功能越来越自动化,驾驶员面临着认知脱离驾驶过程的风险。心理生理测量可能提供仅通过行为或自我报告测量无法获得的附加价值。本文选择性地回顾了可用于评估真实驾驶环境中认知状态的心理生理测量。首先,讨论了心理生理测量在交通安全背景下的重要性。接下来,最常用的基于生理的认知状态指标被视为与驾驶研究相关的潜在候选指标。这些指标包括:脑电图和事件相关电位、光学成像、心率和心率变异性、血压、皮肤电导率、肌电图、热成像和瞳孔测量。对于每一项测量,都提供了概述,然后讨论了在驾驶环境中测量它的方法。根据最近的实证驾驶和心理生理研究,讨论了每一项测量的相对优势和局限性,以突出每一项测量的独特价值。考虑了从实验室到(不太可预测的)真实驾驶环境的有效可靠量化挑战和建议。最后,我们讨论了可能更适合近乎实时评估驾驶员认知状态的措施,这些措施可以在实验室外的应用环境中使用
当想要监测注意力投入时,生理信号可能很有价值。一种流行的方法是使用监督学习模型来揭示生理信号和注意力投入之间的复杂模式,但通常不清楚哪些生理测量最适合用于此类模型,而且收集足够的具有可靠基础事实的训练数据来训练此类模型非常具有挑战性。除了在训练模型中使用个体参与者和特定事件的生理反应之外,人们还可以连续确定多个个体的生理测量值的均匀变化程度,这通常称为生理同步。由于文献中指出大脑活动的生理同步性和注意力投入之间存在直接的比例关系,因此不需要训练模型来将两者联系起来。我的目标是通过将脑电图 (EEG)、皮肤电活动 (EDA) 和心率结合成一个生理同步的多模态指标,来创建一个更可靠的群体注意力投入测量方法。我在当前的研究提案中提出了三个主要研究问题:1)中枢和周围神经系统的生理测量中的生理同步性与注意力投入有何关系?2)生理同步性是否可靠地反映了现实世界用例中的共享注意力投入?3)如何融合这些生理测量以获得优于单峰同步性的多峰生理同步度量?
情绪感知的诸多方法包括:压力下的手机交互行为分析[12]、情绪与智能手机使用之间的相关性[11]),无论是从开展研究还是构建情绪感知应用的角度。在各种不同的情绪感知方法中 [17],最广泛使用的情绪测量方法是主观经验的自我报告[13]。这要求参与者意识到自己经历过的情绪,并通过评定量表准确地反映他们的现象意识[13]。虽然自我报告被认为是收集真实数据的黄金标准[17],但自我报告容易出现不准确性;因此,如何客观测量人类情绪的问题仍然没有答案[4]。研究人员试图使用生理测量[15],如脑电图 (EEG)、心电图 (ECG)、体温和皮肤电活动 (EDA) 来客观地量化人类的认知状态。另外,许多方法是基于视觉或音频的方法(例如面部表情和声音)。在这里,生理测量有助于理解情绪状态,因为它们代表了无法轻易控制或隐藏的非自愿反应[16]。然而,由于需要不断监测生理测量,隐私受到威胁[10,15]。特别是,情感计算研究人员现在依赖于非侵入性、随时可用且多功能的可穿戴设备来收集各种类型的生理数据(参见[2,18])。测量生理信号是实时提取用户情绪的第一步。下一个挑战是如何分析和解释这个数据流。在本文中,我们确定了使用可穿戴传感器进行情绪感知的挑战和未来方向。我们首先总结了最近被研究人员广泛用于情绪感知的现有可穿戴传感器。然后,我们强调了有望有益于可穿戴情绪感知研究的未来方向。
Biodex步态训练仪3是用于测量功能步态的评估工具。它是一种多功能产品,为特定步态参数的客观测量以及动力学,本体感受能力和神经肌肉控制的生理测量提供了能力。它旨在用作训练工具,以协助步态速度,平均步骤周期时间,平均步长,变异的平均成绩以及每只脚的时间。
接下来的三章重点讨论与幼儿语言技能特别相关的评估和干预问题。Vandervelden 和 Siegel 提出了一个发展理论框架,用于评估早期语音处理,特别是学习阅读和写作。他们解决了评估语音处理技能的概念和方法挑战。回顾了学习字母文字的基本语音处理能力和语音处理,包括语音重新编码、音素意识、任务多样性和字母知识。介绍了在评估幼儿时代表这种发展方法的任务示例。强调早期评估的必要性,因为它对于提供成功设计特定课程所需的相关信息至关重要。Molfese、Tan、Sarkari 和 Gill 采取了一种理论上相似但方法上不同的方法来评估幼儿的语言技能。介绍了使用出生时获得的电生理测量来预测和评估语言技能的研究。回顾了语音辨别、语音意识和正字法技能的发展。本文探讨了诱发反应电位对后期语言评估的预测能力背后的机制。结论是,需要使用电生理测量和行为测量来识别有语言问题风险的儿童,并可将其作为监测干预训练进展的成功工具。