摘要:在本文中,我们介绍了在人机交互 (HCI) 环境中获得的效果计算研究的多模态数据集。基于游戏化的通用范式,设计和实现了一个实验性的移动交互场景,用于诱导基于对话的 HCI 相关的情绪和认知负荷状态。它包含六个实验序列,分别是兴趣、超负荷、正常、简单、负荷不足和沮丧。每个序列之后都有主观反馈来验证诱导,还有呼吸基线来平衡生理反应,以及结果摘要。此外,在实验之前,从每个受试者那里收集了三份与情绪调节 (ERQ)、情绪控制 (TEIQue-SF) 和人格特质 (TIPI) 相关的问卷,以评估诱导范式的稳定性。基于这个 HCI 场景,生成了乌尔姆大学多模态效果语料库 (uulmMAC),它由两个同质样本组成,每个样本有 60 名参与者和 100 个录音会话。我们记录了 16 种传感器模式,包括 4 种视频、3 种音频和 7 种生物生理、深度和姿势流。此外,还收集了其他标签和注释。记录后,所有数据都经过后处理并检查技术和信号质量,最终得到 57 名受试者和 95 个记录会话的 uulmMAC 数据集。对报告的主观反馈的评估显示序列之间存在显著差异,与诱导状态非常一致,问卷分析显示结果稳定。总之,我们的 uulmMAC 数据库对有效计算和多模态数据分析领域做出了宝贵贡献:它是在接近真实 HCI 的移动交互场景中获得的,包含大量受试者并允许跨时间调查。通过主观反馈验证并检查质量问题,它可用于有效计算和机器学习应用。
主要关键词