情绪识别在人际交往中至关重要,因为它可以指导个体对他人的感受做出适当的反应(Dzedzickis 等人,2020 年;Li 等人,2021 年)。不幸的是,被诊断患有神经发育障碍的人往往难以感知和理解情绪,从而限制了他们与他人的互动(Livingston and Happé,2017 年)。帮助这些人的一个解决方案是利用当前人工智能 (AI) 的兴起来开发数据驱动的方法,能够从不同来源预测情绪,例如大脑和外周生物信号、面部表情、语音、文本等(Bota 等人,2019 年)。在这个研究主题中,我们通过展示七篇高质量的手稿来解决这个方向,这些手稿应用人工智能和机器学习 (ML) 从生理信号、图像或文本中识别情绪。我们的期刊与其他当代情绪识别相关文献不同,它包括了试图从不同来源识别情绪的论文,从而接近从不同角度预测情绪的共同目标。下面总结了关于这个主题的已发表研究论文,将其分为五个主要部分。
设计用户研究和收集数据对于探索和自动识别人类行为至关重要。目前可以使用一系列传感器来捕捉心率、大脑活动、皮肤电导率和各种不同的生理线索(Seneviratne 等人,2017 年)。这些数据可以组合起来,提供有关用户情绪状态(Dzedzickis 等人,2020 年;Egger 等人,2019 年)、认知负荷(Mangaroska 等人,2022 年;Vanneste 等人,2021 年)或其他因素的信息。然而,即使数据收集正确,同步来自多个传感器的数据也很耗时且容易出错。无法记录和同步数据可能会导致分析和结果出现错误,以及需要多次重复耗时的实验。为了克服这些挑战,Octopus Sensing 促进了从各种来源同步数据采集,并提供了一些用于设计用户研究、实时监控和离线数据可视化的实用程序。Octopus Sensing 的主要目的是提供一个简单的脚本界面,以便具有基本软件开发技能或没有软件开发技能的人能够更轻松地定义基于传感器的实验场景。
人们已经采用了多种方法来辨别人类的情绪,包括分析语音模式和语调( Moriyama 和 Ozawa,2003;Zeng 等人,2009)。然而,值得注意的是,这种身体状态很容易被操纵或模仿( Schuller 和 Schuller,2021)。面部表情及其变化通常用于情绪识别;然而,这些表情可以被个人有意修改,这对准确辨别他们的真实情绪提出了挑战( Aryanmehr 等人,2018; Dzedzickis 等人,2020; Harouni 等人,2022)。 EEG(脑电图)是一种通过测量大脑内集体神经活动产生的电压变化来监测大脑活动的技术(San-Segundo 等人,2019 年;Dehghani 等人,2020 年、2022 年、2023 年;Sadjadi 等人,2021 年;Mosayebi 等人,2022 年)。脑电图是大脑活动和功能的反映,具有多种应用,包括但不限于情绪识别(Dehghani 等人,2011a、b、2013;Ebrahimzadeh 和 Alavi,2013;Nikravan 等人,2016;Soroush 等人,2017、2018a、b、2019a、b、2020;Bagherzadeh 等人,2018;Alom 等人,2019;Ebrahimzadeh 等人,2019a、b、c、2021、2022、2023;Bagheri 和 Power,2020;Karimi 等人,2022;Rehman 等人,2022;Yousefi 等人,2022, 2023 年)。