XiaoMi-AI文件搜索系统
World File Search Systememotion
使用正则图的基于EEG的情绪识别...
摘要 - 电脑摄影（EEG）通过电极测量不同大脑区域的神经元活性。许多关于基于脑电图的情绪识别的现有研究并不能完全利用脑电图通道的拓扑。在本文中，我们提出了一个正规化的图形网络（RGNN），以用于基于EEG的情绪识别。rgnn认为不同大脑区域之间的生物拓扑结构是在不同的脑电图通道之间捕获局部和全球关系。特别是，我们通过图神经网络中的邻接矩阵对脑电图中的通道间关系进行建模，在图神经网络中，邻接矩阵的连接和稀疏性受到人脑组织的神经科学理论的启发。此外，我们提出了两个正规化器，即节点的对抗训练（NODEDAT）和情绪感知的分布学习（EmotionDL），以更好地处理跨主题的EEG EEG变化和嘈杂的标签。在两个公共数据集（种子和种子IV）上进行了广泛的实验，在大多数实验环境中表明，与最先进的模型相比，我们的模型的性能优越。此外，消融研究表明，所提出的邻接矩阵和两个正则化器为我们的RGNN模型的性能贡献了一致且显着的增益。最后，对神经元活动的调查揭示了基于脑电图的情绪识别的重要大脑区域和通道间关系。
通过定量面部运动分析实时情绪检测
准确评估人类思想内部状态的能力仍然是现代神经科学的巨大挑战之一。近年来，大量研究致力于发现识别情绪和情绪的新方法。在情绪障碍研究领域中，有许多工具可以在心理上评估情绪。Some are inven- tories, such as the Patient Health Questionnaire-9 (PHQ-9) [ 1 ], the Remission Evaluation and Mood Inventory Tool (REMIT) [ 2 ], and the Ecological Momentary Assessment (EMA) [ 3 ], while others are symptom scales, including the Hamilton Rating Scale for Depression (HAM-D) [ 4 ], the Montgomery-Asburg Depression Rating Scale (MADRS) [ 5 ], and the Young躁狂评级量表（YMRS）[6]。这些工具有助于评估患有抑郁症或躁狂症状的人的情绪障碍，但是通过自我报告或观察者评估方法，它们的有效性和可靠性在很大程度上损害了[7-10]。此外，对情绪的神经生物学机制的研究需要基于调查的工具的时间精度。同样适用于情绪。现有量表的主观性因此，对情绪和情感状态的客观度量产生了需求。以前的客观情感评估尝试采用生物信号检测作为区分情绪的一种手段。某些措施已针对压力反应和情绪困扰的生理标记，例如面部皮肤温度或颜色的变化[11-13]。一个多世纪以前，威廉·詹姆斯（William James）观察到情感状态通常反映在面部运动中（“。其他研究研究了现有的诊断工具，例如心电图[14]，脑电图[15]和肌电图（EMG）[16，17]。最近，健身追踪器和智能手表等可穿戴生物传感器技术的扩散产生了另一种潜在的卧床情绪评估工具[18，19]。分析此类设备提供的身体传感数据的广泛分析可能有助于理解情绪和情感的机械基础。然而，与基于传统问卷的方法相比，这些措施的有效性和可靠性尚未得到解决。面部也许是实时情感评估的最有希望的途径。。。[]脖子弯曲，头部悬挂着（悲伤的“鞠躬”），脸颊和下巴毛刺的放松使脸看起来长而狭窄，下巴甚至可能睁开，眼睛看起来很大”）[20]。从那时起，开发了将面部运动与潜在情绪状态相关联的方法[21 - 23]。由埃克曼（Ekman）和弗里森（Friesen）普及，面部动作编码系统（FACS）根据创建它们的动作单元（肌肉或肌肉群）编码面部运动。该系统在以下前提下起作用，即通过面部运动的情绪代表在文化和人民之间得到保存[24]。其他研究使用面部EMG检测面部表达的有目的变化[25]，以及对情感触摸的反应[26]。中央因此，对面部运动的定量分析可能为研究情绪和情绪状态提供了有趣的方式。已经开发了几种基于参与者的视频记录，包括中央差异方法[27]，已经开发了几种方法来测量动态面部特征。
使用转移学习从脑电图检测
摘要 - 使用电解图（EEG）对情绪的检测是脑部计算机内部的关键领域，并且在诸如Reha-Bilitation和Medicine等领域具有宝贵的应用。在这项研究中，我们采用了转移学习来克服基于EEG的情绪检测中数据可用性有限的挑战。本研究中使用的基本模型是RESNET50。此外，我们在基于EEG的情绪检测中采用了一种新颖的功能组合。该模型的输入是图像矩阵的形式，该图像矩阵分别包含平均相位相干性（MPC）和宏观平方相干性（MSC），分别包括三角形和下三角矩阵。我们通过将从差分熵（DE）获得的特征纳入对角线来进一步提高了技术，该特征以前几乎没有对情绪进行分类的信息。这项研究中使用的数据集，种子脑电图（62通道脑电图），包括三个类（正，中性和负）。我们计算了与受试者无关和主体依赖性的能力。使用10倍的交叉验证方法获得了受试者依赖性的精度，为93.1％，而独立于主题的分类是通过采用遗留对象 - 受试者（LOSO）策略来进行的。与受试者无关的分类中所具有的准确性为71.6％。这两个精度至少是分类3类的机会准确性的两倍。研究发现，在基于EEG的情绪检测中使用MSC和MPC进行了情绪分类。这项工作的未来范围包括使用数据增强技术，增强的分类器以及更好的情感分类功能。索引项 - 脑计算机界面，情绪检测，转移学习，脑电图，平均相干性，幅度平方相干性，种子EEG
增强了带有面部情感检测的AI机器人-Ijarcce
摘要：自然语言处理（NLP）的一种重要应用是对情绪的认识。该项目的主要目的是开发一个可以根据用户当前的情感状况进行对话的机器人。此机器人可以通过获取面部表达并根据先前训练的模型使用数据集来检测用户的情绪。通常，聊天机器人或任何其他机器人都不会以任何方式考虑用户情感。如果他们想考虑机器人只会询问用户情绪的情绪，则用户应该指定情感，这可能会操纵用户的原始情感。在此项目中，情感是从用户的面部表达中捕获的，用户可以用任何语言（在项目中提到）与系统通信，并且用户可以期望在不同的语中以相同的语言响应。关键字：CNN，NLP，NLTK，Django，语音识别，语音合成。
基于人工智能的感知儿童情绪的移动应用程序
摘要。孩子们会经历各种各样的情绪，如快乐、悲伤和恐惧。有时，孩子们可能很难表达自己的情绪。检测和理解儿童未表达的情绪对于满足他们的需求和预防心理健康问题非常重要。在本文中，我们开发了一个基于人工智能 (AI) 的情绪感知识别应用程序 (ESRA)，帮助家长和老师通过分析孩子的画作来了解孩子的情绪。我们从多哈的一所当地学校收集了 102 幅画作，从谷歌和 Instagram 收集了 521 幅画作。使用这两个数据集的组合进行了四个不同的实验。使用 Python 中的 Fastai 库训练深度学习模型。该模型将绘画分为积极或消极情绪。在四个实验中，模型准确率在 55% 到 79% 之间。这项研究表明，ESRA 具有识别儿童情绪的潜力。然而，底层算法需要使用更多的图画进行训练和评估，以提高其当前的准确性并能够识别更具体的情绪。
MGEED：多模态真实情绪和表情检测数据库
摘要 — 近年来，多模态情绪识别引起了学术界和工业界越来越多的关注，因为它能够使用各种模态（如面部表情图像、语音和生理信号）进行情绪检测。尽管该领域的研究发展迅速，但由于难以捕捉自然和细微的面部表情信号（如眼肌电图 (OMG) 信号），创建包含面部电信息的多模态数据库仍然具有挑战性。为此，我们在本文中介绍了一个新开发的多模态真实情绪和表情检测 (MGEED) 数据库，这是第一个包含面部 OMG 信号的公开数据库。MGEED 包含 17 个受试者，拥有超过 150K 张面部图像、140K 张深度图和不同模态的生理信号，包括 OMG、脑电图 (EEG) 和心电图 (ECG) 信号。参与者的情绪由视频刺激引起，数据由多模态传感系统收集。利用收集的数据，开发了一种基于多模态信号同步、特征提取、融合和情绪预测的情绪识别方法。结果表明，通过融合视觉、EEG 和 OMG 特征可以获得优异的性能。数据库可从 https://github.com/YMPort/MGEED 获取。
使用多模态信号通过预训练 Transformer 进行情绪识别
我们使用 Transformer [10] 来处理生理信号。Transformer 最初是为自然语言处理 (NLP) 任务开发的，目的是处理单词序列。鉴于生理信号是值序列，Transformer 可以适用于生理信号处理 [11]。Transformer 采用学习到的注意机制，根据上下文动态评分输入不同部分的相关性。基于注意的处理适合处理生理信号，因为根据任务和上下文，信号的某些部分可能比其他部分传达更多信息。使用 Transformer 的另一个好处是，我们可以从 BERT [12] 中描述的非常成功的预训练技术中受益，该技术是为 NLP 任务开发的，我们可以根据需要进行调整。这种预训练策略已成功应用于其他领域，如计算机视觉 [13]、语音处理 [14] 和情感计算 [15]。
视觉到脑电图跨模态知识提炼，实现持续情绪识别
视觉模态是当前连续情绪识别方法中最主要的模态之一。与视觉模态相比，EEG 模态由于其固有的局限性（例如主体偏见和低空间分辨率）而相对不太可靠。这项工作尝试利用来自视觉模态的暗知识来改善 EEG 模态的连续预测。教师模型由级联卷积神经网络-时间卷积网络 (CNN-TCN) 架构构建，学生模型由 TCN 构建。它们分别由视频帧和 EEG 平均频带功率特征输入。采用两种数据划分方案，即试验级随机分流 (TRS) 和留一主体剔除 (LOSO)。独立的老师和学生可以产生优于基线方法的连续预测，并且使用视觉到 EEG 跨模态 KD 进一步改善了预测，具有统计显著性，即 TRS 的 p 值 < 0.01 和 p 值 < 0。 05 用于 LOSO 分区。训练后的学生模型的显着性图显示，与活跃价态相关的大脑区域并不位于精确的大脑区域。相反，它来自各个大脑区域之间的同步活动。与其他波段相比，频率为 18 − 30 Hz 和 30 − 45 Hz 的快速 beta 和 gamma 波对人类情绪过程的贡献最大。代码可在 https://github.com/sucv/Visual _ to _ EEG _ Cross _ Modal _ KD _ for _ CER 获得。
使用机器学习的语音情感识别-IJRPR
由于它们的可及性和丰富的情感信息，听觉信号已取代面部表情，即使面部表情仍然提供了有用的提示，也将面部表情作为情感识别的主要方式。为了评估这些声明线索，研究人员研究了各种分类算法，包括众所周知的算法，例如支持矢量机（SVM），隐藏的马尔可夫模型，高斯混合物模型，神经网络和K-Neareart Neignbors（KNN）[4]。已经开发了许多技术来从语音中识别人类情绪。为了使用来自情感语音的声学特征来识别和分类情绪，这些技术依赖于训练数据集。大量研究研究了识别音频数据提取中情绪提示的过程。通常，此过程需要选择或创建情感语音语料库，然后艰苦地确定其先天性。然后，情绪分类基于这些提取的数据，这些数据可能包括韵律和光谱特征或两者兼有（请参阅图1）。该分类的精度主要取决于特征提取的有效性，促使学者研究各种方法，例如评估光谱，韵律或其合作融合。例如，为了完成准确的情绪分类，几项研究以组合方式将韵律能量特征与梅尔德频率sepstral系数（MFCC）合并。
