Loading...
机构名称:
¥ 1.0

摘要 — 近年来,多模态情绪识别引起了学术界和工业界越来越多的关注,因为它能够使用各种模态(如面部表情图像、语音和生理信号)进行情绪检测。尽管该领域的研究发展迅速,但由于难以捕捉自然和细微的面部表情信号(如眼肌电图 (OMG) 信号),创建包含面部电信息的多模态数据库仍然具有挑战性。为此,我们在本文中介绍了一个新开发的多模态真实情绪和表情检测 (MGEED) 数据库,这是第一个包含面部 OMG 信号的公开数据库。MGEED 包含 17 个受试者,拥有超过 150K 张面部图像、140K 张深度图和不同模态的生理信号,包括 OMG、脑电图 (EEG) 和心电图 (ECG) 信号。参与者的情绪由视频刺激引起,数据由多模态传感系统收集。利用收集的数据,开发了一种基于多模态信号同步、特征提取、融合和情绪预测的情绪识别方法。结果表明,通过融合视觉、EEG 和 OMG 特征可以获得优异的性能。数据库可从 https://github.com/YMPort/MGEED 获取。

MGEED:多模态真实情绪和表情检测数据库

MGEED:多模态真实情绪和表情检测数据库PDF文件第1页

MGEED:多模态真实情绪和表情检测数据库PDF文件第2页

MGEED:多模态真实情绪和表情检测数据库PDF文件第3页

MGEED:多模态真实情绪和表情检测数据库PDF文件第4页

MGEED:多模态真实情绪和表情检测数据库PDF文件第5页