XiaoMi-AI文件搜索系统
World File Search System表情
一种 3D-CNNs 方法对用户表情进行分类
最近的研究表明，社交辅助机器人 (SAR) 可用于各种操作环境，在这些环境中，促进人机交互和建立融洽关系取决于引发积极感觉。不同的人以不同的方式表达和感受情绪，这一事实造成了巨大的偏见，即使借助人工智能技术，也很难识别和区分情绪。这是最大的挑战之一。使用客观指标而非主观指标（如生物信号）作为情绪特征鉴别器可以缩小这一差距。先前的研究调查了使用 EEG 测量对 HRI 中的情绪进行分类，方法是查看一系列分类方法，例如使用 MLP 模型和全局优化算法应用于支持向量机、随机森林、决策树、K 最近邻和深度神经网络等方法，应用于原始和派生信号特征（例如，效价、唤醒、PSD 等）。本文介绍了一种新方法，该方法采用 3D 卷积神经网络 (3D-CNN) 来处理从 EEG 获得的地形图。据我们所知，该方法尚未在该领域进行研究。所提出的模型实现了令人印象深刻的 99.2% 的分类准确率，成功区分了积极和消极情绪，并表明将 EEG 数据转换为图像可能是一种可行的解决方案，因为它允许使用更准确的分类模型。所提出的模型的结果与最佳的最先进的模型一致。
在面部，语音和身体表情自动处理过程中，特定于方式的大脑表示
情感科学中的一个核心问题，与其临床应用相关的问题是，不同刺激提供的情绪如何在大脑中体验和代表。遵循传统观点的情感信号是通过情感概念的帮助来认可的，这些概念通常用于精神状态和情感体验的描述，无论感觉方式如何。这种观点激发了人们在刺激类型（面部，身体，声音）和感觉起源（视觉，听觉）的变化中共享的大脑情绪的抽象表示。另一方面，情感信号诸如侵略性的手势，触发快速自动行为反应，这可能是在情绪的完全抽象表示之前或独立的。这对特定的情感信号辩护，这些信号只能通过动员方式和刺激特定的大脑表示而不依赖更高级抽象情绪类别来触发快速适应性行为。为了检验这一假设，我们在功能磁共振（fMRI）研究中向参与者提供了自然主义的动态情绪表达。专注于自动情绪处理和避开基于概念的情绪识别的避免，参与者执行了与刺激不同感官方式呈现的无关目标检测任务。通过使用多元分析来评估对不同刺激类型的神经活动模式，我们揭示了刺激类别和特定于情感信号的模态大脑组织。我们的发现与以下观点一致：在生态条件下，面部，身体和声音的情感表达在触发快速的适应性行为中可能具有不同的功能作用，即使从抽象的概念上看来，它们也可能体现出相同的情感。这对神经媒介学上的情感研究计划具有影响，该计划应从对面部，身体和语音表达在自然主义背景下如何发挥作用的详细行为观察开始。
有或没有脑外伤的人如何解读表情符号？感知效价、唤醒度和情绪表现的相似之处和差异
摘要 面部情感识别受损在创伤性脑损伤 (TBI) 后很常见，并且与不良的社会结果有关。我们探讨了 TBI 后表情符号所描绘的情感感知是否也会受损。50 名 TBI 参与者和 50 名未受伤的同伴生成了自由文本标签来描述表情符号所描绘的情感，并在九点评定量表上评定他们的情感效价和唤醒水平。我们比较了两组的情感效价和唤醒评级如何聚类，并检查了参与者用来描述表情符号的词语的一致性。情感评级的层次聚类在未受伤组产生了四个表情符号簇，在 TBI 组产生了三个表情符号簇。未受伤组有一个强烈正面和一个中等正面的簇，而 TBI 组只有一个正情感效价簇，未按唤醒程度区分。尽管簇数量存在差异，但两组表情符号评级的层次结构显着相关。大多数表情符号与患有和未患有 TBI 的参与者用来描述它们的词语高度一致。患有 TBI 的参与者对表情符号的感知与未受伤的同龄人相似，使用相似的词语来描述表情符号，并在效价维度上对表情符号的评分也相似。患有 TBI 的个体对少数表情符号的感知唤醒差异很小。总体而言，结果表明，基本识别过程无法解释患有 TBI 的成年人报告的计算机介导通信中的挑战。检查患有 TBI 的人在上下文中对表情符号的感知是进一步了解脑损伤后在计算机介导环境中的功能性交流的重要下一步。
MGEED：多模态真实情绪和表情检测数据库
摘要 — 近年来，多模态情绪识别引起了学术界和工业界越来越多的关注，因为它能够使用各种模态（如面部表情图像、语音和生理信号）进行情绪检测。尽管该领域的研究发展迅速，但由于难以捕捉自然和细微的面部表情信号（如眼肌电图 (OMG) 信号），创建包含面部电信息的多模态数据库仍然具有挑战性。为此，我们在本文中介绍了一个新开发的多模态真实情绪和表情检测 (MGEED) 数据库，这是第一个包含面部 OMG 信号的公开数据库。MGEED 包含 17 个受试者，拥有超过 150K 张面部图像、140K 张深度图和不同模态的生理信号，包括 OMG、脑电图 (EEG) 和心电图 (ECG) 信号。参与者的情绪由视频刺激引起，数据由多模态传感系统收集。利用收集的数据，开发了一种基于多模态信号同步、特征提取、融合和情绪预测的情绪识别方法。结果表明，通过融合视觉、EEG 和 OMG 特征可以获得优异的性能。数据库可从 https://github.com/YMPort/MGEED 获取。
颅内脑电图和深度神经网络揭示面部身份和表情表征的共同基础
根据面部感知的经典观点（ Bruce and Young, 1986 ; Haxby et al., 2000 ），面部身份和面部表情识别由不同的神经基质（分别为腹侧和外侧颞叶面部选择区域）执行。然而，最近的研究挑战了这一观点，表明表达效价也可以从腹侧区域解码（ Skerry and Saxe, 2014 ; Li et al., 2019 ），身份也可以从外侧区域解码（ Anzellotti and Caramazza, 2017 ）。如果专门负责一项任务（身份或表情）的区域包含另一项任务的少量信息（从而实现高于机会的解码），则这些发现可以与经典观点相一致。在这种情况下，我们预计侧面区域的表征与经过训练以识别面部表情的深度卷积神经网络 (DCNN) 中的表征更相似，而不是经过训练以识别面部身份的 DCNN 中的表征（对于腹侧区域，情况应该相反）。我们通过分析对不同身份和表情的面部的神经反应来检验这一假设。将从人类颅内记录（n = 11 名成年人；7 名女性）计算得出的表征相异矩阵 (RDM) 与经过训练以标记身份或表情的 DCNN 的 RDM 进行了比较。我们发现，在所有测试区域中，经过训练以识别身份的 DCNN 的 RDM 与颅内记录的相关性更强——即使在传统上假设专门用于表情的区域也是如此。这些结果偏离了传统观点，表明面部选择性腹侧和侧面区域有助于身份和表情的表征。
颅内脑电图和深度神经网络揭示面部身份和表情表征的共同基础
1 波士顿学院心理学系，美国马萨诸塞州波士顿 02467 16 2 卡内基梅隆大学和匹兹堡大学认知神经基础中心，宾夕法尼亚州匹兹堡 15213 18 3 卡内基梅隆大学神经科学研究所，宾夕法尼亚州匹兹堡 15213 19 4 卡内基梅隆大学机器学习系，宾夕法尼亚州匹兹堡 20 15213 21 5 匹兹堡大学医学中心神经外科系，宾夕法尼亚州匹兹堡 22 15213 23 6 麻省总医院神经外科系，马萨诸塞州波士顿 24 02144 25 7 哈佛医学院，马萨诸塞州波士顿 02115 26 8 匹兹堡大学神经科学中心，宾夕法尼亚州匹兹堡15213 27 ∗ 通讯作者 28 电子邮件：stefano.anzellotti@bc.edu (SA) 29 30 31 页数：35 32 图表数量：5 33 表格数量：1 34 多媒体数量：0 35 3D 模型数量：0 36 摘要字数：242 37 意义陈述字数：120 38 介绍字数：779 39 讨论字数：2093 40 利益冲突：作者报告没有利益冲突。 41 致谢：本研究得到了美国国家科学基金会职业资助 1943862（SA）、美国国立卫生研究院 R01MH107797 和 R21EY030297（AG）以及美国国家科学基金会 1734907（AG）的职业资助。我们要感谢参与 iEEG 实验的患者以及 UPMC 长老会癫痫监测部门的工作人员和管理人员对我们研究的协助和合作。我们感谢 Michael Ward 对数据收集的帮助。49
使用 Affectiva 软件区分脑外伤患者和非脑外伤患者的面部表情使用情况：一项初步研究
摘要：本研究调查了使用自动面部编码引擎 Affectiva（集成在 iMotions，版本 8.2 中）评估创伤性脑损伤 (TBI) 后面部表情的可行性。根据 TBI 患者和对照组参与者的视频中的面部表情数据进行了一项观察性横断面研究。目的是比较 TBI 组和对照组，并确定影响数据分析的混杂因素。使用 Affectiva 分析了来自十名严重 TBI 参与者和十名无 TBI 的对照组参与者的两个叙事任务（个人事件和故事复述）的视频样本。在组间和组内对参与者的参与度、微笑和皱眉的自动数据进行了统计比较。还记录了每个样本的定性注释。Affectiva 检测到 TBI 参与者在两个任务上的参与时间百分比高于对照组参与者。TBI 参与者在一项任务中的微笑时间百分比也更高。在组内，两个叙事任务之间没有显着差异。 Affectiva 提供有关面部表情的标准化数据，可能对检测 TBI 后面部表情使用的变化很敏感。本研究还确定了在视频录制过程中应避免的因素，以确保为未来研究提供高质量的样本。
用于基于视频的面部疼痛表情评估的深度图神经网络
自动疼痛评估可以定义为一组用于识别疼痛状态的计算机辅助技术。可靠有效的疼痛评估方法对于客观和持续监测无法口头交流的人的疼痛至关重要。在这项研究中，我们提出了一种通过分析面部表情来识别疼痛的新方法。更具体地说，我们评估了图神经网络 (GNN) 架构的有效性，该架构利用了一组自动跟踪受试者面部的基准点的固有图结构。在公开可用的数据集 BioVid 上进行的实验表明，与基线模型相比，所提出的方法在动作疼痛方面达到了更高的准确度，同时在自发性疼痛方面也超越了最先进的方法。
在类似工作环境中推断用户面部表情 | WorkingAge
摘要 —与快乐、悲伤、恐惧、愤怒、厌恶和惊讶这六种基本情绪不同，用效价（正性 - 负性）和唤醒（强度）来建模和预测维度情感已被证明对于自然和现实世界设置更灵活、适用和有用。在本文中，我们旨在推断用户在不同难度级别（基线、简单、困难和压力条件）下从事多项工作类任务时用户的面部情感，包括（i）办公室环境，他们从事一项体力要求较低但需要更大精神压力的任务；（ii）流水线环境，需要使用精细运动技能；（iii）代表远程办公和电话会议的办公室环境。为了这个目标，我们首先设计了一项具有不同条件的研究，并收集了 12 个受试者的多模态数据。然后，我们用各种机器学习模型进行了几项实验，发现：（i）面部表情的显示和预测在非工作环境和工作环境中有所不同；（ii）使用在类似工作环境中捕获的数据集可以提高预测能力；（iii）片段级（光谱表示）信息对于改善面部表情预测至关重要。索引术语——情感状态、类似工作的任务、工作环境中的情绪
面部表情线索整合过程中错误监测的神经元 θ 波特征
错误监控是一种元认知过程，通过这一过程，我们能够在做出反应后检测并发出错误信号。监控我们的行为结果何时偏离预期目标对于行为、学习和高阶社交技能的发展至关重要。在这里，我们使用脑电图 (EEG) 探索了面部表情线索整合过程中错误监控的神经基础。我们的目标是研究依赖于面部线索整合的响应执行之前和之后错误监控的特征。我们遵循中额叶 theta 的假设，认为它是错误监控的强大神经元标记，因为它一直被描述为一种发出认知控制需求的信号机制。此外，我们假设 EEG 频域分量可能有利于研究复杂场景中的错误监控，因为它携带来自锁定和非锁相信号的信息。应用了一个具有挑战性的 go/no-go 扫视范式来引出错误：需要整合面部情绪信号和凝视方向来解决这个问题。我们从 20 名健康参与者处获取了脑电图数据，并在反应准备和执行期间以 θ 波段活动水平进行分析。尽管 θ 调制在错误监控过程中一直得到证实，但它开始发生的时间尚不清楚。我们发现正确和错误试验之间中额通道的 θ 功率存在差异。错误反应后 θ 波段立即升高。此外，在反应开始之前，我们观察到了相反的情况：错误之前的 θ 波段较低。这些结果表明 θ 波段活动不仅是错误监控的指标（这是增强认知控制所必需的），也是成功的必要条件。这项研究通过在复杂任务中甚至在执行反应之前就揭示与错误相关的模式并使用需要整合面部表情线索的范例，为 θ 波段在错误监控过程中的作用增加了先前的证据。