466114,印度 摘要 人工智能中的情感识别代表了人机交互的一项关键进步,弥合了计算能力和人类情感表达之间的差距。本文研究了情感识别技术的现状,包括面部表情分析、语音模式识别、生理信号处理和多模态方法。它分析了印度公众对情商和人工智能整合的态度,强调了对技术进步的乐观态度以及对隐私和道德影响的担忧。该研究探讨了医疗保健、教育、客户服务和人机交互中的各种应用,同时解决了文化多样性、数据隐私和系统可靠性方面的关键挑战。未来的方向强调需要具有情境感知和文化敏感性的系统,以平衡技术创新和道德考虑。 关键词:情感识别、人工智能、人机交互、情商、隐私和道德 1. 简介 解读人类情感是人工智能 (AI) 中最雄心勃勃的目标之一。人工智能中的情感识别弥合了复杂的人类情感表达世界和机器学习能力之间的差距。情绪会影响我们的决策、交流和行为,如果人工智能要真正与人类互动,就需要学习这些微妙之处。情绪识别被广泛认为是实现“更深层次”人机互动的载体,旨在打造更直观、更有同理心、反应更灵敏的机器。人工智能系统会使用人类的各种表情,如面部表情、肢体语言、声调和心率等生理信号 [1]。这些数据被输入机器学习算法,以发现它们推断出的情绪状态。有了这些好处,我们相信这项技术有望增强虚拟助手、个性化学习、支持客户服务,并实现情绪感知医疗保健系统。目前的形式表明了进步,但理解人类情绪一直是一个巨大的挑战。情绪的解读很复杂,因为生物、文化和社会力量塑造了它们 [2]。举个例子:微笑可能表示快乐或不适;声调可能会受到(例如)压力或讽刺的影响。但情绪是动态的,会随时间而变化,实时跟踪起来很复杂。除了对情绪识别人工智能的兴起提出质疑外,道德问题也随之出现。然而,这些技术收集敏感的情绪数据,这引发了隐私问题,可能会被错误地用于广告或类似用途或监控。其他问题包括:机器是否应该能够在没有被指示的情况下处理情绪?
摘要 —与快乐、悲伤、恐惧、愤怒、厌恶和惊讶这六种基本情绪不同,用效价(正性 - 负性)和唤醒(强度)来建模和预测维度情感已被证明对于自然和现实世界设置更灵活、适用和有用。在本文中,我们旨在推断用户在不同难度级别(基线、简单、困难和压力条件)下从事多项工作类任务时用户的面部情感,包括(i)办公室环境,他们从事一项体力要求较低但需要更大精神压力的任务;(ii)流水线环境,需要使用精细运动技能;(iii)代表远程办公和电话会议的办公室环境。为了这个目标,我们首先设计了一项具有不同条件的研究,并收集了 12 个受试者的多模态数据。然后,我们用各种机器学习模型进行了几项实验,发现:(i)面部表情的显示和预测在非工作环境和工作环境中有所不同;(ii)使用在类似工作环境中捕获的数据集可以提高预测能力;(iii)片段级(光谱表示)信息对于改善面部表情预测至关重要。索引术语——情感状态、类似工作的任务、工作环境中的情绪
自动疼痛评估可以定义为一组用于识别疼痛状态的计算机辅助技术。可靠有效的疼痛评估方法对于客观和持续监测无法口头交流的人的疼痛至关重要。在这项研究中,我们提出了一种通过分析面部表情来识别疼痛的新方法。更具体地说,我们评估了图神经网络 (GNN) 架构的有效性,该架构利用了一组自动跟踪受试者面部的基准点的固有图结构。在公开可用的数据集 BioVid 上进行的实验表明,与基线模型相比,所提出的方法在动作疼痛方面达到了更高的准确度,同时在自发性疼痛方面也超越了最先进的方法。
在认知科学和神经科学中,有两种主要模型描述人类如何感知和分类面部表情——连续模型和分类模型。连续模型将每种面部表情定义为面部空间中的特征向量。例如,该模型解释了如何以不同的强度看待情绪表达。相比之下,分类模型由 C 个分类器组成,每个分类器都针对特定的情绪类别进行调整。除其他发现外,该模型还解释了为什么在快乐和惊讶的面部之间变形的序列中的图像被视为快乐或惊讶,而不是介于两者之间的某种情绪。虽然连续模型更难证明后一种发现,但分类模型在解释如何以不同的强度或模式识别表情方面并不那么好。最重要的是,这两个模型都无法解释如何识别情绪类别的组合,例如高兴的惊讶、愤怒的惊讶和惊讶。为了解决这些问题,在过去几年中,我们研究了一个修订模型,该模型证实了认知科学和神经科学文献中报告的结果。该模型由 C 个不同的连续空间组成。通过线性组合这些 C 个面部空间,可以识别多种(复合)情绪类别。这些空间的维度显示为大部分是配置性的。根据该模型,对情绪面部表情进行分类的主要任务是精确、详细地检测面部特征点,而不是识别。我们概述了证实该模型的文献,展示了如何使用生成的模型来构建识别情绪面部表情的算法,并提出了机器学习和计算机视觉研究人员的研究方向,以继续推动这些领域的最先进技术。我们还讨论了该模型如何帮助研究人类感知、社交互动和障碍。关键词:视觉、面部感知、情绪、计算建模、分类感知、面部检测
疼痛管理和严重性检测对于有效的治疗至关重要,但是传统的自我报告方法是主观的,并且可能不适合非语言个体(口语有限的人)。为了解决此限制,我们使用面部表情探索自动疼痛检测。我们的研究利用深度学习技术来通过分析来自疼痛情感面孔数据库(PEMF)的面部图像来改善疼痛评估。我们提出了两种新颖的方法1:(1)混合交通模型与长期短期记忆(LSTM)块相结合,以分析视频框架并预测疼痛的存在,以及(2)与LSTM集成的时空图形卷积网络(STGCN),与LSTM集成在一起,以从面部图像中为疼痛图像进行过程地标。我们的工作代表了PEMF数据集进行二进制疼痛分类的首次使用,并通过广泛的实验证明了这些模型的有效性。结果突出了结合空间和时间特征以增强疼痛检测的潜力,从而在客观疼痛评估方法中提供了有希望的进步。
胎儿面部表情是评估妊娠后半期大脑功能和发育的有用参数。先前的研究已经研究了使用四维超声对胎儿面部表情的主观评估。人工智能(AI)可以实现对胎儿面部表情的客观评估。胎儿面部表情的人工智能识别可能为“胎儿大脑的AI科学”等新的科学领域打开大门,使用AI的胎儿神经行为科学正处于新时代的曙光。通过AI对胎儿面部表情的识别,我们对胎儿神经行为和神经发育的认识将得到提高。人工智能可能是当前和未来胎儿面部表情研究的重要方式,并可能有助于评估胎儿的大脑功能。关键词:人工智能,深度学习,面部识别,胎儿,机器学习,超声检查。唐纳德妇产科超声杂志 (2021):10.5005/jp-journals-10009-1710
错误监控是一种元认知过程,通过这一过程,我们能够在做出反应后检测并发出错误信号。监控我们的行为结果何时偏离预期目标对于行为、学习和高阶社交技能的发展至关重要。在这里,我们使用脑电图 (EEG) 探索了面部表情线索整合过程中错误监控的神经基础。我们的目标是研究依赖于面部线索整合的响应执行之前和之后错误监控的特征。我们遵循中额叶 theta 的假设,认为它是错误监控的强大神经元标记,因为它一直被描述为一种发出认知控制需求的信号机制。此外,我们假设 EEG 频域分量可能有利于研究复杂场景中的错误监控,因为它携带来自锁定和非锁相信号的信息。应用了一个具有挑战性的 go/no-go 扫视范式来引出错误:需要整合面部情绪信号和凝视方向来解决这个问题。我们从 20 名健康参与者处获取了脑电图数据,并在反应准备和执行期间以 θ 波段活动水平进行分析。尽管 θ 调制在错误监控过程中一直得到证实,但它开始发生的时间尚不清楚。我们发现正确和错误试验之间中额通道的 θ 功率存在差异。错误反应后 θ 波段立即升高。此外,在反应开始之前,我们观察到了相反的情况:错误之前的 θ 波段较低。这些结果表明 θ 波段活动不仅是错误监控的指标(这是增强认知控制所必需的),也是成功的必要条件。这项研究通过在复杂任务中甚至在执行反应之前就揭示与错误相关的模式并使用需要整合面部表情线索的范例,为 θ 波段在错误监控过程中的作用增加了先前的证据。
利用情绪进行用户界面评估成为人机交互中越来越重要的研究目标。情绪通常通过无法实时收集信息的调查来评估。在我们的工作中,我们建议使用智能手机进行移动情绪评估。我们使用智能手机前置摄像头作为基于面部表情的情绪检测工具。此类信息可用于反映情绪状态或提供情绪感知的用户界面自适应。我们在为期两周的实地研究中收集了面部表情以及应用程序使用数据,该研究包括一周的训练阶段和一周的测试阶段。我们构建并评估了一个依赖于人的分类器,与仅对面部表情进行分类相比,平均分类提高了 33%。此外,我们将估计的情绪与并发的应用程序使用情况相关联,以深入了解情绪的变化。我们的工作补充了对随时探测情绪的可行性以及未来情绪感知应用程序的潜在用例的讨论。
根据面部感知的经典观点( Bruce and Young, 1986 ; Haxby et al., 2000 ),面部身份和面部表情识别由不同的神经基质(分别为腹侧和外侧颞叶面部选择区域)执行。然而,最近的研究挑战了这一观点,表明表达效价也可以从腹侧区域解码( Skerry and Saxe, 2014 ; Li et al., 2019 ),身份也可以从外侧区域解码( Anzellotti and Caramazza, 2017 )。如果专门负责一项任务(身份或表情)的区域包含另一项任务的少量信息(从而实现高于机会的解码),则这些发现可以与经典观点相一致。在这种情况下,我们预计侧面区域的表征与经过训练以识别面部表情的深度卷积神经网络 (DCNN) 中的表征更相似,而不是经过训练以识别面部身份的 DCNN 中的表征(对于腹侧区域,情况应该相反)。我们通过分析对不同身份和表情的面部的神经反应来检验这一假设。将从人类颅内记录(n = 11 名成年人;7 名女性)计算得出的表征相异矩阵 (RDM) 与经过训练以标记身份或表情的 DCNN 的 RDM 进行了比较。我们发现,在所有测试区域中,经过训练以识别身份的 DCNN 的 RDM 与颅内记录的相关性更强——即使在传统上假设专门用于表情的区域也是如此。这些结果偏离了传统观点,表明面部选择性腹侧和侧面区域有助于身份和表情的表征。
1 波士顿学院心理学系,美国马萨诸塞州波士顿 02467 16 2 卡内基梅隆大学和匹兹堡大学认知神经基础中心,宾夕法尼亚州匹兹堡 15213 18 3 卡内基梅隆大学神经科学研究所,宾夕法尼亚州匹兹堡 15213 19 4 卡内基梅隆大学机器学习系,宾夕法尼亚州匹兹堡 20 15213 21 5 匹兹堡大学医学中心神经外科系,宾夕法尼亚州匹兹堡 22 15213 23 6 麻省总医院神经外科系,马萨诸塞州波士顿 24 02144 25 7 哈佛医学院,马萨诸塞州波士顿 02115 26 8 匹兹堡大学神经科学中心,宾夕法尼亚州匹兹堡15213 27 ∗ 通讯作者 28 电子邮件:stefano.anzellotti@bc.edu (SA) 29 30 31 页数:35 32 图表数量:5 33 表格数量:1 34 多媒体数量:0 35 3D 模型数量:0 36 摘要字数:242 37 意义陈述字数:120 38 介绍字数:779 39 讨论字数:2093 40 利益冲突:作者报告没有利益冲突。 41 致谢:本研究得到了美国国家科学基金会职业资助 1943862(SA)、美国国立卫生研究院 R01MH107797 和 R21EY030297(AG)以及美国国家科学基金会 1734907(AG)的职业资助。我们要感谢参与 iEEG 实验的患者以及 UPMC 长老会癫痫监测部门的工作人员和管理人员对我们研究的协助和合作。我们感谢 Michael Ward 对数据收集的帮助。49