XiaoMi-AI文件搜索系统
World File Search System表情
交叉任务多分支视觉变压器，用于面部表情和戴面膜分类
1美国卡内基梅隆大学2菲律宾大学3美国华盛顿大学4中，中国5个美国北亚利桑那大学 *美国北亚利桑那大学 * Zhu，Armando，Armando，电子邮件：armandoz@alumni.cmu.cmu.edu摘要：戴着面具的挑战，戴着面貌的挑战，在构成面貌的挑战时，曾经构成了攻击的范围，以掩盖面对面的攻击（fer）。在本文中，我们提出了一个统一的多分支视觉变压器，用于面部表达识别和戴面罩的分类任务。我们的方法提取了两项任务的共享功能，该功能使用获得多尺度特征表示的双分支体系结构。此外，我们提出了一个交叉任务融合阶段，该阶段可以使用单独的分支为每个任务处理令牌，同时使用交叉注意模块交换信息。我们提出的框架通过简单而有效的交叉任务融合阶段使用单独的网络来降低了整体复杂性。广泛的实验表明，我们所提出的模型在面部表情识别和面部掩码戴上分类任务方面的表现要好于或使用不同的最新方法。
研究论文基于双向LSTM和注意力机制的表情脑电多模态情绪识别方法
由于人类情绪的复杂性，不同的情绪特征之间存在一定的相似性，现有的情绪识别方法存在特征提取困难、准确率不高的问题，为此提出一种基于双向长短期记忆和注意机制的表情脑电多模态情绪识别方法。首先基于双线性卷积网络（BCN）提取面部表情特征，将脑电信号变换为三组频带图像序列，利用BCN对图像特征进行融合，得到表情脑电多模态情绪特征。然后通过带有注意机制的长短期记忆在时序建模过程中提取重要数据，有效避免采样方法的随机性或盲目性。最后，设计一种具有三层双向长短期记忆结构的特征融合网络，将表情与脑电特征进行融合，有助于提高情绪识别的准确率。在MAHNOB-HCI和DEAP数据集上，基于MATLAB仿真平台对所提方法进行测试。实验结果表明,注意机制可以增强图像的视觉效果;且与其他方法相比,所提方法可以更有效地从表情和脑电信号中提取情感特征,情绪识别的准确率更高。
在面部，语音和身体表情自动处理过程中，特定于方式的大脑表示
情感科学中的一个核心问题，与其临床应用相关的问题是，不同刺激提供的情绪如何在大脑中体验和代表。遵循传统观点的情感信号是通过情感概念的帮助来认可的，这些概念通常用于精神状态和情感体验的描述，无论感觉方式如何。这种观点激发了人们在刺激类型（面部，身体，声音）和感觉起源（视觉，听觉）的变化中共享的大脑情绪的抽象表示。另一方面，情感信号诸如侵略性的手势，触发快速自动行为反应，这可能是在情绪的完全抽象表示之前或独立的。这对特定的情感信号辩护，这些信号只能通过动员方式和刺激特定的大脑表示而不依赖更高级抽象情绪类别来触发快速适应性行为。为了检验这一假设，我们在功能磁共振（fMRI）研究中向参与者提供了自然主义的动态情绪表达。专注于自动情绪处理和避开基于概念的情绪识别的避免，参与者执行了与刺激不同感官方式呈现的无关目标检测任务。通过使用多元分析来评估对不同刺激类型的神经活动模式，我们揭示了刺激类别和特定于情感信号的模态大脑组织。我们的发现与以下观点一致：在生态条件下，面部，身体和声音的情感表达在触发快速的适应性行为中可能具有不同的功能作用，即使从抽象的概念上看来，它们也可能体现出相同的情感。这对神经媒介学上的情感研究计划具有影响，该计划应从对面部，身体和语音表达在自然主义背景下如何发挥作用的详细行为观察开始。
恐惧和悲伤的面部表情对大脑扩展面部处理系统中有效连接的差异调节
情绪面部表情的处理依赖于大脑区域分布式网络信息的整合。尽管人们已经研究过不同的情绪表情如何改变这个网络内的功能关系，但是关于哪些区域驱动这些相互作用的研究仍然有限。这项研究调查了在处理悲伤和恐惧面部表情时的有效连接，以更好地理解这些刺激如何差异性地调节情绪面部处理回路。98 名年龄在 15 至 25 岁之间的健康人类青少年和年轻人接受了内隐情绪面部处理 fMRI 任务。使用动态因果模型 (DCM)，我们检查了与面部处理有关的五个大脑区域。这些区域仅限于右半球，包括枕叶和梭状回面部区域、杏仁核、背外侧前额叶皮质 (dlPFC) 和腹内侧前额叶皮质 (vmPFC)。处理悲伤和恐惧的面部表情与杏仁核与 dlPFC 之间的正向连接增强相关。只有处理恐惧的面部表情与 vmPFC 与杏仁核之间的负向连接增强相关。与处理悲伤的面孔相比，处理恐惧的面孔与杏仁核与 dlPFC 之间的连接显著增强相关。处理这些表情与 vmPFC 与杏仁核之间的连接之间没有发现差异。总体而言，我们的研究结果表明，杏仁核和 dlPFC 之间的连接似乎对这些表情之间的不同维度特征做出了反应，这些特征可能与唤醒有关。需要进一步研究来检验这种关系是否也适用于正价情绪。
Codewithzichao@DravidianLangTech-EACL2021：探索泰米尔语中模因分类的多模态变换器
近年来，随着社交媒体平台的繁荣，表情包逐渐成为网络交流的一部分。因此，检测表情包是否对个人或组织具有冒犯性对于确保互联网内容的多样性和可持续性至关重要。对表情包进行分类是否为恶意内容是一项具有挑战性的任务。此外，目前已经有很多工作集中在英语上（Truong 和 Lauw，2019 年；Xu 等，2019 年；Cai 等，2019 年），但针对泰米尔语的研究很少。泰米尔语表情包分类共享任务填补了这一空白。此共享任务的目标是检测从社交媒体平台收集的表情包是否为恶意内容。每个表情包都标有恶意或非恶意类别。此外，每张图片都嵌入了泰米尔语和拉丁字母的字幕转录。这是一个多模态分类任务，给定图像和文本对，系统必须将此对分类为 troll 或非 troll 类。在本文中，我们探索了一种用于泰米尔语 meme 分类的多模态转换器。根据图像和文本的特征，
如何利用过去的情绪记忆来诱导和识别面部表情：一种多模态神经科学算法
情绪表达的产生和识别在个人生活中起着决定性和核心的作用。对情绪的考虑和研究因此尤为重要，因为它使我们能够理解个人的情绪体验和共情机制，为脑机接口 (BCI) 提供驱动知识，通过将情绪模式应用到人工智能工具和计算机中，以及深入了解精神病理学 (Balconi et al., 2015a)。本文旨在研究与个体面部表情产生和识别相关的神经生理相关性和特征，考虑由基于自传体记忆的内部线索引起的情绪反应，称为“自我诱导的记忆”。事实上，正如 Adolphs (2002) 所报告的，人类大脑通过不同大脑区域之间的信息连接来最有效地表示情绪数据，这些大脑区域允许陈述和识别来自不同刺激（如视觉或听觉）的情绪表达。人类大脑代表着将面部、声音和动作表情与个人过去经历联系起来的情感数据。此外，使用不同的神经科学技术，如正电子发射断层扫描 (PET)、功能性磁共振成像 (fMRI) 和脑磁图 (MEG)，可以观察到特定大脑区域在不同情绪表达中的参与情况，提供情绪大脑激活图 (Balconi 和 Lucchiari，2007 年；Balconi 和 Pozzoli，2007 年；Deak，2011 年；Kassam 等人，2013 年)。具体而言，神经影像学测量被用作情感计算技术的输入 (Frantzidis 等人，2010 年)。不同的研究假设存在离散的情绪，如快乐、恐惧、愤怒、悲伤，其他情绪状态将从中衍生 (Ekman，1999 年)。离散情绪理论受到了情感循环模型 ( Russell, 1980 ) 的批评，该模型基于两个维度描述和标记情绪：效价和唤醒度。人类大脑整合多模态信息，产生不同听觉和视觉刺激的综合表征 ( Balconi and Carrera, 2011 ; Barros and Wermter, 2016 )。
使用人工智能进行音频播放的情绪检测
1 学生，2 学生，3 学生，4 助理教授 1,2,3,4 电子与通信工程，1,2,3,4 达亚南达萨加尔大学，班加罗尔，印度 摘要：机器学习和人工智能可以预测人类的行为模式，并在任何特定情况下提供适当的反应。随着世界变得越来越自动化，我们发现自己有大量的刺激可供选择。人们通常使用面部表情来表达自己的情绪。众所周知，音乐可以改变人们的情绪。在本文中，我们专注于利用人工智能的力量通过面部表情检测我们的情绪，并播放与我们所感受的情绪相关的音轨。众所周知，音乐是表达情绪的好方法。通过本文，可以检测到我们的表情，并播放合适的歌曲或音乐曲目。本文的主要思想是根据用户的情绪自动播放音轨。其工作原理是通过估计人类表情来检测人类情绪。输入用户图像后，系统会通过图像处理算法进行人脸检测和人脸计算。通过检测用户的面部表情，算法会利用歌曲数据集，从中提取与给定面部表情相对应的歌曲并开始播放该曲目。在现有系统中，用户必须手动选择歌曲，这是一个繁琐的过程，而且可能与用户的心情不符。捕捉和识别一个人的情绪，并播放与他们的心情相匹配的歌曲，可以让他们平静下来，产生令人愉悦的效果。索引术语 - 人脸检测、情绪、训练、测试、面部表情识别、音频识别、检测、Viola-Jones 算法、音乐播放器。
使用 Affectiva 软件区分脑外伤患者和非脑外伤患者的面部表情使用情况：一项初步研究
摘要：本研究调查了使用自动面部编码引擎 Affectiva（集成在 iMotions，版本 8.2 中）评估创伤性脑损伤 (TBI) 后面部表情的可行性。根据 TBI 患者和对照组参与者的视频中的面部表情数据进行了一项观察性横断面研究。目的是比较 TBI 组和对照组，并确定影响数据分析的混杂因素。使用 Affectiva 分析了来自十名严重 TBI 参与者和十名无 TBI 的对照组参与者的两个叙事任务（个人事件和故事复述）的视频样本。在组间和组内对参与者的参与度、微笑和皱眉的自动数据进行了统计比较。还记录了每个样本的定性注释。Affectiva 检测到 TBI 参与者在两个任务上的参与时间百分比高于对照组参与者。TBI 参与者在一项任务中的微笑时间百分比也更高。在组内，两个叙事任务之间没有显着差异。 Affectiva 提供有关面部表情的标准化数据，可能对检测 TBI 后面部表情使用的变化很敏感。本研究还确定了在视频录制过程中应避免的因素，以确保为未来研究提供高质量的样本。
在职教师的学习成果和参与度
教师参与在线学习是提高在线教师培训效果的关键因素。本文介绍了一种多模态学习分析方法，利用脑电波、眼动和面部表情数据预测在职教师在线同步培训中的参与度和学习成果。本研究分析了从在职教师（n = 53）获得的单模态和多模态数据在多大程度上预测他们的学习成果和参与度。结果表明，使用面部表情和眼动数据的模型对学习成果的预测效果最好。在教师参与度方面的表现各不相同：多模态模型（整合眼动、面部表情和脑电波数据）最擅长预测认知参与和情感参与，而模型（整合眼动和面部表情数据）最擅长预测行为参与。最后，我们将模型应用于在线同步培训的四个阶段，并讨论了教师参与度水平的变化。这项工作有助于理解多模态数据对于预测教师在线学习过程和促进在线教师专业发展的价值。