XiaoMi-AI文件搜索系统
World File Search Systemfacial
虚拟代理面部表达生成的扩散模型在动机访谈中
动机访谈（MI）是一种以客户为中心的咨询方式，可以解决（客户）用户的行为改变动机。在本文中，我们提出了一种针对社会互动剂（SIA）的行为产生模型，并将其应用于（MI）中的虚拟治疗师的SIA。mi为治疗师和客户定义了不同类型的对话行为。已经表明，治疗师通过调整口头和非语言行为来与客户建立融洽的关系。基于对人类MI数据集（Annomi）的分析，我们发现了治疗师和客户的面部表情与对话行为之间的共发生。此外，治疗师将其行为适应客户的行为，以偏爱融洽的关系。我们的行为产生模型嵌入了这些共发生以及这种行为适应。为此，我们建立了一个基于在Annomi语料库训练的条件扩散方法的观察框架。我们的模型学会生成以MI对话行为和客户的非语言行为为条件的虚拟Thera-pist的面部表情。我们旨在通过使用用户的行为来使SIA在类似治疗的互动中更有效（即对话行为和用户和代理的非语言行为）以推动SIA行为。
随时随地的情绪：使用面部表情进行实时移动情绪评估
利用情绪进行用户界面评估成为人机交互中越来越重要的研究目标。情绪通常通过无法实时收集信息的调查来评估。在我们的工作中，我们建议使用智能手机进行移动情绪评估。我们使用智能手机前置摄像头作为基于面部表情的情绪检测工具。此类信息可用于反映情绪状态或提供情绪感知的用户界面自适应。我们在为期两周的实地研究中收集了面部表情以及应用程序使用数据，该研究包括一周的训练阶段和一周的测试阶段。我们构建并评估了一个依赖于人的分类器，与仅对面部表情进行分类相比，平均分类提高了 33%。此外，我们将估计的情绪与并发的应用程序使用情况相关联，以深入了解情绪的变化。我们的工作补充了对随时探测情绪的可行性以及未来情绪感知应用程序的潜在用例的讨论。
NF2
摘要：（1）背景。本协议的目的是评估牙齿颜色和面部吸引力的自我感知是否与性别和情绪状态相关。（2）研究方案。该方案预见了一项横断面临床研究，由意大利萨皮恩扎大学，口腔和颌面科学系和15个Unid（Unione Nazionale Igienisti dentali-dentali-dentali-dentali nountion of Dental Hygienists的牙齿卫生学家）开发。该方案由临床访问组成，在此期间，通过分光光度计学评估牙齿的摄影文档和微笑的摄影记录。在访问期间，填写了两份经过验证的问卷。第一个由操作员填充的，以收集有关：i）患者的脸部和微笑的比色特征； ii）患者和操作员对牙齿颜色和微笑吸引力的评估。第二个是由患者完成的，以评估其情绪状态。（3）结论。该协议强调了性别特定方法的美学牙科和性别中性模型的局限性的重要性，从而揭示了美学自我感知中现有的性别差异。此外，还将探索面部和牙齿颜色特征之间的颜色匹配关系。这种方法通过满足个性化和特定性别的需求来提高牙科美学评估的准确性和个性化。一种包括性别的方法论，对美学牙科采用更细微和文化意识的方法是现代临床实践的有用辅助手段。
交叉任务多分支视觉变压器，用于面部表情和戴面膜分类
1美国卡内基梅隆大学2菲律宾大学3美国华盛顿大学4中，中国5个美国北亚利桑那大学 *美国北亚利桑那大学 * Zhu，Armando，Armando，电子邮件：armandoz@alumni.cmu.cmu.edu摘要：戴着面具的挑战，戴着面貌的挑战，在构成面貌的挑战时，曾经构成了攻击的范围，以掩盖面对面的攻击（fer）。在本文中，我们提出了一个统一的多分支视觉变压器，用于面部表达识别和戴面罩的分类任务。我们的方法提取了两项任务的共享功能，该功能使用获得多尺度特征表示的双分支体系结构。此外，我们提出了一个交叉任务融合阶段，该阶段可以使用单独的分支为每个任务处理令牌，同时使用交叉注意模块交换信息。我们提出的框架通过简单而有效的交叉任务融合阶段使用单独的网络来降低了整体复杂性。广泛的实验表明，我们所提出的模型在面部表情识别和面部掩码戴上分类任务方面的表现要好于或使用不同的最新方法。
从头运动和面部表达动力学
我们探讨了多模式行为线索的疗效，以解释人性和访谈特异性特征。我们利用名为Kinemes的基本头部动作单元，原子面部运动称为动作单元和语音特征来估计这些以人为中心的特征。经验结果证实，运动和动作单元可以发现多种特征的行为，同时还可以在支持谓词方面进行解释。对于融合提示，我们探讨了决策和特征级融合，以及基于添加剂的融合策略，该策略量化了三种方式对性状预测的相对重要性。在麻省理工学院访谈和第一印象候选筛查（FICS）数据集中检查各种长期长期记忆（LSTM）架构，用于分类和回归数据集，我们注意到：（1）多模式的方法优于非模态反应，以达到0.98的最高PCC，以获得激动人心的特质，以实现MIT和0.57的高级特征，以实现fick和0.57。 （2）通过单峰和多模式方法可以实现有效的性状预测和合理的解释，并且（3）遵循薄片的方法，即使是从两秒钟的行为snippets中也实现了有效的性状预测。我们的提示代码可在以下网址提供：https：//github.com/deepsurbhi8/explainable_human_traits_预测。
面向情感 XAI：通过面部情感分析来理解可解释的人机交互
随着机器学习方法越来越多地用于增强人类决策能力，可解释人工智能 (XAI) 研究探索了将系统行为传达给人类的方法。然而，这些方法往往无法解释人类在与解释互动时的情感反应。面部情感分析研究人类面部的情绪表达，是了解用户如何参与解释的一个有前途的视角。因此，在这项工作中，我们的目标是 (1) 确定人们与 XAI 界面交互时哪些面部情感特征会很明显，以及 (2) 开发一个多任务特征嵌入，将面部情感信号与参与者对解释的使用联系起来。我们的分析和结果表明，当参与者未能有效地使用解释时，面部 AU1 和 AU4 以及唤醒的发生和值会增加。这表明面部情感分析应该纳入 XAI，以根据个人的互动风格个性化解释，并根据执行任务的难度调整解释。
对面部识别的探索张量子流的卷积神经网络模型开发：
摘要。目的：面部识别已成为人工智能研究中越来越有趣的领域。在这项研究中，本研究旨在探索通过TensorFlow实施的CNN的应用，以开发出强大的模型，以增强学生出勤系统中的面部识别精度。这项研究的重点是开发一个模型，该模型使用在计算机科学系的实习出勤记录中收集的多级学生图像中的多级学生图像中识别学生面孔。方法：包含19名学生的面部图像的数据集成为培训和验证CNN模型的基础。该数据集来自计算机科学系的实习记录，其中包括231张培训图像和59张验证图像。预处理阶段包括面部区域检测和分类，导致组织良好的数据集用于培训和验证。由七层组成的CNN体系结构经过精心设计，以实现最佳性能。结果：该模型表现出非凡的准确性，在300个训练时期后，验证数据集的93％达到了93％。精确度，召回和F1得分指标被跨不同类别进行详细评估，强调了该模型在准确地对面部图像进行分类方面的熟练程度。使用基于VGG-16的模型进行比较分析，展示了提出的CNN体系结构的优越性。此外，Web服务的实施证明了该模型的实际适用性，以少于0.3秒的出色响应时间提供准确的预测。新颖性：这项全面的研究不仅提高了面部识别技术，而且还提出了适用于现实情况的模型，尤其是在学生出勤系统中。关键字：面部识别，机器学习，深度学习，CNN于2024年5月 / 2024年5月修订 / 2024年5月接受，这项工作已根据创意共享归因4.0国际许可获得许可。
使用面部表情的时空深度学习方法改善疼痛分类
疼痛管理和严重性检测对于有效的治疗至关重要，但是传统的自我报告方法是主观的，并且可能不适合非语言个体（口语有限的人）。为了解决此限制，我们使用面部表情探索自动疼痛检测。我们的研究利用深度学习技术来通过分析来自疼痛情感面孔数据库（PEMF）的面部图像来改善疼痛评估。我们提出了两种新颖的方法1：（1）混合交通模型与长期短期记忆（LSTM）块相结合，以分析视频框架并预测疼痛的存在，以及（2）与LSTM集成的时空图形卷积网络（STGCN），与LSTM集成在一起，以从面部图像中为疼痛图像进行过程地标。我们的工作代表了PEMF数据集进行二进制疼痛分类的首次使用，并通过广泛的实验证明了这些模型的有效性。结果突出了结合空间和时间特征以增强疼痛检测的潜力，从而在客观疼痛评估方法中提供了有希望的进步。
基于面部视频序列的实时驾驶员疲劳检测算法研究
摘要：驾驶员疲劳检测研究对提高驾驶安全具有重要意义。为提高检测准确率，本文提出一种基于面部特征点的驾驶员疲劳实时综合检测算法，利用面部视频序列检测驾驶员疲劳状态，无需在驾驶员身上配备其他智能设备。构建任务约束的深度卷积网络，基于68个关键点检测人脸区域，解决各任务收敛速度不同导致的优化问题。根据实时人脸视频图像，基于面部特征点计算眼部纵横比（EAR）、嘴部纵横比（MAR）和闭眼时间百分比（PERCLOS）眼部特征。建立驾驶员疲劳综合评估模型，通过眼部/嘴部特征选择评估驾驶员疲劳状态。经过一系列对比实验，结果表明，该算法在驾驶员疲劳检测的准确率和速度上均取得了良好的效果。
使用眼镜型可穿戴设备通过多通道面部反应进行情绪识别
摘要 我们提出了一种眼镜式可穿戴设备，以不引人注目的方式从人脸检测情绪。该设备旨在用户佩戴时自然、连续地收集来自用户脸部的多通道响应。多通道面部响应包括局部面部图像和生物信号，包括皮肤电活动 (EDA) 和光电容积图 (PPG)。我们进行了实验以确定可穿戴设备上 EDA 传感器的最佳位置，因为 EDA 信号质量对感应位置非常敏感。除了生理数据外，该设备还可以通过内置摄像头捕捉代表左眼周围局部面部表情的图像区域。在本研究中，我们开发并验证了一种使用从设备获得的多通道响应来识别情绪的算法。结果表明，仅使用局部面部图像的情绪识别算法在对情绪进行分类时的准确率为 76.09%。使用包括 EDA 和 PPG 在内的多通道数据，与单独使用局部面部表情相比，准确率提高了 8.46%。这种眼镜式可穿戴系统以自然的方式测量多通道面部反应，对于监测用户日常生活中的情绪非常有用，在医疗保健行业具有巨大的应用潜力。