同理心在许多社会交往中至关重要,包括人类机器人,患者医生,教师学生和客户呼叫中心的范围。尽管其重要性,但由于主观性质,视频中的同理心仍然是一项具有挑战性的任务,而且通常仍然没有探索。现有的研究取决于文本,音频或仅视频设置中的脚本或半脚本相互作用,这些相互作用未能捕获现实生活相互作用的复杂性和细微差别。该博士搜索旨在通过开发一种多模式模型(MMLM)来填补这些空白,该模型(MMLM)检测有视听数据中的同理心。为了利用现有数据集,该研究涉及收集现实生活中的行动视频和音频。这项研究将利用诸如神经档位搜索之类的优化技术,以提供优化的小型MMLM。该项目的成功实施对增强社交互动的质量具有重要意义,因为它可以实时衡量同理心,因此为培训提供了潜在的途径,以更好地互动。
主要关键词