摘要 — 戏剧作品中的情感识别在基本的人机交互、情感计算和其他各种应用中起着关键作用。传统的单模态情感识别系统在捕捉人类情感的复杂性和细微差别方面往往面临挑战。为此，本研究调查了多种模态信息的整合，包括面部表情、语音和生理信号，以增强情感识别系统的稳健性和准确性。通过结合这些不同的信息来源，我们的目标是更全面地了解人类的情感，并提高情感识别模型的性能。该研究探索了各种方法，包括特征融合、注意力机制和跨模态迁移学习，以有效地结合和利用来自面部表情、语音和生理信号的信息。此外，我们解决了与领域适应和缺失数据处理相关的挑战，确保所提出的多模态方法在数据收集条件可能变化的现实场景中保持稳健。为了证实所提出方法的有效性，我们在为多模态情感识别精心制作的基准数据集上进行了实验。该数据集包括通过面部特征、录音和生理传感器捕捉到的各种情绪表达。评估指标经过精心选择，以评估模型在各种模式下捕捉人类情绪的复杂性和细化程度的能力。我们的研究通过深入了解面部表情、语音和生理信号之间的相互作用，加深了对多模态情绪识别的理解。所提出的框架不仅提高了情绪识别的准确性，而且还提供了对情绪状态的更全面理解，促进了人机交互和情感计算应用的进步。