情感计算中媒体音视频的情感识别对于人机交互(HCI)/脑机交互(BCI)等领域的深度认知有着重要的应用价值,特别是在现代远程教育中,音乐情感分析可以作为对教学过程进行实时评估的重要技术之一。在复杂的舞蹈场景中,采用传统方法进行音乐情感分析的准确率不高。因此,该文提出了一种用于情感计算中多模态音乐情感分析的新型长短期记忆(LSTM)网络模型。利用双通道LSTM分别模拟人类的听觉和视觉处理通路,处理音乐和面部表情的情感信息。然后在一个公开的双模态音乐数据集上对模型进行训练和测试。在LSTM模型的基础上,引入层次分析法(AHP)在决策层融合加权特征。最后,实验表明,所提方法可以有效提高识别率,并节省大量的训练时间。
主要关键词