AVMOE

音频学习专家的混合物 - NIPS论文

随着多媒体技术的快速发展，视听学习已成为多模式分析领域中有前途的研究主题。在本文中，我们探讨了视听学习的参数有效传输学习，并提出了专家的视听混合物（AVMOE），以灵活地将适配器注入预训练的模型中。具体来说，我们将单峰和跨模式适配器作为多个专家介绍，分别专门研究模式内和模态信息，并采用轻巧的路由器根据每个任务的特定需求动态分配每个专家的权重。广泛的实验表明，我们提出的方法AVMOE在包括AVE，AVVP，AVS和AVQA在内的多个视听任务中取得了卓越的性能。此外，仅视觉实验结果还表明，我们的方法可以解决丢失模态信息的具有挑战性的场景。源代码可从https://github.com/yingchengy/avmoe获得。