MetaKD

arXiv:2405.07155v2 [cs.CV] 2024 年 11 月 12 日

在多模态学习中，某些模态比其他模态更有影响力，而它们的缺失会对分类/分割准确性产生重大影响。为了应对这一挑战，我们提出了一种新方法，称为元学习模态加权知识蒸馏（MetaKD），该方法可以使多模态模型即使在关键模态缺失的情况下也能保持高精度。MetaKD 通过元学习过程自适应地估计每种模态的重要性权重。这些学习到的重要性权重指导成对模态加权知识蒸馏过程，允许高重要性模态将知识迁移到低重要性模态，从而即使缺少输入也能实现稳健的性能。与该领域以前的方法通常针对特定任务且需要进行重大修改不同，我们的方法旨在以最少的调整完成多项任务（例如分割和分类）。在五个流行数据集（包括三个脑肿瘤分割数据集（BraTS2018、BraTS2019 和 BraTS2020）、阿尔茨海默病神经成像计划 (ADNI) 分类数据集和 Audiovision-MNIST 分类数据集）上的实验结果表明，所提出的模型能够大幅超越比较模型。