具有不完整输入数据(缺少模态)的多模式学习是实用且具有挑战性的。在这项工作中,我们对这一挑战进行了深入的分析,发现模式优势对模型训练具有显着的负面影响,从而极大地降低了缺失的模态性能。是由Grad-CAM激励的,我们引入了一种新颖的指标,梯度,以监测和减少在缺失情景中广泛存在的模态主导性。为了帮助该指标,我们提出了一种新颖的梯度引导的模态解耦(GMD)方法,以促进对主导方式的依赖性。特定的是,GMD从不同模态中删除了冲突的梯度成分,以实现这种去耦,从而显着提高了性能。此外,要弹性处理模态分配数据,我们设计了一个参数有效的动态共享(DS)框架,该框架可以根据是否可用,可以根据是否可用来求解网络参数。我们对三个流行的多模式基准进行了广泛的实验,包括Brats 2018用于医学分割,CMU-MOSI和CMU-MOSEI进行情感分析。结果表明,我们的方法可以显着胜过竞争对手,表明所提出的解决方案的有效性。我们的代码在此处发布:https://github.com/haowang420/gradient-gendient-gudide-modality-decoupling。
主要关键词