mixup

通过模态混合和深度监督进行脑部疾病诊断的多模态连接组的不完全学习

近年来，多模态脑网络研究通过刻画脑网络的多种连接类型及其内在的互补信息，大大提高了脑疾病诊断的效率。尽管多模态技术取得了令人鼓舞的性能，但大多数现有的多模态方法只能从具有完整模态的样本中学习，这浪费了大量的单模态数据。此外，大多数现有的数据插补方法仍然依赖于大量具有完整模态的样本。在本研究中，我们提出了一种模态混合数据插补方法，通过随机抽取不完整样本并将其合成为完整数据进行辅助训练。此外，为了减轻合成数据中不配对模态间互补信息的噪声，我们引入了一个具有深度监督的双边网络，以使用疾病特定信息改进和规范单模态表示。在 ADNI 数据集上的实验证明了我们提出的方法在不同完整模态样本率方面的疾病分类优势。关键词：脑连接组，不完全学习，深度监督，脑功能障碍，缺失模态