机构名称：
¥ 1.0
摘要：我们提出了一种基于多视图和多代表（MV – MR）的自我监督学习和知识蒸馏的新方法。MV-MR是基于从增强和非增强视图中可学习的嵌入之间依赖性的最大化，从增强视图中可学习的嵌入与从非杰出视图中的多个非可学习的表示之间最大化依赖性。我们表明，所提出的方法可用于有效的自我监督分类和模型不合时宜的知识蒸馏。与其他自我监督技术不同，我们的方法不使用任何对比度学习，聚类或停止梯度。MV – MR是一个通用框架，允许通过将图像多代表作为正规化器的图像使用，将约束纳入学习嵌入。所提出的方法用于知识蒸馏。MV – MR在线性评估设置中提供了STL10和CIFAR20数据集的最先进的自我监督性能。我们表明，使用基于剪辑模型的拟议知识蒸馏预测的低复杂性RESNET50模型可实现STL10和CIFAR100数据集的最新性能。
MV – MR：自我...
主要关键词
相关文件推荐
