机构名称：
¥ 1.0
自我监督学习（SSL）旨在学习没有标签的数据的界限。尽管具有di-verse SSL体系结构，但投影头始终在改善下游任务性能中起着重要作用。在这项研究中，我们系统地研究了投影头在SSL中的作用。我们发现投影头靶向统一方面，该方面将样品映射到统一的分配中，并使编码器能够专注于提取语义特征。借鉴了这种见解，我们在SSL模型中提出了一个表示评估设计（RED），其中建立表示和投影向量之间的快捷方式连接。我们对各种数据集上不同体系结构（包括SIMCLR，MOCO-V2和SIMSIAM）进行的广泛实验表明，Red-SSL在下游任务中始终优于其基线对应物。此外，红色SSL学到的表示形式表现出与以前看不见的增强和分发数据相比的较高鲁棒性。
表示评估自我监督学习
主要关键词
相关文件推荐
