是否有不同的神经网络,接受过各种视觉任务的培训,共享一些共同的表示?在本文中,我们证明了我们在具有不同体系结构,不同任务(生成和歧视本地)以及不同类型的监督(班级监督,私人文本,文本监督,自学,自我求职,自我求助)的一系列模型中称为“ Rosetta神经元”的存在。我们提出了一种用于挖掘跨多种流行视觉模型的Rosetta神经元词典的算法:类监督 - Resnet50,Dino-Resnet50,Dino-Vit,Mae,Mae,Clip-Resnet50,Big-Gan,Big- Gan,stylegan-gangan-2,stylegan-xl。我们的发现表明,某些视觉概念和结构在自然世界中固有地植根于自然界,并且可以通过不同的模型来学习,而不论特定的任务或体系结构,并且不使用语义标签。,由于我们的分析中包含的生成模型,我们可以直接可视化共享概念。Rosetta神经元促进了模型对模型翻译,实现了各种基于反转的操作,包括跨级比对,变化,放大等,而无需进行专业培训。
主要关键词