机构名称：
¥ 1.0
由于预训练的深度学习模型大量可用，迁移学习在计算机视觉任务中变得至关重要。然而，从多样化的模型池中为特定的下游任务选择最佳的预训练模型仍然是一个挑战。现有的衡量预训练模型可迁移性的方法依赖于编码静态特征和任务标签之间的统计相关性，但它们忽略了微调过程中底层表示动态的影响，导致结果不可靠，尤其是对于自监督模型。在本文中，我们提出了一种名为 PED 的富有洞察力的物理启发方法来应对这些挑战。我们从势能的视角重新定义模型选择的挑战，并直接模拟影响微调动态的相互作用力。通过捕捉动态表示的运动来降低力驱动物理模型中的势能，我们可以获得增强的、更稳定的观察结果来估计可迁移性。在 10 个下游任务和 12 个自监督模型上的实验结果表明，我们的方法可以无缝集成到现有的排名技术中并提高其性能，揭示了其对模型选择任务的有效性以及理解迁移学习机制的潜力。代码可在 https://github.com/lixiaotong97/PED 上找到。
通过势能视角探索模型的可转移性
主要关键词
相关文件推荐
