机构名称：
¥ 2.0
摘要 - 本文解决了不典型的域适应性（UDA）中的两个重要挑战，重点是利用视觉培训预训练（VLP）模型的力量。首先，UDA主要依赖于ImageNet预训练的模型。但是，UDA中VLP模型的潜力在很大程度上尚未探索。VLP模型的丰富表示形式具有增强UDA任务的信号。为了解决这个问题，我们提出了一种称为跨模式知识蒸馏（CMKD）的新颖方法，利用VLP模型作为教师模型来指导目标领域的学习过程，从而导致了最新的表现。其次，当前的UDA范式涉及为每个任务培训单独的模型，从而导致大量存储开销和不切实际的模型部署，随着转移任务的增加。为了克服这一挑战，我们引入了剩余的稀疏训练（RST），利用了VLP广泛的预训练所带来的好处，该技术需要最小的调整（约0.1％〜0.5％）的VLP模型参数，以实现性能比较与罚款。结合了CMKD和RST，我们提出了一个综合解决方案，该解决方案有效地利用VLP模型来实现UDA任务，同时减少存储开销用于模型部署。此外，CMKD可以与其他方法一起用作基线，例如FixMatch，增强UDA的性能。我们提出的方法在标准基准测试上优于现有技术。我们的代码将在以下网址提供：https：//github.com/wenlve-zhou/vlp-uda。
设计用于检查隧道施工环境的自主无人机原型
主要关键词
相关文件推荐
