扰动输入

一致性引导的及时学习视觉语言...

我们提出了一致性引导的及时学习（COPROMPT），这是一种新的视觉模型微调方法。我们的方法在几次设置的下游任务上进行了微调时，改善了大型基础模型的概括。共同启动的基本思想是在预测可训练和预训练的模型的预测中执行一致性约束，以防止在下游任务上过度适应。此外，我们将以下两个组件引入我们的同意约束中，以进一步提高性能：在两个扰动的输入上执行一致性，并结合了调谐，提示和适配器的两个主导范式。在扰动输入上执行一致性可以进一步正规化一致性约束，从而改善了概括。此外，适配器和提示的集成不仅可以增强下游任务上的性能，而且还提供了提高的输入和输出空间的调谐灵活性。这有助于在几次学习设置中更有效地适应下游任务。实验表明，在一系列评估套件上，副业的表现优于现有方法，包括基本到新颖的概括，域的概括和交叉数据库评估。在概括方面，coprompt改善了零弹药任务的最先进和11个数据集的整体谐波平均值。详细的消融研究表明了共同局限性中每个组件的有效性。我们在https://github.com/shuvenduroy/coprompt上提供代码。