机构名称：
¥ 1.0
随着变压器和视觉模型（VLM）的出现，例如剪辑，微调大型预培训模型最近已成为持续学习的普遍策略。这导致发展了许多促使策略以适应基于变形金刚的模型而不会引起灾难性遗忘。但是，这些策略通常会损害预先训练的剪辑模型的原始零射击功能，并难以适应明显偏离预训练数据的域。在这项工作中，我们提出了持续的生成培训，以进行增量及时学习，这是一种简单而新颖的方法，可以减轻遗忘，同时调整剪辑。简而言之，我们采用各种自动编码器（VAE）来学习视觉编码器嵌入空间内的类调节分布。然后，我们利用这些分布来采样新的合成视觉嵌入式，并在随后的任务中训练相应的特定类文本提示。通过对不同领域的广泛实验，我们表明，这种生成的重播方法可以适应新任务，同时改善了零发功能，并使用针对CL方案量身定制的新型度量标准进行了评估。值得注意的是，进一步的分析表明，我们的方法可以通过关节及时调整弥合差距。该代码库可从https://github.com/ aimagelab/mammoth获得。
带有生成潜在重录的剪辑
主要关键词
相关文件推荐
