持续学习(CL)是指通过在保留先前学习的经验的同时容纳新知识来不断学习的能力。虽然这个概念是人类学习固有的,但当前的机器学习方法很容易覆盖以前学习的作品,因此忘记了过去的经验。相反,应选择性地和仔细地更新模型参数,以避免不必要的遗忘,同时最佳利用先前学习的模式以加速未来的学习。由于很难手工制作有效的更新机制,因此我们提出了元学习基于变压器的优化器来增强CL。此元学习优化器使用ATTENITION来学习跨任务流的模型参数之间的复杂关系,并旨在为当前任务生成有效的重量更新,同时防止对先前遇到的任务的灾难性遗忘。在基准数据集上进行评估,例如SplitMnist,RotatedMnist和SplitCifar-100,即使在较小的标记数据集中,也肯定了所提出的方法的疗效,即使在连续学习框架内集成了元学习优化器的优势。
主要关键词