机构名称：
¥ 2.0
多任务学习假设能够从多个任务中学习的模型可以通过知识迁移实现更好的质量和效率，这是人类学习的一个关键特征。然而，最先进的 ML 模型依赖于每个任务的高度定制，并利用大小和数据规模而不是扩展任务数量。此外，持续学习将时间方面添加到多任务中，通常专注于研究常见的陷阱，例如灾难性遗忘，而不是将其作为构建下一代人工智能的关键组成部分进行大规模研究。我们提出了一种能够生成支持动态添加新任务的大规模多任务模型的进化方法。生成的多任务模型是稀疏激活的，并集成了基于任务的路由，可保证在模型扩展时计算成本有限并且每个任务添加的参数更少。所提出的方法依赖于知识分区技术来实现对灾难性遗忘和其他常见陷阱（如梯度干扰和负迁移）的免疫。我们通过实验证明，所提出的方法可以联合解决 69 个公共图像分类任务并取得有竞争力的结果，例如，与在公共数据上训练的最佳模型相比，通过实现 15% 的相对误差减少，提高了 cifar10 等竞争基准的最新水平。
动态进化方法...
主要关键词
相关文件推荐
