多任务学习体系结构通过在网络之间共享参数来利用共享知识并提高实现的能力来同时建模多个相关任务。设计多任务体系结构是由于参数效率和在所有网络层上灵活建模任务差异的能力之间的权衡而具有挑战性的。我们提出了多任务Hyper Nnetworks,这是一种新颖的多任务学习体系结构,绕过这种权衡,从而生成柔性任务网络,每个任务的参数数量最少。我们的方法使用超网络来从小任务特定的嵌入中为每个任务生成不同的网络权重,并在任务之间启用抽象知识转移。我们的方法从现有的多任务学习架构中脱颖而出,通过提供附加功能来利用任务级元数据来明确学习任务关系和任务功能。我们从经验上表明,多任务超级核武器的表现优于小型禁忌数据问题的许多最先进的多任务学习架构,并且比现有方法更有效地利用元数据。