机构名称：
¥ 7.0
深层生成模型（例如流量和扩散模型）已被证明在建模高维和复杂的数据类型（例如视频或蛋白质）方面具有有效性，这激发了它们在不同数据模式（例如神经网络重量）中的使用。神经网络权重的生成模型对于贝叶斯深度学习，学习优化和转移学习等多种应用程序将很有用。但是，重量空间生成模型的现有工作通常忽略神经网络权重的对称性，或者仅考虑其中的一个子集。对这些对称性进行建模，例如MLP中的子顺序之间的置换对称性，卷积网络中的滤波器或通过使用非线性激活而产生的比例对称性，具有通过有效地降低问题的降低降低问题的重量模型的潜力。从这个角度来看，我们旨在在重量空间中设计生成模型，以更加仔细地尊重神经网络重量的对称性。我们以流量匹配的生成建模为基础，而权重空间图神经网络设计以设计三个不同的重量空间流。我们的每个流量都采用不同的方法来建模神经网络权重的几何形状，因此使我们能够以原则上的方式探索权重空间流的设计空间。我们通过列出了在重量空间的常规模型上列出未来工作的潜在方向来得出结论。我们的结果证实，建模神经网络的几何形状更忠实地导致更有效的流量模型，可以推广到不同的任务和体系结构，并且我们表明，尽管我们的流量以比以前的工作少的参数获得竞争性能，但可以进一步改进它们，通过扩展它们。
神经网络权重的几何流量模型
主要关键词
相关文件推荐
