机构名称：
¥ 1.0
我们从神经科学（“连接组学”）了解到，大脑总体上是一个非常稀疏的网络，具有相对较小的局部密集神经元簇。这些拓扑特性对于大脑高效、稳健地运行以及以分层模块化方式处理信息的能力至关重要。另一方面，我们今天使用的人工神经网络非常密集，甚至是完全连接的，至少在连续层之间是如此。此外，众所周知，深度神经网络高度参数化：修剪研究表明，通常可以消除 90% 的连接（权重）而不会显着降低性能。然而，修剪通常是在密集网络训练之后进行的，这只会提高推理过程的运行时效率。前面的观点表明，我们需要设计稀疏神经网络的方法，无需任何训练，在训练后其性能几乎与相应的密集网络一样好。本次演讲将首先介绍一些修剪文献的背景，无论是在训练之后还是在训练之前。然后，我们将介绍一种最近提出的（ICML 2021）方法，称为 PHEW（具有更高边权重的路径），该方法在训练之前创建稀疏神经网络，并且可以快速学习并很好地概括。此外，PHEW 不需要访问任何数据，因为它仅取决于给定网络架构的初始权重和拓扑。
康斯坦丁·多夫罗利斯
主要关键词
相关文件推荐
