机构名称：
¥ 1.0
我们可以注意到，使用惰性求导的荒芜高原问题与消失梯度问题有着根本的不同：消失梯度问题是在进入越来越深的神经网络时动态变化的，而惰性求导是静态的并且随处可见。因此，它们是两个本质上不同的问题。此外，从2设计积分公式7和LeCun参数化2之间的相似性来看，我们可以预期大宽度神经网络将具有类似的行为：它们的权重和偏差也几乎不会运行。考虑到经典的过度参数化神经网络已被证明具有实用性（例如，参见比较[ 6 ]），并且如今可以普遍实现大规模神经网络，惰性求导在实际的机器学习任务中可能并不总是坏事。
