获取独家产品信息,尽享促销优惠!立即订阅,不容错过
* 限···时··优惠
我们可以注意到,使用惰性求导的荒芜高原问题与消失梯度问题有着根本的不同:消失梯度问题是在进入越来越深的神经网络时动态变化的,而惰性求导是静态的并且随处可见。因此,它们是两个本质上不同的问题。此外,从2设计积分公式7和LeCun参数化2之间的相似性来看,我们可以预期大宽度神经网络将具有类似的行为:它们的权重和偏差也几乎不会运行。考虑到经典的过度参数化神经网络已被证明具有实用性(例如,参见比较[ 6 ]),并且如今可以普遍实现大规模神经网络,惰性求导在实际的机器学习任务中可能并不总是坏事。
编程作业如上所述,将有两个编程作业,第一个将于 1 月 13 日那一周发布,第二个将于 2 月 24 日那一周发布。对于这两个作业,你将收到一个 Python 代码主干,你将使用它来构建模型。第一个作业将让你编写一个玻尔兹曼机来建模手写数字图像。第二个作业将让你编写一个演员评论家网络来完成空间导航任务。对于这两个作业,你将不被允许使用提供自动求导功能的现代机器学习库。你将用老办法来做!在这两项作业中,都会有几个问题需要回答,还有一些额外的任务需要研究生完成。