机构名称：
¥ 1.0
深度学习的成功揭示了许多现象似乎与统计和优化领域中发展的经典直觉相抵触。在这次演讲中，我们介绍了我们最近的工作，旨在理解一种这种现象：“良性”过度拟合的可能性。我们考虑一个分类问题，其中标签的恒定分数是均匀随机的。我们表明，通过梯度下降训练的过度参数化神经网络，没有（明确）正则化实现零训练误差，完美拟合了嘈杂的标签，并同时达到了最小值 - 最佳的测试误差。特别是，过度适合嘈杂的培训数据可能是最佳学习规则，而在非凸目标函数上的梯度下降有效地产生了此类解决方案。我们讨论了有关了解梯度下降的隐性偏见及其对深度学习的影响的最新工作。基于与Peter Bartlett，Niladri Chatterji，Wei Hu，Nati Srebro和Gal Vardi的联合工作。
机器学习和人工智能的边界
主要关键词
相关文件推荐
