Loading...
机构名称:
¥ 4.0

算法可重复性衡量机器学习算法的输出偏差,而训练过程中发生了较小的变化。先前的工作表明,一阶方法需要权衡融合率(梯度复杂性)才能获得更好的可重复性。在这项工作中,我们挑战了这一看法,并证明在各种错误的甲骨文设置下,可以实现最佳的可重复性和近乎最佳的收敛保证。特别是,鉴于不精确的初始化Oracle,我们基于正则化的算法达到了两全其美的最佳 - 最佳的可重复性和近乎最佳的梯度复杂性 - 用于最小化和最小值优化。使用不精确的梯度甲骨文,近乎最佳的保证也可用于最小值优化。此外,在随机梯度甲骨文中,我们表明随机梯度下降在可重复性和梯度复杂性方面都是最佳的。我们认为,在凸优化的背景下,我们的结果有助于增强对可重复性连接权衡的理解。

算法可重复性的最佳保证和...

算法可重复性的最佳保证和...PDF文件第1页

算法可重复性的最佳保证和...PDF文件第2页

算法可重复性的最佳保证和...PDF文件第3页

算法可重复性的最佳保证和...PDF文件第4页

算法可重复性的最佳保证和...PDF文件第5页