机器学习取得了重大进展，特别是通过深度学习技术。这些进步在很大程度上依赖于优化算法来训练各种任务的大规模模型，包括语言处理和图像分类。这个过程的核心是最小化复杂、非凸损失函数的挑战。优化算法，如随机梯度下降 (SGD) 及其帖子 Apple 的这篇 AI 论文介绍了 AdEMAMix：一种利用双指数移动平均线来提高梯度效率和提高大规模模型训练性能的新型优化方法首先出现在 AI Quantum Intelligence 上。
The Latest in Observation-Driven TVP Models
看看这个。相对于“标准”GAS/DCS 显式更新，隐式随机梯度更新似乎非常有吸引力。“使用近端参数更新的稳健观察驱动模型”，作者：Rutger-Jan Lange、Bram van Os 和 Dick van Dijk。https://www.tinbergen.nl/discussion-paper/6188/22-066-iii-robust-observation-driven-models-using-proximal-parameter-updates
A journey into Optimization algorithms for Deep Neural Networks
概述用于训练深度神经网络的最流行优化算法。从随机梯度下降到 Adam、AdaBelief 和二阶优化
