A journey into Optimization algorithms for Deep Neural Networks
概述用于训练深度神经网络的最流行优化算法。从随机梯度下降到 Adam、AdaBelief 和二阶优化
The Latest in Observation-Driven TVP Models
看看这个。相对于“标准”GAS/DCS 显式更新，隐式随机梯度更新似乎非常有吸引力。“使用近端参数更新的稳健观察驱动模型”，作者：Rutger-Jan Lange、Bram van Os 和 Dick van Dijk。https://www.tinbergen.nl/discussion-paper/6188/22-066-iii-robust-observation-driven-models-using-proximal-parameter-updates
