Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity
深度学习模型在静态数据中表现出色，但由于可塑性损失 (LoP) 的现象（即未来学习能力的下降），在非静态环境中表现不佳。这项工作提出了基于梯度的学习中 LoP 的第一原理研究。基于动力系统理论，我们通过识别参数空间中捕获梯度轨迹的稳定流形来正式定义 LoP。我们的分析揭示了创建这些陷阱的两种主要机制：来自激活饱和的冻结单元和来自代表性的克隆单元流形......
