摘要 - 学习动力系统需要稳定未知的动态,以避免状态爆炸。但是,标准加固学习(RL)方法缺乏正式的稳定保证,这限制了其用于控制现实世界动态系统的适用性。我们提出了一种新型的政策优化方法,该方法采用Krasovskii的Lyapunov家族作为稳定性约束。我们表明,即使在建模误差下,也可以使用原始偶的方法解决此稳定性受限的优化问题,即使在建模误差下也恢复了基础系统的稳定策略。将此方法与模型学习结合在一起,我们提出了一个基于模型的RL框架和正式稳定性保证,Krasovskii-限制性增强学习(KCRL)。我们在模型学习中使用基于内核的特征表示KCRL,并提供了样本复杂性保证,以学习针对基础系统的稳定控制器。此外,我们从经验上证明了KCRL在学习分布式电源系统的在线电压控制中学习稳定政策的有效性。我们表明,KCRL在各种真实的太阳能和电力需求中稳定该系统,而标准RL方法通常无法稳定。
• 李雅普诺夫稳定性、渐近稳定性、指数稳定性 • 李雅普诺夫稳定性定理 • 李雅普诺夫函数构造 • Krasovskii 方法、变量梯度法、Zubov 方法 • 线性系统稳定性和李雅普诺夫线性化方法 • 不变性原理 • 不变集稳定性定理 • 逆李雅普诺夫定理 • 不稳定性定理 • 部分稳定性 • 时变系统的稳定性理论 • 拉格朗日稳定性、有界性和最终有界性 • 庞加莱映射和周期轨道稳定性