硬约束

在瞬时硬约束下进行安全加固学习的近乎最佳算法

决策问题通常被建模为马尔可夫决策过程（MDP），在线学习者依次与未知环境进行互动以获得大量的预期累积奖励。在文献中提出了许多没有任何约束（因此允许自由探索任何州行动对）的RL算法（因此可以自由探索任何州行动对）（Azar et al。，2017年； Jin等。，2018年； Agarwal等。，2019年； Jin等。，2020年； Jia等。，2020年；周等人。，2021b;他等人。，2022）。以外，现有的“安全” RL算法通常是在需要预期累积的约束下设计的，2019年； Brantley等。，2020年；丁等。，2021; Pa-Ternain等。，2022）（请参阅第1.2节中的更多相关工作）。因此，必须避免在每个时间/步骤中避免不安全状态和动作的实际情况。