机构名称：
¥ 1.0
强化学习（RL）在安全至关重要的地区取得了非凡的成功，但可以通过广泛的攻击来削弱它。最近的研究引入了“平滑政策”，以增强其鲁棒性。然而，建立可证明的保证以证明其全部奖励的约束仍然是挑战。先前的方法主要依赖于使用Lipschitz的连续性或计算累积奖励的概率高于特定阈值的概率。但是，这些技术仅适用于对RL药物观察结果的继续扰动，并且仅限于受L 2 -Norm界定的扰动。为这些限制做好了限制，本文提出了一种称为Receps的一般黑盒认证方法，该方法能够直接证明在各种L p-Norm有限扰动下平滑政策的累积奖励。更重要的是，我们扩展了我们的方法，以证明对动作空间的扰动。我们的方法利用F-差异来确保原始分布与扰动分布之间的区别，然后通过解决凸优化问题来确定限制的认证。我们提供了全面的理论分析并在多种环境中进行实验。我们的结果表明，我们的方法不仅可以改善平均累积奖励的认证下限的紧密度，而且还表现出比最新方法更好的效率。
政策平滑的加强学习奖励认证
主要关键词
相关文件推荐
