机构名称：
¥ 1.0
证明。由于我们有兴趣将差异vπ（s）-vπ'（s）界限，因此我们可以将奖励奖励r（s，a）∈[ - 1，1]映射到新的奖励1 + r（s，a）∈[0，2]而不会影响状态值函数的差异。因此，在没有一般性的情况下，我们可以假设奖励在[0，2]中有限。对于任何s∈S，概率为1 -ε，我们具有π'（·| s）=π（·| s）。令T为随机范围，Tε是π和π'首次从两个不同的分布中选择其作用。因此，p（tε> t |t≥t）=（1 -ε）t。让rπt是从s 0 = s开始的时间t的π的奖励。然后
