马尔可夫决策过程使代理商与其环境之间的非确定性相互作用在可拖动的随机框架内进行建模。每次代理人观察当前状态,并采取行动,从而立即获得奖励。当时代理的目标是优化其预期的累积奖励。在数学上,马尔可夫决策问题是基于动态编程原则解决的,其框架是许多强化学习算法的基础,例如,例如Q-学习算法。有关马尔可夫决策过程的理论,请参见[5,10,25,26],以及[1,6,7,11,11,12,15,20,29,33]有关其应用,尤其是在强化学习领域。在马尔可夫决策问题的经典设置中,给出了基础马尔可夫决策过程的过渡概率的过渡内核。从经济上讲,这意味着代理具有对基本过程的真实分布的了解,这通常在实践中不能做出理由。为了解决这个问题,学者们最近引入了马尔可夫决策问题的强大版本,以说明假定的潜在概率内核可能的误约