价值函数分解已成为在培训和分散执行范式下进行合作多代理增强学习的普遍方法。这些算法中的许多算法通过使用代理实用程序的单调混合函数来分配最佳的关节作用功能,以确保分散决策的关节和局部选择之间的相干性。尽管如此,利用单调混合函数也会引起表示局限性,并且在单调函数类别上找到无约束的混合函数的最佳投影仍然是一个开放的问题。在本文中,我们提出了QPRO,该QPRO对价值函数分解的最佳投影问题置于遗憾的是对不同过渡的投影权重的最小化。可以使用Lagrangian乘数方法放松和解决此优化问题,以遵守封闭形式的最佳投影权重,在该方法中,我们通过最大程度地减少预期收益的遗憾政策,从而缩小最佳和受限单调混合功能之间的差距,从而增强单调值函数分支。我们的实验证明了我们方法的有效性,表明在具有非单调价值函数的环境中的性能提高了。
主要关键词