机构名称：
¥ 1.0
基于模型的增强学习（MBRL）是一种获得控制策略的样本有效技术，但不可避免的建模误差通常会导致性能恶化。MBRL中的模型通常仅用于重建动态，尤其是状态观察，而模型误差对策略的影响并未由培训目标捕获。这导致MBRL的目标目标之间的不匹配，实现良好的政策和价值学习，以及实践中采用的损失函数的目标，未来的国家预测。天真的直觉表明，价值感知的模型学习将解决这个问题，实际上，已经基于理论分析提出了针对该客观不匹配问题的第二种解决方案。但是，在实践中，它们往往不如通常使用的最大可能性（MLE）方法。在本文中，我们提出了价值梯度加权模型损失（VAGRAM），这是一种新颖的价值模型学习方法，可改善MBRL在具有挑战性的环境中的性能，例如小型模型容量和分散注意力的状态尺寸。我们分析了MLE和值感知的方法，并演示了他们如何在学习价值吸引模型时无法解释样本覆盖范围和功能近似的行为。fom，我们强调了在深度学习环境中稳定优化的其他目标。为了实现这一目标，我们利用经验值函数的梯度作为对RL算法对模型误差的敏感性的量度。我们通过表明我们的损失函数能够在Mujoco基准套件上获得高回报来验证我们的分析，同时比基于最大似然的方法更健壮。
值梯度加权模型...
主要关键词
相关文件推荐
