抽象的深入强化学习表明,在视频游戏,机器人控制,官方驾驶和药物发现等不同领域的跨不同领域取得了巨大的成就。部分可观察的域中的常见方法在很大程度上倾向于从高维观测(例如图像)中端到端学习,而没有明确推理真实状态。我们提出了一个替代方向,引入了部分规定的加固学习(PSRL)框架。PSRL的核心是受监督和无监督学习的融合。该方法利用州估计器从高维观测中提取监督的语义状态信息,这些观察通常在培训时完全可用。这产生了更容易解释的政策,这些政策由控制构成状态预测。并行,捕获了一个无透视的潜在表示。这两个 - 语义状态和潜在状态 - 然后融合并用作策略网络的输入。这种并置为从业者提供了灵活而动态的范围:从强调监督的状态信息到整合富裕的潜在见解。广泛的实验结果表明,通过合并这些双重表示,PSRL提供了有效的平衡,增强了模型,可以在保存的同时使用,并且通常明显胜过表现,这是通过奖励和收敛速度以传统方法设定的性能基准。
主要关键词