机构名称：
¥ 1.0
摘要：有效但充分的探索仍然是强化学习（RL）的关键挑战，尤其是对于马尔可夫决策过程（MDP），具有巨大的动作空间。以前的方法通常涉及将原始动作空间投射到潜在空间或采用环境动作面具以减少动作的可能性。尽管如此，这些方法通常缺乏可解释性或依赖专家知识。在这项研究中，我们介绍了一种新颖的方法，用于自动降低具有离散动作空间的环境中的动作空间，同时保持可解释性。所提出的方法以双重目的学习了特定于州的面具：（1）消除对MDP最小影响的动作，以及（2）在MDP中具有相同行为后果的汇总行动。具体来说，我们介绍了一个新颖的概念，称为国家（BMA）的行动（BMA）来量化MDP内行动的行为后果，并设计一个专门的掩码模型以确保其二进制性质。至关重要的是，我们提出了一个实用的学习程序，用于培训掩模模型，利用任何RL策略收集的过渡数据。我们的方法旨在插入插件和适应所有RL策略，为了验证其有效性，将其集成到两种突出的RL算法中，即DQN和PPO。从迷宫，Atari和µRTS2获得的实验结果显示在RL学习过程中有很大的加速，并且引入方法促进了促进的性能改善。
学习特定于州的强化学习面具
主要关键词
相关文件推荐
