PowerGrid

PowerGridworld：电力系统中多智能体强化学习的框架：预印本

我们推出了 PowerGridworld 开源软件包，为用户提供轻量级、模块化和可定制的框架，用于创建以电力系统为中心的多智能体 Gym 环境，这些环境可轻松与现有的强化学习 (RL) 训练框架集成。尽管存在许多用于训练多智能体 RL (MARL) 策略的框架，但没有一个可以快速制作原型并开发环境本身，尤其是在异构（复合、多设备）电力系统的背景下，其中需要电力流解决方案来定义电网级变量和成本。PowerGridworld 有助于填补这一空白。为了突出 PowerGridworld 的主要功能，我们提供了两个案例研究，并演示了使用 OpenAI 的多智能体深度确定性策略梯度 (MADDPG) 和 RL-Lib 的近端策略优化 (PPO) 算法学习 MARL 策略。在这两种情况下，至少有一些智能体子集在每个时间步骤中将电力流解决方案的元素作为其奖励（负成本）结构的一部分。