电力系统脱碳需要将可再生能源引入能源供应结构。然而,供应结构中的间歇性能源使平衡能源供需更具挑战性。当可再生能源产生的能源超过需求时,储能系统可以储存能源,当发电量不足时提供能源,从而平衡供需。然而,在操作电池时不考虑退化会大大缩短电池的使用寿命并增加与退化相关的成本。现有的优化技术在确定最佳电池操作策略时会考虑退化,这既需要大量计算又耗时。强化学习等机器学习技术可以开发出以毫秒为单位计算行动策略并考虑复杂系统动态的模型。在本文中,我们考虑了电池操作的能源套利问题。我们探索使用强化学习来确定考虑退化的套利策略。我们将强化学习学到的策略与由高级混合整数线性规划 (MILP) 模型确定的 NYISO 2013 日前电价数据的最佳策略进行了比较。我们表明,考虑到强化学习,学习到的策略与 MILP 确定的退化策略的行为相当。然后,我们介绍了一个案例研究,该案例研究使用强化学习来确定 PJM 2019 实时电价数据的套利策略,我们发现在能源套利的情况下,使用强化学习进行实时电池操作是有前景的。
主要关键词