能源系统正在进行重大过渡,以促进可再生能源技术的大规模渗透并提高效率,从而导致许多部门整合到能源系统领域。随着该领域中的复杂性的增加,使用基于物理模型的现有技术来控制能量流变得具有挑战性。此外,尽管数据驱动的模型(例如增强学习(RL))在许多领域都引起了很大的关注,但无论持续的复杂性如何,在能源领域的直接转移都不可行。为此,一种自上而下的方法用于通过审查当前的艺术状态来理解这种行为。我们根据其应用领域将文献中的RL论文分为七个类别。随后,相对于问题多样性,采用的RL技术,改进性能(与其他白色和灰色框模型相比),验证和可重复性相对于问题多样性,改进性能,进一步研究了每个类别下的出版物;许多文章报告使用RL的性能提高了10-20%。但是,在大多数研究中,没有应用深度学习技术和最先进的参与者 - 批判性方法(例如,双重延迟的深层确定性策略梯度和软性参数批评)。这极大地阻碍了性能的改善,并且尚未考虑与复杂能量流有关的问题。大约一半的出版物报告了Q学习的使用。此外,尽管能源系统域中有历史数据可用,但批量RL算法尚未得到利用。新兴的多代理RL应用程序可以被视为一种积极的发展,可以使多个政党之间的复杂互动管理。与基于模型的方法或灰色框模型相比,大多数研究都缺乏适当的基准测试,并且大多数涵盖了能源调度问题和建立能源管理。尽管RL可以充分解决在多个领域中大量集成的问题,但只有有限的出版物已经讨论了其广泛的应用。本研究清楚地表明,即使没有RL容量的全面利用,该技术在解决能源系统域内不断增加的复杂性方面具有巨大的潜力。
主要关键词