考虑运行状态信息的综合能源系统图强化学习优化调度

“双碳”背景下,异质能源的耦合加剧迫使综合能源系统(integrated energy system, IES)拓扑朝着更复杂、更灵活的方向不断演变。然而,现有优化调度方法对非欧网络拓扑知识及其异质潮流约束考虑不足。针对这一问题,提出一种基于图强化学习的综合能源系统优化调度方法。首先,基于图理论在保证节点多样状态的情况下,将异质能源网络拓扑转换为网络图模型。其次,通过建立基于真实图映射的状态-动作-奖励的框架,利用图强化学习的方法学习图模型的非欧拓扑信息,将异质潮流知识加入系统节点运行状态,从而实现IES的安全优化调度。最后,利用某工业园区的真实数据进行仿真验证,所提方法相对于传统方法有效缓解了节点电压越限的问题。结果表明,所提方法能够在考虑IES真实拓扑运行状态信息和异质潮流安全的情况下实现IES的优化调度。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

综合能源系统混合时间尺度多目标强化学习低碳经济调度EI北大核心CSCD

为解决综合能源系统中多时间尺度异质能源难以协调优化调度问题和响应“双碳”目标号召,该文提出了一种综合能源系统混合时间尺度多目标强化学习低碳经济调度方法。首先,将异质能源子系统的差异化调度时间尺度同步协调为混合时间尺度,建立综合考虑经济性、碳排放和[火用]效率的多目标优化调度模型;然后针对该调度模型,通过融合混合时间尺度设计动作空间、基于状态特性划分状态空间和采用TOPSIS法构造多目标奖励函数,构建一种新型混合时间尺度多目标强化学习方法;并结合近端策略优化算法实现了基于混合时间尺度实时反馈的在线优化调度决策。算例仿真表明,所提方法具有可行性和优越性。     

基于柔性策略-评价网络的微电网源储协同优化调度策略

近年来,微电网中的可再生能源与储能占比不断增大,给其优化调度带来了新的挑战。针对微电网源储协同调度问题中非凸非线性约束带来的求解困难,利用深度强化学习算法构建基于数据的策略函数,通过不断地与环境进行交互学习寻找最优策略,避免了对原非凸非线性问题的直接求解。考虑到训练过程中策略函数可能不满足安全约束,进一步提出了一种利用部分模型信息的微电网源储协同优化调度安全策略学习方法,得到了满足网络安全约束的优化策略。此外,针对强化学习的智能体在训练过程中与环境的交互耗时较长的问题,采用神经网络对环境进行建模以提高学习效率。     

考虑碳捕集与综合需求响应互补的综合能源系统优化调度

能源产业是当前碳排放的主要来源,实现“双碳”目标亟需能源产业提高碳减排力度。基于此背景,提出一种阶梯型碳交易机制下源荷低碳互补的综合能源系统优化调度方法。分析源侧碳捕集与负荷侧综合需求响应的低碳互补机理;引入阶梯型碳交易机制,以综合能源系统运行总成本最小为目标建立源荷低碳互补的优化调度模型;求解模型时,为应对风力发电的不确定性,采用序列运算理论将风电的概率分布离散化,将机会约束转化为确定性约束。通过算例分析验证了所提调度模型在不同碳交易机制下都能优化电热负荷曲线,提高风电消纳水平和减少碳排放量,并且该模型在阶梯型碳交易机制下具有更好的低碳经济性。     

可再生能源为主体的农业能源互联网碳循环建模与优化

“双碳”目标对能源领域和农业领域的节能减排提出了更高要求。农业能源互联网作为能源与农业深度耦合的产物,是实现碳中和的重要手段。提出一种面向农业能源互联网碳循环的核算方法以及计及农业柔性负荷及碳交易的农业能源互联网优化运行策略。首先,构建了农业园区内光伏、热电联产等碳排放核算模型。其次,以园区日运行成本最低为目标函数,考虑等式及不等式约束,构建优化调度模型。最后,以某园区农业能源互联网为研究对象对优化模型进行仿真,详细核算园区内碳排放情况,并通过与其他农业园区对比验证碳模型的正确性。结果表明,该优化调度策略可有效降低农业园区碳排放,实现碳中和。     

考虑可再生能源不确定性的综合能源系统优化调度方法

综合能源系统是实现可再生能源充分消纳和解决其不确定性的有效途径。专注于区域综合能源系统的优化调度问题,首先建立了以电为核心的综合能源系统优化调度模型,充分考虑高渗透率可再生能源的不确定性,分别在采暖期和空调期建立了系统运行约束模型、冷/热负荷供需平衡约束模型以及不确定性约束模型;其次采用具有良好全局搜索能力的粒子群算法作为调度模型求解算法;最后通过具体算例验证了该模型和算法可得到综合能源系统优化调度方案,并分析了可再生能源不确定性对调度方案经济性的影响,分析结果表明通过适当增加消纳备用可以有效避免因可再生能源不确定性引起的潜在经济损失。     

综合能源系统优化调度综述

综合能源系统能够提高能源利用效率、促进可再生能源的消纳。专注于综合能源系统优化调度问题。首先从文献发表的内容、期刊和年份的角度,分析了综合能源系统优化调度的研究发展趋势和热度。然后围绕调度模型、方法两个方面对综合能源系统优化调度的研究现状进行梳理和归纳。在基本模型的基础上,根据研究重点的差异,分别论述了考虑能流差异性的优化调度模型、考虑系统灵活性的优化调度模型、考虑系统随机性的优化调度模型;将目前调度模型的求解方法分为解析法和人工智能方法,分别进行论述;对综合能源系统仿真平台的特点、功能、适用场景进行了归纳。最后,分析当前存在的问题与解决思路,对未来的研究方向进行展望,为该方向的科研工作者提供参考。     

可再生能源为主体的农业能源互联网碳循环建模与优化

“双碳”目标对能源领域和农业领域的节能减排提出了更高要求。农业能源互联网作为能源与农业深度耦合的产物,是实现碳中和的重要手段。提出一种面向农业能源互联网碳循环的核算方法以及计及农业柔性负荷及碳交易的农业能源互联网优化运行策略。首先,构建了农业园区内光伏、热电联产等碳排放核算模型。其次,以园区日运行成本最低为目标函数,考虑等式及不等式约束,构建优化调度模型。最后,以某园区农业能源互联网为研究对象对优化模型进行仿真,详细核算园区内碳排放情况,并通过与其他农业园区对比验证碳模型的正确性。结果表明,该优化调度策略可有效降低农业园区碳排放,实现碳中和。     

考虑预测不确定性的微电网实时控制策略研究

风能、光伏等可再生能源的高比例并网成为了缓解全球能源危机的一项重要措施。然而,可再生能源实时出力中的间歇性和波动性给系统的安全性带来了一定的挑战。为了在提高可再生能源利用率的同时保证系统安全性,提出了一种基于深度强化学习(DRL)算法的运行优化实时调度模型。首先,构建了负荷预测模型实现负荷预测和高斯混合模型拟合预测误差;其次,考虑系统各节点的约束条件,以系统运行成本和安全运行作为优化目标,建立相应优化模型;然后,将优化问题转化为马尔可夫决策过程,并采用双延迟深度确定性策略梯度算法求解;最后,利用DRL算法的环境交互机制和策略自由探索,获得联合调度策略的最优结果。实验结果表明,所提方法具有良好的适应性,并且可以进行在线实时调度。     

基于优势柔性策略-评价算法和迁移学习的区域综合能源系统优化调度

为提高清洁能源消纳率及减少碳排放对环境的污染，实现更具泛化能力、鲁棒性和高效性的区域综合能源系统优化调度，该文提出了基于优势柔性策略–评价(advantage learning soft actor-critic,ALSAC)算法和迁移学习的区域综合能源系统优化调度方法。利用环境信息与智能体进行通信交互，以低碳、经济为目标实现区域综合能源系统的优化调度。在文中分析了提升柔性策略–评价(soft actor-critic,SAC)鲁棒性的最大熵机制，并与基于策略梯度的多种深度强化学习算法和启发式算法进行了性能对比，随后将优势学习的思想引入SAC的Q值函数更新中，解决了算法对Q值的过估计问题，提升了算法的性能。为提高智能体的学习效率和应对新场景的泛化能力，加入了迁移学习的参数迁移。算例表明，基于ALSAC算法和迁移学习的优化调度策略具有较好的鲁棒性、泛化能力和高效的学习效率，实现区域综合能源系统的灵活高效调度。     

基于近端策略优化算法的新能源电力系统安全约束经济调度方法

针对高比例新能源接入导致电力系统安全约束经济调度难以高效求解的问题,该文提出了一种基于近端策略优化算法的安全约束经济调度方法。首先,建立了新能源电力系统安全约束经济调度模型。在深度强化学习框架下,定义了该模型的马尔科夫奖励过程。设计了近端策略优化算法的奖励函数机制,引导智能体高效生成满足交流潮流以及N-1安全约束的调度计划。然后,设计了调度模型与近端策略优化算法的融合机制,建立了调度训练样本的生成与提取方法以及价值网络和策略网络的训练机制。最后,采用IEEE 30节点和IEEE 118节点2个标准测试系统,验证了本文提出方法的有效性和适应性。     

主动配电网优化调度策略研究

主动配电网的优化调度策略是主动配电网实现经济及安全运行的重要保障,也是主动配电网对于分布式能源实施主动管理的核心技术。文中提出了一种考虑主动配电网特性以及分布式能源特性的优化调度模型,该模型以一个完整调度周期的运行成本最低为目标函数,以可控分布式能源以及联络开关作为控制手段,考虑不同时段电价以及联络开关调整对于运行成本的影响,并确保储能系统在整个调度周期的能量守恒以及容量约束。此外,针对所提出的主动配电网优化调度模型,提出了基于智能单粒子优化算法(ISPO)的求解方法,通过对粒子的位置表达形式以及粒子位置更新过程的改进,实现完整调度周期内复杂的主动配电网优化调度策略求解。最后,算例的计算结果验证了主动配电网优化调度模型及其求解算法的有效性。     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

基于确定性策略梯度深度强化学习和模仿学习的多源微电网经济优化调度策略

当前国家大力实施“双碳”战略,以新能源为主体的新型电力系统将呈现爆发式增长,风电、光伏等新能源机组逐渐成为主力电源,微电网得以提出并迅速发展,其调度与优化问题也成为研究的热点。传统的基于数学建模与求解的微电网有功优化调度方法计算量大且十分复杂,存在易陷入局部最优、模型修改困难等瓶颈问题,因此提出基于确定性策略梯度深度强化学习(DDPG)和模仿学习(XGBoost)的经济优化调度策略。首先构建微电网有功优化调度的统一预置数学模型,其次通过构建XGBoost模型学习得到初始宏观决策,最后再构建基于DDPG的微电网有功调度人工智能模型。通过进行XGBoost分类器和DDPG神经网络离线训练,得出基于确定性策略梯度深度强化学习和模仿学习的微电网优化调度在线决策模型,最后通过算例分析验证了模型和算法的有效性。     

基于深度强化学习的微电网源-荷低碳调度优化研究

提升可再生能源在能源供给中的比例成为实现低碳经济的重要举措之一。为减少碳排放量并降低用电成本,提出了一种基于深度强化学习的微电网低碳经济优化调度模型。首先,介绍了碳排放流理论并基于此构建了碳计量模型以及阶梯碳价模型;其次,将低碳经济优化问题转换为一个马尔科夫决策;最后,利用深度强化学习对该多目标优化问题求解。实验结果表明,所提方法通过控制发电机组的出力以及负荷的转移,有效地提升了系统经济性并降低了碳排放量。     

多智能体深度强化学习驱动的跨园区能源交互优化调度

为协调多园区综合能源系统各个园区之间的能量交互,多能源子系统之间的能源转换,实现综合能源系统整体优化调度,提出一种利用多智能体深度强化学习算法学习不同园区的负荷特征,并在此基础上进行决策的综合调度模型。该模型将多园区综合能源系统的调度问题转化为马尔科夫决策过程,并利用深度强化学习算法进行求解,避免了对多园区、多能源子系统之间复杂的能量耦合关系进行建模。仿真结果表明,所提方法可以很好地捕捉到不同园区的负荷特性,并利用其中的互补特性协调不同园区之间进行合理的能量交互,可以实现弃风率由16.3%降低至0,并可以使总运行成本降低5 445.6元,具有良好的经济效益和环保效益。     

园区综合能源系统多目标优化调度与合作博弈求解

环境问题和低碳政策加剧了综合能源系统优化运营策略的碳排放压力。针对该问题,建立了园区综合能源系统运行下的多目标优化调度模型,该模型考虑了以总运行成本和碳排放分别描述调度策略的经济性与环保性。针对多目标权重选择易存在主观性偏差的问题,将多目标优化问题转化为经济性与环保性的合作博弈,并提出了基于卡罗需-库恩-塔克（KKT）条件下的多目标Parato前沿求解方法,进而采用基于安德森加速的ADMM算法计算合作博弈解。采用合作竞争博弈思想来确定实现的经济性与环保性两个目标之间的相协调的折中方案和最佳调度运行策略。最终算例部分通过分析四个季节典型日的园区综合能源系统优化调度策略,对所提方法进行了多场景验证,结果表明,所提方法可以在运行成本和碳排放之间做出合理的权衡。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

基于改进TD3算法的综合能源系统低碳经济调度

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该算法在实际应用时存在训练效率普遍较低的问题。对此,提出了一种基于改进双延迟深度确定性策略梯度算法的调度决策模型。首先基于综合能源系统低碳经济调度特性建立序贯马尔可夫决策过程模型;进而应用改进双延迟深度确定性策略梯度算法构建并训练神经网络,避免过估计并提高网络输出稳定性。同时,为提升网络训练效率,以求和树对训练过程中的历史经验数据进行存储和经验回放采样。实验结果表明,所提方法能对综合能源系统低碳经济调度问题进行有效求解,且比传统强化学习算法表现更优。