基于深度强化学习的综合能源系统动态经济调度

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义.然而,系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动,传统的调度方法难以准确地适应实际环境的动态变化.针对这一问题,提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法.首先对综合能源系统动态经济调度问...     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

基于深度强化学习的居民综合能源系统管理研究

随着居民综合能源系统（residential integrated energy system,RIES）中能源类型、设备种类愈加丰富,如何应对多能异质负荷与外部能源价格信号的波动性,是提升居民综合能源系统精细化管理水平和优化系统经济效益的关键。以包含电、热、气能源的居民综合能源系统模型为研究对象,基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)深度强化学习算法构建R IES管理模型。针对RIES多能价格信号与负荷不确定性问题,对居民综合能源系统中的能源采购和储存行为进行动态调节,在满足多能负荷要求的前提下,尽可能优化经济效益。最后通过对比仿真验证了该模型的有效性,可实现居民侧能源系统多能管理,促进系统经济效益的提高。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

基于深度强化学习的家庭综合需求响应在线优化

家庭综合需求响应(home integrated demand response, HIDR)是重要的节能减排技术,家庭能源系统的不确定性和设备动态投退,要求HIDR优化策略具有在线自适应调整能 力.该文以深度强化学习为核心,研究HIDR在线优化方法.首先,鉴于气电两用设备对HIDR的重要价值,将其作为优化对象.然后,...     

考虑多重不确定性的园区综合能源系统区间优化调度

电力市场环境下,园区综合能源系统需要考虑电价波动以制定第二天的调度计划。而风电和光伏发电等分布式电源出力的不确定性给园区综合能源系统经济运行带来了巨大挑战。文中提出了一种考虑多重不确定性的园区综合能源系统区间优化调度方法。首先,采用区间理论对电价和分布式电源出力的不确定性进行了建模;然后,以日运行费用最低为目标,结合综合能源系统运行约束,建立了考虑不确定性的园区综合能源系统日前优化调度模型;最后,采用区间线性规划方法对模型进行求解。算例结果验证了所提模型和方法的有效性。     

基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性,是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型,构建上、下两层深度确定性策略梯度（DDPG）管理模型,分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明,所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况,还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案,并优化其总体经济效益。     

考虑运行状态信息的综合能源系统图强化学习优化调度

“双碳”背景下,异质能源的耦合加剧迫使综合能源系统(integrated energy system, IES)拓扑朝着更复杂、更灵活的方向不断演变。然而,现有优化调度方法对非欧网络拓扑知识及其异质潮流约束考虑不足。针对这一问题,提出一种基于图强化学习的综合能源系统优化调度方法。首先,基于图理论在保证节点多样状态的情况下,将异质能源网络拓扑转换为网络图模型。其次,通过建立基于真实图映射的状态-动作-奖励的框架,利用图强化学习的方法学习图模型的非欧拓扑信息,将异质潮流知识加入系统节点运行状态,从而实现IES的安全优化调度。最后,利用某工业园区的真实数据进行仿真验证,所提方法相对于传统方法有效缓解了节点电压越限的问题。结果表明,所提方法能够在考虑IES真实拓扑运行状态信息和异质潮流安全的情况下实现IES的优化调度。     

基于能源集线器的区域综合能源系统分层优化调度

针对时变电价且运行方法灵活的中小型区域综合能源系统,提出一种基于能源集线器的分层优化模型。研究区域综合能源系统耦合关系和热电比可调机理,建立能源集线器扩展模型。计及包括用能替代的综合需求侧响应,以综合用能成本较低和用能能效较高为目标建立双层优化模型,采用Lagrange乘子法将下层目标KKT条件作为上层优化的可行性度量进行求解。对于具体ICES网络拓扑,考虑能量连接器的动态过程并计算混合潮流,选取电/热/气网运行状态评价指标,对多目标问题进行Pareto决策面搜索,应用模糊综合决策方法在机组分配方案中择优。算例验证了所提方法的有效性。     

电力市场环境下基于深度强化学习的微网能量管理系统实时自动控制算法

作为多类分布式能源的集成者,微网在促进清洁低碳能源发展方面有巨大潜力.然而,可再生能源出力的不确定性给微网的管理带来了挑战,同时也将这种不确定因素带给外部电网.文章基于实时市场,构建了一个包含新能源机组、传统机组和需求响应资源的微网环境,并采用了能够利用环境信息的深度确定性策略梯度算法,这种无模型(Model-free...     

基于深度强化学习的光储充电站储能系统优化运行

优化储能充放电策略有利于提升光储充电站运行经济性,但是现有模型驱动的随机优化方法无法全面考虑储能系统的复杂运行特性以及光伏发电功率、电动汽车充电负荷的不确定性.因此,提出一种基于深度强化学习的光储充电站储能系统全寿命周期优化运行方法.首先对储能运行效率模型和容量衰减模型进行精细化建模.然后考虑电动汽车充电需求、光伏出力和电价的不确定性,在满足电动汽车充电需求和光伏消纳的条件下,以光储充电站收益最大化为目标,建立了基于强化学习的储能优化运行问题.考虑到储能充放电决策动作的连续性,采用双延迟深度确定性策略梯度算法进行求解.采用实际历史数据对模型进行训练,根据当前时段状态对储能充放电策略进行实时优化.最后,对所提方法及模型进行测试,并将所提出的方法与传统模型驱动方法进行对比,结果验证了所提方法及模型的有效性.     

计及源荷多重不确定性的综合能源系统鲁棒经济调度方法

可再生能源出力、购能价格和综合需求响应量等多重不确定性因素给综合能源系统(Integrated Energy System,IES)安全经济运行带来了严峻的挑战。对不确定性因素的精细化建模,可以提高综合能源系统调度策略的有效性和优越性。首先在分析多重不确定性特性的基础上,分别采用随机场景法和鲁棒优化法对购能价格、风光出力和综合需求响应等多重不确定性进行建模。此外,由于先进绝热压缩空气储能(Advanced Adiabatic Compressed Air Energy Storage, AA-CAES)具有冷-热-电联储联供的优点,可以增强系统运行灵活性,因此,选择AA-CAES作为IES的储能系统。然后,构建含AA-CAES的IES鲁棒-随机优化模型,并采用蝙蝠算法对模型进行求解。最后,基于某地区的数据开展仿真分析。结果表明,所提方法能够减少系统运行成本,实现经济性与鲁棒性的协调优化。     

基于深度强化学习的充光储能源站调度策略

为了应对大规模电动汽车调度模型求解复杂、算力要求高的问题,机器学习方法在电动汽车充电导航调度中越来越受到关注。针对充光储一体化能源站,文中提出了一种基于深度强化学习(DRL)的充光储能源站调度策略。首先,分析了能源站运行策略与DRL基本理论。其次,基于后悔理论刻画用户对不同充电方案时间与费用的心理状态,建立了智能体对"人-车-站"状态环境全感知模型,并引入时变ε-greedy策略作为智能体动作选择方法以提高算法收敛速度。最后,结合南京市实际道路与能源站分布设计了多场景算例仿真,结果表明所提方法在考虑用户心理效应的基础上能够有效提高能源站光伏消纳率,为电动汽车充电调度提供了一种新思路。     

考虑阶梯式碳交易的电-气-热综合能源系统低碳经济调度

针对如何实现系统低碳经济调度的问题,将阶梯式碳交易引入电-气-热综合能源系统低碳经济调度模型中,综合考虑系统的低碳性和经济性.首先,分析传统碳交易机制和阶梯式碳交易机制的区别,并说明阶梯式碳交易机制的合理性.然后,建立含电转气和燃气机组的电-气-热综合能源系统模型,并在模型中引入碳交易机制,比较不同碳交易机制下系统的低碳性和经济性.最后,基于改进的IEEE 30节点电网模型、6节点热网模型、7节点气网模型的系统,利用CPLEX软件对此系统进行仿真,验证所提的阶梯式碳交易机制对降低系统碳排放的有效性,从而为综合能源系统低碳调度运行提供参考.     

融合图神经网络模型与强化学习的综合能源系统优化调度

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究,将系统状态表示为向量用于学习的模式,其训练效率与信息利用率较低。针对这一问题,提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先,将电-热-气综合能源系统建模为图结构数据,充分利用系统的拓扑信息。其次,提出了基于图神经网络架构的强化学习模型,使其可以充分利用图结构信息实现更快的训练速度,获得更大的探索空间。最后,将表示系统状态的图结构信息送入该模型进行训练,算例仿真验证了该方法的训练效率与探索能力。     

基于联邦学习的综合能源系统集成需求响应机制

随着能源集成技术的发展,需求响应已经逐渐进化到集成需求响应(IDR),同时用户对于隐私保护的关注也日益增长。针对拥有冷热电设备和负荷的配电网侧综合能源系统,建立了多能源耦合交互模型,以反映不同能源消费行为之间的相互影响,并以运行成本最低为目标,以设备出力特性和多能源负荷特性为约束,设计了IDR优化模型。为了保护用户隐私,提出了联邦学习(FL)架构,重写IDR模型并将其置于该FL架构中进行迭代计算。仿真结果表明所提计算方法与不考虑耦合的传统需求响应方案相比,具有较好的成本优势;与其他分布式需求响应算法相比,计算效率也有所提升。