基于强化学习算法的水库优化调度研究

为解决复杂现实环境下的水库优化调度问题,采用强化学习的Q-learning算法,以哈希表作为核心数据结构,在逐幕生成水库可行调度方案的同时,单时段优化Q值,最终依据各时段的最优Q值生成水库最优调度方案.试验分析结果表明,当迭代次数达到一定数量时,Q-learning算法能够达到理论上的最优解;依据水库调度历史数据建立最...     

含不同集群电动汽车的微电网优化调度

文章考虑微电网中的可再生能源出力,针对不接受微电网直接调度的电动汽车集群,提出一种基于等效负荷的实时电价策略进行电动汽车有序充、放电引导。该策略与微电网直接调度策略相结合,对不同集群电动汽车进行充、放电管理,并综合考虑环境效益、车主收益与微网运行状态,建立了以微电网综合运行成本最低、负荷波动最小为目标的优化模型,并用灰狼优化算法求解。优化结果表明,所提出的策略能够合理调度各可控发电单元,引导电动汽车有序充、放电,减少微电网运行成本,降低等效负荷的波动。     

基于深度强化学习的微电网储能调度策略研究

针对含光伏发电的微电网系统储能调度问题,文章提出了一种基于深度强化学习的微电网储能系统调度策略。为了分析不同场景组合模型对微电网储能调度策略的影响,以住宅用户微电网系统为例,构建了微电网调度问题环境模型。选取两种电价方式和3种场景进行理论分析,利用深度卷积神经网络(DCNN)提取微电网调度时间序列信息特征,以Q值强化学习机制实现微电网储能调度策略。研究结果表明,对于不同电价方式的场景,强化学习算法都能充分发挥模型的自主性,主动学习环境信息,获得最优调度策略。其中,实时电价方式下"光伏预测量+时间序列信息"的场景组合使微电网获得最大运行收益。与无干扰场景相比,在加入20%光伏发电量的随机干扰场景下,文章所建立的基于强化学习的场景组合模型使微电网获得的运行收益的偏差仅为2.5%。     

基于多智能体深度强化学习的地区电网群体协同优化调度策略

充分发挥可调控资源群体的调控特性可以极大提升地区电网动态调节能力。为此,文章提出一种面向可调控资源群体的协同优化调度方法,并利用多智能体深度强化学习技术求解多群体复杂协同问题。首先,对考虑多可调控资源群体的地区电网优化调度问题进行建模,设定电网优化目标及系统安全运行约束等条件;其次,阐述多智能体深度确定性策略梯度算法基本原理;然后,利用策略梯度更新算法,进行“集中训练-分散执行”寻求可调控资源群体协同最优调度策略,并定义相应评价指标分别测试智能体的离线训练效果和在线应用效果;最后,基于改进的IEEE测试系统,验证所提方法的有效性。     

多目标综合利用水库实时优化调度模型研究

以河北省洋河水库为例，建立了具有引青调水和水库泄水两个决策变量的综合水库多目标动态规划实时优化调度模型，提出了含变动罚系数的离散微分动态规划方法，经计算七成果分析表明，所提模型与方法进可行和实用的。     

基于改进深度强化学习的智能微电网群控制优化方法

针对微电网群控制的经济效益、负荷波动以及碳排放问题,提出一种基于改进深度强化学习的智能微电网群运行优化方法.首先,计及分布式电源、电动汽车及负荷特性,提出微电网的系统模型.然后,针对微电网群的运行特点,提出4个系统优化目标和5个约束条件,并且引入分时电价机制调控负荷运行.最后,利用改进深度强化学习算法对微电网群进行优化...     

考虑电动汽车接入的微电网多目标优化调度

随着电动汽车普及率的逐年升高,由于电动汽车接入所带来的无序充放电现象对电网稳定运行造成影响。在传统微电网模型的基础上考虑电动汽车的接入,并对该微电网系统进行研究,建立了包含微电网运行成本、电动汽车用户充放电成本的目标函数,采用基于Levy飞行改进的NSGA-II算法对系统进行优化调度。考虑到电动汽车的使用情况具有很强的随机性与灵活性,提出在不同电价机制下电动汽车合理的有序充放电调度策略。提出了基于Levy飞行改进的NSGA-II算法,用Levy飞行生成新的子种群并与传统NSGA-II的子代种群合并,来增强种群多样性,加强探索能力,降低陷入局部最优的概率。最后以某地区微电网系统为例,与NSGA-II标准算法求解结果对比微电网运行成本以及电动汽车用户成本均有明显降低,有较高的实用价值。     

含电动汽车的微网的智能优化调度

摘要： 首先通过分析车辆一天的出行特性,拟合电动汽车日常驾驶距离与开始充电时间的概率分布,采用基于蒙特卡罗模拟的方法来计算电动汽车的充电负荷。然后综合考虑微网的经济效益和环境效益,建立微网的优化调度的数学模型,并提出了一种改进的粒子群算法对该数学模型进行求解。最后以某地区某日负荷为算例,对不同方案下的运行状态进行经济性分析,并在Matlab环境下编程实现该算例,验证了所提方法的可行性和合理性。     

基于李雅普诺夫优化框架的风光储独立微网实时优化调度策略

微电网是整合分布式电源、储能和负荷的重要形式,对提高能源利用效率和系统运行经济性具有重要作用。针对独立微网新能源发电功率的不确定性,文章提出了一种基于在线优化思想的风光储独立微网实时调度策略。有别于传统微电网调度结合历史数据或预测数据生成调度策略的思路,文章基于李雅普诺夫优化框架,以新能源发电随机变量的实时取值作为唯一信息源,以长期收益期望最大化为目标,逐时段求取满足系统约束的实时优化调度策略。算例分析结果表明,文章所提出的在线调度策略与基于完全信息的离线优化调度策略所获长期平均收益之差控制在很小的范围内,可以有效保障独立微网运行的经济性。     

考虑电动汽车用户满意度的微电网双层多目标优化调度

为了解决电动汽车(electric vehicle, EV)大规模接入微电网后,由于无序充电而导致的日负荷波动增大以及运行成本增高的问题,提出了一种考虑用户满意度的微电网双层多目标优化调度方案。方案将微电网日前优化调度过程分为配网层和负荷层,配网层以最小化日负荷方差和最低的系统运行成本为目标,制定了电动汽车聚合商(electric vehicle aggregator, EVA)调度策略。负荷层制定每辆电动汽车的充电策略,在EVA的调度计划下,按照配电网系统层的要求,最大限度地提高用户的综合满意度。通过多场景对比分析,结果表明所提出的优化模型在减少日负荷方差、提高系统经济性的同时,提升了用户综合满意度,增大了用户参与调度的积极性。     

基于两阶段优化模型的电动汽车充电站放电策略

随着电动汽车的普及,合理制定其充放电策略,实现主动配电网和充电站的双赢成为电动汽车负荷并网的研究重点,为此提出一种充电站充放电计划的两阶段优化模型.该模型综合考虑了主动配电网和充电站双方的利益,并计及了电动汽车实际负荷与预测负荷不符的情况.在日前优化阶段,以成本分析为基础,采用Nash谈判法求解配电网和充电站的多目标优...     

混合动力公交车深度强化学习能量管理策略研究

以某款双行星排混合动力公交车为样车,针对控制变量柴油机转速的离散控制和连续控制分别提出基于双深度Q网络(double deep Q-learning, DDQN)和基于双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradients, TD3)的能量管理策略,并使用优先级经验回放对策略进行优化。运用仿真试验,研究样车在C-WTVC工况下的能量管理特性。通过与动态规划策略(dynamic programming, DP)进行对比发现：DDQN和TD3策略收敛速度快,具有较强的自适应能力;与DP策略相似,DDQN和TD3策略在控制逻辑上均表现为低速和较低转矩时纯电驱动,高速和较高转矩时混合驱动;三种策略下柴油机均主要工作于中低转速区间,且TD3策略可以对柴油机转速进行连续控制;DDQN和TD3策略的百公里油耗分别为19.51L和19.48L,燃油经济性均达到DP策略的93%,研究证明了DDQN和TD3策略的有效性。     

基于强化学习的燃气轮机转速控制策略研究

以某三轴燃气轮机作为研究对象,针对燃气轮机各工况下转速失稳、不同海况下的动力响应需求、外部干扰等因素对燃气轮机工作状态的影响问题,设计了基于Q-learning强化学习理论的控制策略,以智能算法在线调试代替人工手动调试过程,实现人工智能理论到工程实际的应用在进行软件层智能算法验证后,通过强化学习算法控制参数的自动优化完成了基于强化学习的转速控制策略硬件在环试验。研究表明：该设计算法可以在燃气轮机运行过程中判断触发、自我训练、自我调整控制参数,保证燃气轮机在各种突发情况下的运行稳定;在三轴燃气轮机转速失稳时,在较短时间内即可完成转速的回稳,并可将转速误差控制在2 r/min内,从而实现了转速失稳时的自救。     

基于n步Q-learning算法的风电抽水蓄能联合系统日随机优化调度研究

针对Q-learning算法求解风电抽蓄联合系统日随机优化调度中,存在功率偏差大及收敛速度慢的问题,提出基于n步Q-learning算法的风电抽蓄日随机优化调度方法.先将风电出力随机过程视为Markov过程并建立风电抽蓄日随机优化调度模型;其次分析n步Q-learning算法应用于优化调度模型中的优势;最后按照应用流程...     

基于深度强化学习的增程式电动轻卡能量管理策略

为了解决增程式电动轻卡辅助动力单元（auxiliary power units, APU）和动力电池之间能量的合理分配问题,在Simulink中建立面向控制的仿真模型,并提出一种基于双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient, TD3）算法的实时能量管理策略,以发动机燃油消耗量、电池荷电状态（state of charge, SOC）变化等为优化目标,在世界轻型车辆测试程序（world light vehicle test procedure, WLTP）中对深度强化学习智能体进行训练。仿真结果表明,利用不同工况验证了基于TD3算法的能量管理策略（energy management strategy, EMS）具有较好的稳定性和适应性;TD3算法实现对发动机转速和转矩连续控制,使得输出功率更加平滑。将基于TD3算法的EMS与基于传统深度Q网络（deep Q-network,DQN）算法和深度确定性策略梯度（deep deterministic policy gradient, DDPG）算法进行对比分析,结果...     

基于可再生能源经济调度时序模拟的绿色证书市场交易研究

梳理可再生能源发电商、常规能源发电商与售电公司等交易主体之间的电力、绿色证书供需关系,以各发电商的利益最大化为目标,建立考虑绿色证书的能源经济调度模型,求解消纳保障机制下发电商电力调度及证书交易策略;通过算例分析说明了绿色证书机制提高可再生能源发电商收益的有效性,消纳责任权重对于绿证价格变化、市场力抑制等市场良性运营具...     

基于综合燃油消耗率的混合动力汽车能量管理策略研究

通过对单轴并联式混合动力汽车综合燃油消耗率的建模计算,以综合燃油消耗率(Integrated Specific Fuel Consumption,ISFC)最低为目标确定了该混合动力系统各工作模式的工作范围,并制定了相应的整车能量管理策略。在此基础上,利用Matlab/Simulink仿真平台,建立了混合动力系统能量管理策略的仿真模型,结果表明采用控制策略使该混合动力汽车的燃油经济性比传统汽车和采用基线控制策略的相同混合动力汽车有显著提高。     

梯级小水电站日负荷优化分配计算的逐次优化法

针对梯级小水电站的实际情况，在给定水库用水量及计划日负荷图的条件下，将负荷优化分配至各电站、各台机组，建立了基于POA算法的数学模型，应用该模型计算的优化分配方案与实际运行数据相比较，电站的经济效益得到了提高。