基于改进分层强化学习的CPS指令多目标动态优化分配算法

应用经典强化学习方法的控制性能标准(control performance standard,CPS)下自动发电控制(automatic generation control,AGC)指令(CPS指令)由调度端至电网各台机组的分配过程不可避免出现维数灾难问题。提出应用分层强化学习的方法,将全网机组按调频时延做初次分类,CPS指令逐层分配形成任务分层结构。在分层Q学习算法层与层之间引入一个时变协调因子,改进的分层Q学习算法有效提高原算法收敛速度。奖励函数中设计不同的权值线性组合,展示保守及乐观控制下系统CPS控制水平和调节成本的变化关系。南方电网统计性仿真分析表明,改进分层Q学习算法较分层Q学习算法平均收敛时间缩短47％,在复杂随机扰动的环境中改进算法能有效提高系统CPS考核合格率,并降低调节成本约5％。     

基于CEQ(λ)多智能体协同学习的互联电网性能标准控制指令动态分配优化算法

在CPS指令动态分配过程中,应用单智能体Q(λ)算法下的CPS合格率虽然可以满足要求,但还存在收敛速度较慢、寻优空间较小等问题。为此,提出应用多智能体相关均衡强化学习的方法来弥补单智能体强化学习的不足。根据调频时延将AGC机组分成煤电、气电和水电等类型,对CEQ(λ)应用于这n类智能体组成的CPS调节指令动态分配进行研究分析。标准两区域模型及南方电网模型仿真研究表明:多智能体CEQ(λ)算法适用于随机、机组组合复杂的互联电网CPS指令动态最优分配,能有效提高系统的适应性、鲁棒性和CPS考核合格率。     

互联电网CPS调节指令动态最优分配Q–学习算法

控制性能标准(control performance standard,CPS)下互联电网调度端的自动发电控制(automatic generation control,AGC)指令(简称CPS指令)到各类型AGC机组的动态优化分配是随机最优问题。将CPS指令分配的连续控制过程离散化,并可将其看作是一个离散时间马尔可夫决策过程,提出应用基于Q–学习的动态控制方法。根据优化目标的差异,设计不同的奖励函数,并将其引入到算法当中,有效结合水、火电机组的调节特性,并考虑水电机组的调节裕度,提高AGC系统调节能力。遗传算法和工程实用方法在标准两区域模型及南方电网模型的仿真研究显示,Q–学习有效提高了系统的适应性、鲁棒性和CPS考核合格率。     

基于多智能体相关均衡算法的自动发电控制EI北大核心CSCD

提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。     

基于多智能体相关均衡算法的自动发电控制

提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。     

互联电网CPS标准下计及一次调频的最优AGC控制模型

分析互联电网环境下机组一次调频的重要性及其对电网自动发电控制(automatic generation control,AGC)的影响,针对传统AGC控制策略难以计及一次调频的问题,提出AGC与一次调频协同控制的线性增量表达,进而构建互联电网控制性能标准(control performance standard,CPS)下计及一次调频的最优AGC控制的混合整数线性规划模型。在模型中,根据电力系统特性,将AGC机组调节指令状态变量由传统的三态变量转化为两态变量表示;采用线性化手段,将传统非线性最小加减速时间约束线性化。某省实际系统的计算结果表明:新模型显著减少了AGC机组的下令次数,有效提高了CPS考核指标水平,明显降低了系统调节成本,具有良好的应用前景。     

基于多步回溯Q(λ)学习的互联电网随机最优CPS控制

针对非马尔可夫环境下火电占优的互联电网AGC控制策略,引入随机最优控制中Q(λ)学习的"后向估计"原理,可有效解决火电机组大时滞环节带来的延时回报问题。本文以CPS1/CPS2滚动平均值为状态输入,将CPS评价指标与松弛目标根据线性加权原则转化为MDP奖励函数,从长期的角度提出一种在线反馈学习结构的随机最优CPS控制。统计性仿真试验表明,所提CPS控制具有较强的适应性和动态性能,在保证CPS合格率基础上能有效减少调度端的平均发令次数和反调次数。同时,该策略提供了一种可通过修正松弛因子在线调整AGC系统的"松弛度",可降低发电成本及机组磨损,从而实现CPS松弛控制。     

基于现代内点理论的互联电网控制性能评价标准下的AGC控制策略

分析电力系统中现有电力系统自动发电控制(automatic generation control,AGC)策略的运行情况和存在问题。根据电力系统实际运行情况和控制性能评价标准(control performance standard,CPS)考核要求,提出基于现代内点理论的互联电网CPS标准下的AGC控制策略,建立相应的最优化数学模型,确定解算条件,导出含互补约束条件的非线性规划算法。大量的仿真实验和比较算例表明所提的AGC控制策略能有效地减少AGC机组的下令次数,大幅度提高CPS指标,保证电网频率质量和安全运行,降低电网调节成本,实现电网运行的精细化管理。该成果已在广西电网投入开环运行。     

满足互联电网CPS标准的AGC最小调节容量研究

分析了确定电力系统自动发电控制(automatic generation control,AGC)机组调节容量的主要因素,提出将AGC最小调节容量的获取转换为最小调节速率的获取。根据电力系统实际运行情况和控制性能评价标准(control performance standard,CPS)考核要求,建立基于现代内点理论的互联电网CPS标准下的AGC最小调节速率的数学模型,确定解算条件,导出含互补约束条件的非线性规划算法。该方法能够确定不同时段最优AGC机组调节容量,协调不同特性机组的运行,从而保证电力系统安全稳定经济运行,同时很好地兼顾电网运行的可靠性和市场运营的经济性。大量的仿真实验和比较算例表明所提方法的可行性和实用性。     

基于超短期负荷预测的Non-AGC与AGC协调控制策略研究

为了消纳大规模新能源并网给系统带来的随机性和波动性,针对Non-AGC机组与AGC机组调节速率的不同,给出Non-AGC与AGC协调控制策略。利用超短期负荷预测提前为Non-AGC机组制定发电计划,达到用Non-AGC分担AGC调解压力的目的。利用"波动窗"算法给出Non-AGC机组调节速率与调节时间的计算方法;利用CPS标准制定AGC机组调节策略,并考核AGC机组调节性能。利用该协调控制策略模拟山东电网运行情况并和现有调度模式在AGC调节容量、频率控制、ACE、CPS指标等方面进行对比分析,结果表明,基于超短期负荷预测的Non-AGC与AGC协调控制策略是实用、有效的,既能维持良好电能质量又能消纳新能源并网的波动性。     

Hierarchical correlated Q-learning for multi-layer optimal generation command dispatch

This paper presents a novel hierarchical correlated Q-learning (HCEQ) algorithm to solve the dynamic optimization of generation command dispatch (GCD) in the Automatic Generation Control (AGC). The GCD problem is to dynamically allocate the total AGC generation command from the central to each individual AGC generator. The proposed HCEQ is a novel multi-agent Q-learning algorithm based on the concept of correlated equilibrium point, and each AGC generator with an agent is to optimize its regulation participation factor and coordinate its decision with others for the overall GCD performance enhancement. In order to cope with the curse of dimensionality in the GCD problem with the increased number of AGC plants involved, a multi-layer optimum GCD framework is developed in this paper. In this hierarchical framework, the multiobjective design and a time-varying coordination factor have been formulated into the reward functions to improve the optimization efficiency and convergence of HCEQ. The application of the proposed approach has been fully verified on the China southern power grid (CSG) model to demonstrate its superior performance and dynamic optimization capability in various power system scenarios.     

基于Q学习的互联电网动态最优CPS控制

控制性能标准(control performance standard,CPS)下互联电网自动发电控制(automatic generation control,AGC)系统是一个典型的不确定随机系统,应用基于马尔可夫决策过程(Markov decision process,MDP)理论的Q学习算法可有效地实现控制策略的在线学习和动态优化决策。将CPS值作为包含AGC的电力系统“环境”所给的“奖励”,依靠Q值函数与CPS控制动作形成的闭环反馈结构进行交互式学习,学习目标为使CPS动作从环境中获得的长期积累奖励值最大。提出一种实用的半监督群体预学习方法,解决了Q学习控制器在预学习试错阶段的系统镇定和快速收敛问题。仿真研究表明,引入基于Q学习的CPS控制可显著增强整个AGC系统的鲁棒性和适应性,有效提高了CPS的考核合格率。     

考虑饱和环节的自动发电控制时滞系统串级控制

自动发电控制(AGC)调节过程中存在发电机变化率约束、时延等约束条件,使得基于线性模型的AGC控制策略不能反映真实电力系统的频率调节特性。针对AGC时滞系统同时存在饱和与时延的问题,提出了一种基于内外环比例—积分(PI)稳定域的串级控制系统遗传优化策略。基于AGC系统的负荷频率控制与机组控制组成的串级控制回路,采用Hopf分岔代数判据和时滞系统稳定域理论,分别求取了内外回路的PI稳定域,证明了饱和及时延参数会影响到PI稳定域的变化。通过将稳定域转化为控制器参数优化的约束条件后,对内环优化采用不同指标进行对比,证明了绝对误差积分(IAE)指标对于扰动具有更好的抑制能力;而对外环的对比表明采用时间乘平方误差积分(ITSE)指标具有更小的波动量。遗传优化结果表明所提控制策略能够有效抑制饱和及时延环节对系统性能的影响。     

基于Q学习的微网二次频率在线自适应控制

由于包含微源的多样性及运行模式的多样性,微网的二次频率控制面临着系统参数不确定性的挑战。文中提出了在多代理(Agent)分层混合控制模型中嵌入一种基于Q学习的智能算法。首先,动态预测出微网系统实时二次调频功率缺额值。其次,同时考虑微网运行经济性和环境效益,并采用模糊化方法和粒子群优化算法实现二次调度功率的分配。最后,在C++Builder环境下搭建了包括不同微源的本地层Agent和具有不同控制功能的中央层Agent的微网混合能量管理仿真平台,结果证明了所提出的基于Q学习的微网二次频率自适应控制器可以自适应微网系统结构及其参数的动态变化,实现微网二次调频的智能控制。     

稀疏通信下分布式电源微增率一致性加速算法

基于分层控制结构,提出一种稀疏通信下的分布式电源微增率一致性加速算法。该方法无需中央控制器,借助稀疏通信网络实现分布式电源的三次分层控制并加快收敛速度。在该分层控制中,一次控制采用线性下垂控制策略;二次控制仅借助本地频率信息实现系统频率调节;三次控制考虑各分布式电源的成本微增率,利用稀疏不完备的通信网络传递分布式电源成本微增率信息,并结合非线性下垂控制实现微增率的一致性,各分布式电源能较快地收敛至等微增率点。该算法所构建的稀疏通信网络拓扑可以是任意的,对于通信网络的单双向及连通性都没有要求。仿真算例验证了该算法的有效性。     

具有先验知识的 Q学习算法在AGC中的应用

传统的自动发电控制（AGC）系统通常基于经典的线性控制理论,并且大部分二次调频采用比例积分（PI）控制器,但系统固有的非线性以及结构多变使得积分增益系数不易确定,容易造成超调或调节不足的问题,从而影响系统频率稳定。文中采用强化学习控制器代替传统的PI调节器,将考虑了死区、出力约束、机组爬坡率和时延等非线性环节的AGC系统离散化成Markov链,直接将区域控制误差作为系统状态量,并充分利用AGC环境中的已有信息,结合模糊综合决策方法,获得能够改善 Q学习效率的先验知识,采用Q学习算法对其进行学习得出离散的AGC策略。数值仿真的结果验证在非线性AGC系统中应用具有先验知识的 Q学习方法可以加快收敛速度,提高学习效率,并通过控制性能评价标准（CPS）进一步检验了该方法的可行性。     

风险调度中引入知识迁移的细菌觅食强化学习优化算法

针对电力系统运行过程中负荷及故障的不确定性,在经济调度中引入风险评估原理,并提出了一种全新的基于知识迁移的细菌觅食强化学习优化算法。该算法将细菌觅食算法的寻优模式与Q学习算法的试错迭代机制结合,利用多主体协同合作来更新共有的知识矩阵,并以基于知识延伸的维度缩减方式避免了"维数灾难"。在预学习获得最优知识矩阵后,利用知识迁移加速在线学习进程。IEEE RTS-79测试系统的仿真结果表明:所提算法在保证获得高质量最优解的同时,寻优速度可达经典智能算法的9~20倍,适合求解大规模复杂电网的风险调度快速优化。     

电力系统恢复过程中的工频过电压动态优化控制

合理的持续工频过电压控制策略是电力系统恢复方案的重要组成部分。针对当前持续工频过电压控制静态优化方法的局限性,以恢复序列为优化周期,以线路投运为分段标志,建立了电力系统恢复过程中的动态多目标工频过电压优化控制模型,实现一个恢复周期内的全过程优化。根据恢复过程需要,结合系统恢复方案,定义了恢复过程中的工频过电压优化控制的目标函数,综合考虑恢复序列的操作风险、电压控制方案的操作时间以及系统的电压偏差对电压控制方案的影响。利用改进的强度Pareto进化算法(SPEA2)求解模型的Pareto最优解,并采用字典序法选择出适应不同恢复场景的最优方案。以山东电网为例,分析和比较了不同恢复场景下动态优化和静态优化的仿真结果,表明所述模型能够适应电力系统恢复的要求。     

考虑运行方式优化和拓扑校正控制的参考电网优化方法

针对现有参考电网模型未涉及电网现状以及未关联电网运行策略的不足,提出了考虑运行方式优化和拓扑校正控制的参考电网优化方法,为输电网灵活规划提供重要参考。基于前瞻时间尺度内各时段负荷预测值和规划网络候选支路方案,构建以最小化发电成本和输电成本之和为目标,以系统正常运行状态以及N-1事故状态下的运行安全要求为约束条件的参考电网优化模型。对优化模型中混合整数非线性约束式进行处理,将其转换为混合整数二次规划模型,并采用混合整数二次规划法对优化模型进行求解,得到最终的优化方案。最后,通过算例分析说明了所提方法的有效性。