基于分层相关均衡强化学习的CPS指令优化分配算法

提出了一种应用在控制性能标准(CPS)下自动发电控制(AGC)指令(CPS指令)由调度端至各台机组的动态分配过程的分层多智能体相关均衡(HCEQ)算法。根据机组调频时延对其进行聚类分层,有效解决了CPS指令分配过程的维数灾难问题。相比单智能体强化学习算法,HCEQ算法引入了均衡目标函数的求解,有效提高了算法寻优速度。将功率偏差、水电裕度和调节成本目标以线性加权的方法转化为算法奖励函数,研究了不同权值下CPS控制性能和调节成本的变化关系。南方电网模型仿真研究表明,HCEQ算法具有较快的收敛速度,在复杂随机扰动的环境中能有效提高系统CPS考核合格率,并有效降低AGC调节成本。     

互联电网CPS调节指令动态最优分配Q–学习算法

控制性能标准(control performance standard,CPS)下互联电网调度端的自动发电控制(automatic generation control,AGC)指令(简称CPS指令)到各类型AGC机组的动态优化分配是随机最优问题。将CPS指令分配的连续控制过程离散化,并可将其看作是一个离散时间马尔可夫决策过程,提出应用基于Q–学习的动态控制方法。根据优化目标的差异,设计不同的奖励函数,并将其引入到算法当中,有效结合水、火电机组的调节特性,并考虑水电机组的调节裕度,提高AGC系统调节能力。遗传算法和工程实用方法在标准两区域模型及南方电网模型的仿真研究显示,Q–学习有效提高了系统的适应性、鲁棒性和CPS考核合格率。     

基于CEQ(λ)多智能体协同学习的互联电网性能标准控制指令动态分配优化算法

在CPS指令动态分配过程中,应用单智能体Q(λ)算法下的CPS合格率虽然可以满足要求,但还存在收敛速度较慢、寻优空间较小等问题。为此,提出应用多智能体相关均衡强化学习的方法来弥补单智能体强化学习的不足。根据调频时延将AGC机组分成煤电、气电和水电等类型,对CEQ(λ)应用于这n类智能体组成的CPS调节指令动态分配进行研究分析。标准两区域模型及南方电网模型仿真研究表明:多智能体CEQ(λ)算法适用于随机、机组组合复杂的互联电网CPS指令动态最优分配,能有效提高系统的适应性、鲁棒性和CPS考核合格率。     

基于Q学习的互联电网动态最优CPS控制

控制性能标准(control performance standard,CPS)下互联电网自动发电控制(automatic generation control,AGC)系统是一个典型的不确定随机系统,应用基于马尔可夫决策过程(Markov decision process,MDP)理论的Q学习算法可有效地实现控制策略的在线学习和动态优化决策。将CPS值作为包含AGC的电力系统“环境”所给的“奖励”,依靠Q值函数与CPS控制动作形成的闭环反馈结构进行交互式学习,学习目标为使CPS动作从环境中获得的长期积累奖励值最大。提出一种实用的半监督群体预学习方法,解决了Q学习控制器在预学习试错阶段的系统镇定和快速收敛问题。仿真研究表明,引入基于Q学习的CPS控制可显著增强整个AGC系统的鲁棒性和适应性,有效提高了CPS的考核合格率。     

互联电网CPS标准下计及一次调频的最优AGC控制模型

分析互联电网环境下机组一次调频的重要性及其对电网自动发电控制(automatic generation control,AGC)的影响,针对传统AGC控制策略难以计及一次调频的问题,提出AGC与一次调频协同控制的线性增量表达,进而构建互联电网控制性能标准(control performance standard,CPS)下计及一次调频的最优AGC控制的混合整数线性规划模型。在模型中,根据电力系统特性,将AGC机组调节指令状态变量由传统的三态变量转化为两态变量表示;采用线性化手段,将传统非线性最小加减速时间约束线性化。某省实际系统的计算结果表明:新模型显著减少了AGC机组的下令次数,有效提高了CPS考核指标水平,明显降低了系统调节成本,具有良好的应用前景。     

计及大规模电动汽车接入的AGC功率动态分配深度交互教学优化算法

为提高区域电网自动发电控制(automatic generation control,AGC)的控制性能指标,利用接入电网的大规模电动汽车参与AGC。在满足车主充电需求的前提下,建立了电动汽车的实时上下调节容量评估模型。在此基础上,构建了电动汽车集群与传统水电、火电机组的AGC功率分层分配框架。为满足上层不同类型机组的快速经济分配,提出了一种深度交互教学(deep interactive teaching-learning,DITL)优化算法进行求解,该算法在标准教学优化算法的基础上,将单个班级扩展到多个班级,并采用小世界交互网络构建不同教师/学生之间的交互网络,从而提升算法的全局搜索及局部搜索能力。在电动汽车集群内部,则根据调节成本系数实现第二层不同局部控制中心的AGC功率分配,然后根据充电时间裕度排序实现不同电动汽车的底层AGC功率分配。海南电网仿真算例表明:该文所提的上层分配框架可有效实现电动汽车与传统水火电机组的协调,DITL算法能有效提升AGC的动态控制性能,降低系统的调节成本。     

强化Q学习——模糊多目标AGC调节容量动态优化分配策略的研究

针对AGC调节容量多目标优化分配存在着无法完全描述机组特性的问题,通过研究提出采用基于强化Q学习的优化分配方法.将AGC系统视为“不确定的随机系统”,结合ACE的调节死区以及CPS评价标准,建立了AGC调节容量优化分配问题的马尔可夫决策过程模型,并引入Q学习方法对MDP的最优值函数进行学习,仿真结果表明,该强化Q学习-模糊多目标AGC调节容量动态优化分配策略能够适应电网环境变化的要求.     

基于强化学习的互联电网CPS自校正控制

AGC是一个动态多级决策问题——马尔可夫决策过程(MDP),应用强化学习算法可有效地实现控制策略的在线学习和动态优化决策。引入Q学习算法作为强化学习核心算法,将CPS值看作包含AGC的电力系统“环境”所给的“奖励”,依靠奖励值Q函数与CPS控制动作形成的闭环控制结构实现在线学习。学习目标是使CPS控制动作从环境获得的长期积累奖励值最大,从而快速自动地在线优化CPS控制系统的输出。仿真研究显示,引入强化学习自校正控制后显著增强了整个AGC系统的鲁棒性和适应性,有效提高了CPS考核合格率。     

基于贪婪策略的多层自动发电控制

分布式能源大规模并网所带来的随机扰动问题,影响电力系统的安全稳定和经济运行。该文提出一种将具有多步前瞻属性的贪婪控制算法与基于两层功率分配模式的功率优化分配算法相结合的多层自动发电控制策略(multiple level automatic generation control,ML-AGC),以解决分布式能源大规模并网所带来的随机扰动问题。即在ML-AGC的控制部分采用具有快速收敛特性的多步前瞻贪婪迭代算法,来获取自动发电控制系统的总功率指令;分配部分采用具有交互协同和自学习特点的协同一致性分层Q学习(hierarchical Q-learning based collaborative consensus,HQCC)算法,来提升功率分配策略在强随机扰动下的适应性。通过对改进的IEEE两区域负荷频率控制模型,以及融入大量分布式能源及冷热电联产的智能配电网模型进行仿真验证,结果表明所提策略能够获取多区域的最优协同控制及机组功率的动态优化分配,能够解决分布式能源大规模并网所带来的强随机扰动问题。与多种方法相比,ML-AGC具有更快的动态优化速度和更低的发电成本。     

基于强化学习的互联电网CPS自校正控制

AGC是一个动态多级决策问题--马尔可夫决策过程(MDP),应用强化学习算法可有效地实现控制策略的在线学习和动态优化决策.引入Q学习算法作为强化学习核心算法,将CPS值看作包含AGC的电力系统"环境"所给的"奖励",依靠奖励值Q函数与CPS控制动作形成的闭环控制结构实现在线学习.学习目标是使CPS控制动作从环境获得的长期积累奖励值最大,从而快速自动地在线优化CPS控制系统的输出.仿真研究显示,引入强化学习自校正控制后显著增强了整个AGC系统的鲁棒性和适应性,有效提高了CPS考核合格率.     

基于CPS统计信息自学习机理的AGC自适应控制

提出一种利用控制性能标准(control performance standard,CPS)的统计信息进行自动学习,从而为调度端自动发电控制(automatic generation control,AGC)的比例积分控制参数进行自动调整的自适应控制策略。CPS标准的提出一方面是为提高区域电网对整个电网频率的支援作用,另一方面其统计特性放宽对区域控制偏差控制的要求。该自适应控制策略充分利用CPS的统计特性,对电网结构、参数和运行方式具有良好的适应性,其自学习机制简单实用,易于在现有大多数电网调度AGC系统上实现。以广东电网为对象的实例研究显示,该AGC自适应控制可在保证CPS考核合格率的同时有效减轻发电厂的调节压力。     

互联电网CPS标准下的自动发电控制策略

阐述了互联电网控制性能评价标准(CPS)下的自动发电控制(AGC)策略。提出了CPS调节功率分量这一新概念,并将其与比例分量和积分分量相结合,构成区域总调节功率。进一步根据区域控制偏差(ACE)和频率偏差的大小与方向,对区域总调节功率予以修正,以进一步提高CPS指标。最后提出了根据区域总调节功率而不是ACE来划分AGC控制区域的方法。这些控制策略有利于提高电网频率控制质量,体现了紧急情况下互联电网各AGC控制区之间的相互支援,在多个大电网的实际应用中取得了良好的效果。     

华东电网CPS标准控制策略现状分析及展望

华东电网引入CPS考核标准后,华东四省一市电网对其AGC控制策略做出了相应的调整,以满足新的控制性能要求.华东各省市电网的AGC机组所占比例、以及AGC机组的水火电等组成比例均不相同,因此各电网的控制策略又都有差异.介绍了各省市依据各自的控制策略所实施的改进措施,并提出了进一步改进AGE控制措施的建议,以改善华东电网的控制性能.     

华北、东北联网后华北电网自动发电控制(AGC)及其考核的实现

介绍了基于CC－2000平台的自动发电控制（AGC）的特点和华北、东北联网后华北电网AGC所采用的控制方式和控制策略。互联电网和跨大区电网的AGC采用联络线频率偏差控制方式和按北美可靠性委员会（NERC）CPS标准控制与考核是必然趋势。建议对互联电网和跨大区电网的AGC采用CPS标准控制与考核问题作深入研究。     

互联电网AGC控制研究进展

综述了互联电网AGC控制研究进展。归纳并分析了6个研究方向:基于经典控制器的结构与参数优化的AGC控制;基于模糊控制器及改进的AGC控制;基于CPS信息的AGC控制;多类型发电机组协调下的AGC控制;利用SMES的AGC控制;利用TCPS的AGC控制。     

基于CPS的AGC控制策略研究

总结了上海电网在实践AGC/CPS中的一些研究成果和经验.简要介绍了基于CPS的AGC标准,着重比较了CPS与原A1/A2标准在数学模型和物理本质方面的差别.分析了完全满足CPS标准情况下的AGC理想控制策略.在理想AGC控制策略的基础上,结合实际数据分析和工作经验,提出了适宜在调度生产实践中采用的AGC控制策略和方法.     

黑龙江省电网AGC控制模式

介绍了AGC控制基本原理、控制标准。结合黑龙江省电网AGC的运行需求和控制模式,阐述了A标准和CPS标准下AGC控制模式的调节效果,并对黑龙江省电网提高AGC调节能力,提出了具体办法。     

互联电网CPS下AGC控制参数的优化

提出了一种在互联电网控制性能标准(CPS)下现有自动发电控制(AGC)系统的控制参数优化方法.根据电网真实或假设的系统频率、负荷等运行数据,建立了基于现代内点理论的互联电网CPS下的AGC策略模型,进行求解,以优化结果反推出影响CPS指标和AGC系统性能、调节次数的比例系数、积分系数、CPS分量系数等关键参数,并进行仿真计算,结果表明该方法减少了AGC机组的下令次数,大幅度提高了CPS指标,保证了电网频率质量和安全运行,为调度、自动化专业优化调整AGC主站端的控制参数提供了理论依据和数学工具.该成果已用于广西电网.     

基于现代内点理论的互联电网控制性能评价标准下的AGC控制策略

分析电力系统中现有电力系统自动发电控制(automatic generation control,AGC)策略的运行情况和存在问题。根据电力系统实际运行情况和控制性能评价标准(control performance standard,CPS)考核要求,提出基于现代内点理论的互联电网CPS标准下的AGC控制策略,建立相应的最优化数学模型,确定解算条件,导出含互补约束条件的非线性规划算法。大量的仿真实验和比较算例表明所提的AGC控制策略能有效地减少AGC机组的下令次数,大幅度提高CPS指标,保证电网频率质量和安全运行,降低电网调节成本,实现电网运行的精细化管理。该成果已在广西电网投入开环运行。     

基于频差预期控制性能标准下的自动发电控制策略

通过对实际电网系统频率分析,发现系统频差波动周期绝大多数都在5min以内。由于自动发电控制(AGC)调节过程的时间尺度相对较长,跟踪小周期的频差变化会造成机组调节次数增加、调节效率下降。对实际频率特性的进一步研究发现,系统频差均值在较长时间尺度上具有可以利用的规律性。由此,提出基于未来频差预期的控制性能标准(CPS)控制策略。仿真实验表明,所提出的新控制策略对AGC机组性能要求与传统策略相比大大降低,可以实现以较少的调节次数,维持较高的CPS指标,提高调节效率,降低机组调节损耗。