基于深度强化学习的孤立多微电网系统频率和电压综合控制

分布式电源出力不确定性和负荷功率扰动给孤立多微电网系统稳定带来较大威胁。提出基于多智能体柔性动作评价(MA-SAC)算法的孤立多微电网负荷频率控制器(LFC),同时采用柔性动作评价(SAC)算法对自动电压调节器(AVR)的比例积分(PI)控制参数进行优化调整。建立了多微电网LFC和AVR组合模型。对于电压和频率控制器的设计,分别根据SAC算法和多智能体深度强化学习(MA-DRL)框架建立各自的状态、动作空间与奖励函数。选择合适的神经网络与训练参数经过预学习生成深度强化学习控制器。最后通过仿真分析,基于SAC算法优化的PI控制器能更快跟踪电压参考值;多微电网系统遭遇功率扰动时,MA-SAC控制器可以快速维持频率稳定。     

基于强化学习的多微电网分布式二次优化控制

针对微电网中分布式电源下垂一次控制产生的系统频率和电压静态偏差问题,提出了一种基于强化学习就地反馈方法的分布式二次优化控制,利用本地信息可兼顾频率恢复和电压调整的需求。首先,针对微电网经济性、频率及电压控制需求和各分布式电源综合性能(环境效益、经济效益、技术效益),定义了本地奖励,协调多微电网的频率恢复和电压调节。其次,针对电网实际运行情况,在满足供需平衡的同时,使用多智能体强化学习算法对全局奖励反馈优化修正,使各分布式电源协同出力渐近消除频率偏差,保证微电网的稳定运行。最后,通过实例验证了所提出控制的有效性和适应性。     

考虑状态受限的微电网二次电压与频率固定时间控制

该文研究孤岛交流微电网二次电压和频率的固定时间精确控制问题,基于多智能体一致性方法,提出考虑状态受限的自适应模糊固定时间二次电压控制器和基于控制障碍函数的二次频率控制器。在多智能体一致性控制中,将每一个分布式电源视为一个非线性智能体,智能体之间通过稀疏网络进行通信。在电压控制器设计中,采用反馈线性化后未知变量的自适应模糊估计提高控制器的自适应能力,并引入新的滑模面使电压控制器在固定时间内收敛。考虑到系统状态受限问题,分别采用障碍Lyapunov函数和控制障碍函数设计电压与频率控制器,使系统状态在预设的约束范围内。频率控制器的设计还考虑了有功功率的精确分配问题,给出了严格的固定时间收敛及稳定性证明。在Matlab/Sim Power System环境下,对微电网负载变化及大干扰下的仿真验证了所提控制器的有效性。     

基于多智能体一致性的孤岛微网协调二次控制

针对孤岛型微电网二次电压和频率控制,提出一种基于多智能体一致性协议的控制策略以使其满足电能质量的要求,保证系统的安全稳定运行。首先,设计分布式微电网控制结构,将各分布式电源看成系统中的智能体,采用一定的有向通信网络拓扑实现智能体之间的相互协调。其次,应用二阶一致性算法于微电网二次控制器中,实现了系统电压和频率恢复至额定值,并进行了稳定性及收敛速度分析。最后,在PSCAD/EMTDC中对孤岛微电网系统建模仿真,其结果验证了所提控制策略的有效性。     

基于强化学习的孤岛微电网多源协调频率控制方法

为了提升孤岛微电网频率抗干扰性,提出一种基于强化学习的孤岛微电网多源协调频率控制方法。针对微电网频率偏差进行Q学习,动态调节多个分布式电源的下垂控制参数以改变其输出功率,实现微电网内多源协调有功频率控制。首先,介绍了Q学习算法的基本原理;其次,提出基于Q学习的频率恢复控制方法,并设计基于Q学习算法的控制器,利用Q学习算法动态修正下垂参数,协调微电网多个分布式电源进行频率恢复控制;最后,利用MATLAB建立典型微电网仿真模型,并基于S-function自定义建立强化学习控制器,从Q学习训练过程、频率控制响应特性多个方面验证了所提方法的有效性和适应性。     

考虑通信拓扑切换的微电网有限时间分布式二级控制

孤岛微电网在运行过程中对其输出电压、频率控制有较高的实时性要求。考虑孤岛微电网运行过程中易受负载投切、通信拓扑切换等多种干扰的影响,提出了一种改进的考虑通信拓扑切换的微电网有限时间分布式二级控制方法,实现孤岛微电网输出电压、频率的有限时间调节控制。首先,在传统的有限时间控制算法中加入一项幂指数为1的跟踪误差控制项,构建孤岛微电网有限时间分布式一致性电压、频率控制算法,并且分别建立闭环随机系统模型。其次,通过Lyapunov稳定性判定方法验证所提方法的稳定性,并计算出有限时间上界表达式。最后,在Matlab/Simulink上通过仿真验证了所提控制方法的有效性。     

基于有限时间一致性的微网分布式二次控制

针对孤岛运行模式下的微电网一次控制采用下垂控制易受到线路阻抗特性、微网拓扑结构等因素的干扰,造成频率与电压的波动以及功率难以比例分配的问题,提出一种基于有限时间一致性的微电网分布式二次控制策略来实现频率与电压无静差调节以及功率按比例分配的控制目标.所提控制策略结合多智能体理论来构建微电网的分布式控制结构,各分布式电源仅...     

基于CEQ(λ)强化学习算法的微电网智能发电控制

针对微电网孤岛运行模式下新能源发电强随机性导致的系统频率波动,提出了基于多智能体相关均衡强化学习(Correlated Equilibrium Q(λ),CEQ(λ))的微电网智能发电控制方法。在所搭建含有光伏发电、风力发电、小水电、微型燃气轮机和飞轮储能的微电网负荷频率控制(Load frequency Control,LFC)模型基础上,以频率偏差作为状态输入,提出了一种微电网孤岛运行模式下的CEQ(λ)智能发电控制器。仿真结果显示,与PI控制、单智能体R(λ)控制相比,CEQ(λ)控制器具有更好的在线学习能力,能显著增强孤岛微电网的鲁棒性和适应性,有效提高了频率的考核合格率。     

基于事件触发的孤岛微电网二次协调控制策略

传统的下垂控制策略会导致孤岛微电网系统稳态的频率和电压偏移,且存在依赖于周期性通信、通信负担大等问题。对此,提出一种基于分布式事件触发的电压和频率二次协调控制策略。该策略针对多智能体的一致性追踪同步问题,将微电网中DG(分布式电源)视为多智能体系统中的智能体,将二次频率和电压作为追踪同步目标。所提出的控制策略仅要求分布式控制器之间在事件发生时刻进行通信,有效节约了通信资源,同时还具有频率和电压恢复功能以及准确的有功功率比例分配。采用Lyapunov方法分析了二次协调控制的稳定性和可行性,并通过孤岛微电网测试系统验证了所提控制方法的正确性和可行性。     

含多个分布式电源的微电网协调控制

针对含多个分布式电源的微电网协调控制问题,根据电源特性的不同分别进行了控制器设计.运用多智能体技术将集中控制和分散控制有效结合起来,保证微电网在孤岛运行和联网运行模式之间切换时系统稳定运行,基于多智能体技术的能量管理系统对分布式电源的输出进行优化分配.电压/频率控制采用一个与配电网频率同步的正弦信号作为参考电压,控制结构简单且响应速度快,在确保系统的稳定的同时使得微电网频率与配电网维持同步,降低了重新并网的难度.通过PSCAD软件对微电网在不同运行模式下的分布式电源输出和负载变化进行仿真,对结果的分析表明提出的控制结构是正确有效的.     

基于分布式内模设计的微电网协调二次控制策略

研究基于多代理系统的孤岛型微电网二次电压和频率控制策略。首先建立孤岛型微电网电压和频率控制数学模型,利用状态反馈得到输入-输出线性化模型;然后简要介绍所需的基本图论原理,并利用内模设计原理设计分布式协调二次控制器,避免了集中控制结构下对中央控制器的依赖。基于多代理系统的分布式二次控制器通过一定的有向通信网络连接,每个代理只需本地及相邻节点信息。最后在PSCAD/EMTDC中建立孤岛微网的测试系统,通过仿真对所提控制策略的有效性进行验证,结果表明所提策略能够使频率和电压恢复额定值,同时保证有功功率分配的准确性。     

Dynamic performance enhancement of microgrids by advanced sliding mode controller

Dynamics are the most important problems in the microgrid operation. In the islanded microgrid, the mismatch of parallel operations of inverters during dynamics can result in the instability. This paper considers severe dynamics which can occur in the microgrid. Microgrid can have different configurations with different load and generation dynamics which are facing voltage disturbances. As a result, microgrid has many uncertainties and is placed in the distribution network where is full of voltage disturbances. Moreover, characteristics of the distribution network and distributed energy resources in the islanded mode make microgrid vulnerable and easily lead to instability. The main aim of this paper is to discuss the suitable mathematical modeling based on microgrid characteristics and to design properly inner controllers to enhance the dynamics of microgrid with uncertain and changing parameters. This paper provides a method for inner controllers of inverter-based distributed energy resources to have a suitable response for different dynamics. Parallel inverters in distribution networks were considered to be controlled by nonlinear robust voltage and current controllers. Theoretical prove beyond simulation results, reveal evidently the effectiveness of the proposed controller.     

A distributed secondary scheme with terminal sliding mode controller for energy storages in an islanded microgrid

Different levels of the stored energy is the main challenge in control of the distributed energy storages (DESs) in an islanded microgrid. The conventional power-droop and the secondary distributed controllers of distributed generators (DGs) does not consider the long time-span dynamics of state of charge (SoC) of the DESs. Subsequently, the DESs with lower initial SoCs are discharged before other DESs. Besides, the SoC-droop primary control results in further deviation of the frequency of the microgrid. In this paper, the secondary control scheme is employed to share the power mismatch, match the SoCs of the DESs, and regulate the frequency and voltage of the microgrid. The proposed scheme has distributed cooperative architecture, and employs distributed terminal sliding mode controller (DTSMC) for the state regulators, and proportional controller for distributed power-sharing and SoC-matching. The proposed scheme organizes the controllable DGs, the DESs with limited SoCs, and the uncooperative DGs with unknown generation, through communicating between the neighbor cooperative DGs and DESs. Performance of the designed DTSMC is verified for the changes of communication topology, time-delays, data drop-outs, load variations, and external disturbances. DTSMC provides finite-time convergence, fast transients, and improved robustness.     

孤岛微电网固定时间分布式鲁棒二次控制

针对孤岛微电网实际运行过程中出现的未知外部扰动,提出了一种固定时间分布式鲁棒二次控制算法,实现了电网频率一致性控制,有效抑制了不确定干扰,提高了系统的鲁棒性能。首先,通过设计基于饱和函数的新型控制算法,有效地解决了现有控制器高频切换引发的抖动问题。同时确保二次控制能够在固定时间内达到稳定状态,且收敛时间上界不依赖于任何初始状态。然后,在设计控制算法的基础上,采用改进的分布式事件触发机制,在满足收敛速度和达到电网频率一致性的基础上减轻了通信负担,减少了控制器更新的频率,显著降低了通信资源的消耗,并排除了Zeno行为。最后,利用Matlab/Simulink仿真平台验证了所提控制算法的有效性。     

基于数据驱动的孤岛直流微电网二次控制

针对孤岛直流微电网,提出一种数据驱动的无模型二次控制策略.利用直流微电网系统输入、输出的过程数据以及偏格式动态线性化方法建立系统的数据模型.通过设计新型的无模型二次功率和电压控制器,分布式电源按其容量成比例地输出功率,同时使用最大电压补偿的方法恢复系统母线电压.通过数学分析严格证明该直流微电网系统在不同运行条件下是闭环控制稳定的.最后,利用MATLAB/Simulink仿真和RTDS实验平台,验证了所提控制策略的有效性.     

基于强化学习的直流微电网分布式经济下垂控制

针对直流微电网在传统下垂控制下整体运行成本偏高且存在电压静态偏差的问题,提出一种基于强化学习的完全分布式经济下垂控制策略.通过分布式一致性算法寻找系统最优经济运行点,并利用偏差调整和Adam算法优化经济下垂系数,以提高计算的速度与效率;通过改进强化学习原理进行电压的二次优化控制.利用MATLAB/Simulink搭建具有不同运行成本单元的直流微电网仿真模型,结果验证了所提策略的有效性和优越性以及即插即用特性.     

Adaptive intelligent techniques for microgrid control systems: A survey

This paper introduces a survey on the adaptive and intelligent methods that have been applied to microgrids systems. Interestingly, the adaptive technique is effectively exercised in various control issues including stability, tracking error, and parameter uncertainties. Adaptive control has been extremely developed by using intelligent algorithms to automatically tune the control parameters namely fuzzy logic, particle swarm optimization, bacterial search algorithm, and etc. The objective is to evaluate and classify the design control methods and evaluation algorithms for the microgrid systems to maintain stability, reliability, and load variations by adjusting the controller parameters especially in standalone operation mode. The stability of islanded microgrids are constantly impacted by the related loads. A significant part of the research on an islanded microgrid involves droop control technique. In normal operation, distributed generation units and storage units provide power quality control. Once a shutdown is occurred, microgrid can be isolated from the main grid and operate in a local grid to support the local loads. Thus, distributed generations co-operate storage units to sustain the stability of the islanded microgrid.