基于深度强化学习算法的“电网脑”及其示范工程应用

可再生能源、电力电子设备渗透率持续增大以及大功率交直流混联,电网的动态性、随机性和不确定性显著增强,给电力系统安全稳定运行带来新的挑战.为更有效解决电网中出现的电压、潮流快速波动而导致的安全问题,提出一种基于最大熵深度强化学习算法的智能电网调控辅助决策方法,同时考虑多种控制目标,对电网运行方式进行在线优化控制.该方法将电网调度控制决策建模为马尔科夫决策过程,训练多线程智能体,并采用周期性在线训练机制对智能体的控制性能进行不断提升.基于该方法所研发的辅助决策原型软件部署在国网江苏电力调度控制中心,可与电网调度控制系统环境直接交互,自主学习且不断提升智能体调控决策能力.训练好的智能体可针对电压越限、联络线潮流越限、网损等综合控制目标在毫秒级时间内给出有效控制策略.     

基于全景可观的深度聚合电网模型、求解方法及其应用

电力系统调度与控制正面临全局统筹、紧密协同的局面，而对外部电网的等值简化是该决策顺利实施的前提和关键。由于传统等值简化方法对等值电网“源”“网”“荷”的增加或删减操作改变了其结构和主动量、被动量，从而在电网全局统筹过程中，使调度与控制的精度面临挑战。对此，在电网全景可观环境下，提出了深度聚合电网模型及其求解方法和应用。首先，给出了发电厂、联络站的聚合方法，形成聚合电网模型。并在此基础上，将聚合厂站融合到输电线路，建立了深度聚合电网模型。然后，推导了深度聚合电网模型未知量与可调控量(发电机功率)之间的函数关系，并使用长短期记忆网络对其参数进行求解。最后，以经济调度应用为例进行仿真验证，证明了所提方法的有效性。     

城市电网自愈控制体系结构

建设智能电网是电力系统发展的必然结果,也是电力系统进展的最新动力,而自愈是其最重要的特征.通过分析城市电网的结构特点、运行方式与大电网的区别,给出了城市电网自愈控制的定义,提出城市电网自愈控制体系结构,设计了整个系统的框架.开发了城市电网自愈控制计算机系统,对南京市江宁区城市电网的运行情况进行快速仿真,结果表明所提出的自愈控制体系能协调处理城市电网面临的各种威胁,使城市电网具有向更佳运行状态转移的内驱力,即具备自愈能力.     

特约主编寄语EI北大核心CSCD

电网调度运行是一项极为复杂的系统性工程,随着风电、光伏、直流和电动汽车等新技术的快速发展,电源、电网、负荷特性均发生巨大变化,系统运行不确定性和复杂程度不断增加,加大了电力系统特性认知、运行控制和故障防御的难度,需要进一步开发先进的技术工具,满足电网安全运行的实际需要。人工智能作为当前最前沿的技术,不仅可以模拟人类思维,学习人类经验,进行复杂多维度问题的快速处理,还具有自主学习能力,在电网运行控制领域具有较为广阔的应用前景。     

多Agent电网运行决策支持系统体系结构研究

为了能更快、更正确地支持电网调度员做出运行决策和控制决策，开发电网运行决策支持系统对于现代电力系统的运行已显得非常重要，而Agent技术为建立分布、开放式系统提供了新的途径和方法。文中简要分析了电网运行系统现状，介绍了决策支持系统和 Agent技术，提出了基于多Agent的电网运行决策支持系统体系结构，并对其结构、功能和决策过程进行了较为详细的阐述。     

深度学习在智能电网中的应用现状分析与展望

深度学习是机器学习研究中的一个新领域,其强大的数据分析、预测、分类能力契合智能电网中大数据应用的需求。文中首先总结了深度学习基本思想,介绍深度学习的5种模型(生成式对抗网络、递归神经网络、卷积神经网络、堆叠自动编码器和深度信念网络)的结构、基本原理、训练方法,概括其应用特征。综述了电力系统中的故障诊断、暂态稳定性分析、负荷及新能源功率预测、运行调控等应用深度学习技术的研究现状。针对深度学习的技术特点,结合电力系统各生产环节,构建深度学习技术在电力系统中的应用框架。最后,从多能源系统运行调控、电力电子化系统安全分析、柔性设备故障诊断、电力信息物理系统的安全防护等方面对深度学习应用进行展望。     

电力系统频率响应模式及其量化描述

电力系统的安全稳定运行很大程度上依赖基于频率响应的调控,响应模式是对动态系统轨迹特征最本质的量化描述。目前缺少对大电网频率响应模式的定义,以及从时间尺度和空间尺度量化描述频率响应模式的指标和方法。该文系统阐述大电网频率响应统一性、分散性、独立性与耦合性的内涵和辩证统一关系;定义频率响应模式,从不同角度量化描述系统动态频率响应特征并提出计算方法;通过大电网算例仿真详细研究可再生能源渗透率、特高压直流输电对频率响应模式的影响。所述方法和研究结果为频率稳定性量化评估、预想故障的快速分析提供重要依据,也为深度学习等人工智能类方法在电力系统频率分析与控制中的应用奠定基础。     

基于深度强化学习的电网前瞻调度智能决策架构及关键技术初探

随着新型电力系统建设的快速推进,电网运行方式不确定性增加,调度对象类型/数量指数级增长,当前基于物理模型的电网调度计划存在优化决策计算速度慢、耗时长以及应对多重不确定场景适应性不够等问题,特别是日内阶段仍经常依赖调度员人工调控。为此,该文结合电网前瞻调度的时序滚动优化、多元对象决策、调度多目标构建等实际特点,提出基于深度强化学习的电网前瞻调度智能决策功能架构,分析离线训练模块、在线决策模块和效果评估模块3部分的具体实现;并在适用于电网前瞻调度的深度强化学习算法、学习样本效率提升、调度多目标奖励函数设计、拓扑改变情形下的迁移学习和前瞻调度效果评估等关键技术方面进行了初步探索,基于IEEE30节点算例验证了所提算法和技术的有效性。最后,探讨了电网前瞻调度智能决策需进一步研究的问题。     

人工智能技术在电网调控中的应用研究EI北大核心CSCD

近年来,以深度学习为代表的先进人工智能技术促进了各行业的智能化发展。电网调控作为人工智能技术应用的重要领域之一,亟需借鉴互联网思维,充分利用人工智能技术,进一步提升电网调控业务的智能化水平。分析总结了人工智能技术的发展脉络,重点介绍了引发新一代人工智能技术大跨越的深度学习技术。聚焦大电网调控领域,论述了其对人工智能技术的需求分析。在此基础上,分析了人工智能技术在电网故障辨识、负荷预测、电网智能辅助决策和人机交互应用等方面的典型应用场景。最后通过电网故障辨识算例,进行了深度学习技术在电网调控应用的探索,可为调控业务智能化研究与发展提供有益的参考和借鉴。     

适应新型电力系统调控的电解铝负荷可控技术分析与应用

随着新型电力系统的构建，“网-源-荷”的协调与控制对保障电网运行安全显得极为重要。新能源占比的不断攀升，以风、光为主体的新能源高占比电网，电源侧的调控能力较常规能源机组大幅降低，电网调控灵活性受到严重影响。然后，与“网-源”协调技术形成的相对规范的运管模式相比，目前电网的“网-荷”协调技术则相对空白，特别是在以电解铝为代表的大容量工业负荷不断增长的情况下，大用户用电特性的稳定性，进一步压缩电网调控的灵活性，加剧电网调控风险，负荷侧参与电网调控技术亟待进一步突破。本文针对新型电力系统构建背景下“网-荷”协调控制需求，结合电解铝负荷不断增长对电网的安全影响，基于电解铝大用户的生产工艺，分析了电解铝用户的负荷可控技术及应用情况，为“网-荷”协调技术的突破、“网-源-荷”协调控制水平的提升以及电网与用户的运行安全的保障，提供具体的技术方案与借鉴。     

Jointly improving energy efficiency and smoothing power oscillations of integrated offshore wind and photovoltaic power: a deep reinforcement learning approach

This paper proposes a novel deep reinforcement learning (DRL) control strategy for an integrated ofshore wind and photovoltaic (PV) power system for improving power generation efciency while simultaneously damping oscillations. A variable-speed ofshore wind turbine (OWT) with electrical torque control is used in the integrated ofshore power system whose dynamic models are detailed. By considering the control system as a partially-observable Markov decision process, an actor-critic architecture model-free DRL algorithm, namely, deep deterministic policy gradient, is adopted and implemented to explore and learn the optimal multi-objective control policy. The potential and efectiveness of the integrated power system are evaluated. The results imply that an OWT can respond quickly to sudden changes of the infow wind conditions to maximize total power generation. Signifcant oscillations in the overall power output can also be well suppressed by regulating the generator torque, which further indicates that complementary operation of ofshore wind and PV power can be achieved.     

考虑预测不确定性的微电网实时控制策略研究

风能、光伏等可再生能源的高比例并网成为了缓解全球能源危机的一项重要措施。然而,可再生能源实时出力中的间歇性和波动性给系统的安全性带来了一定的挑战。为了在提高可再生能源利用率的同时保证系统安全性,提出了一种基于深度强化学习(DRL)算法的运行优化实时调度模型。首先,构建了负荷预测模型实现负荷预测和高斯混合模型拟合预测误差;其次,考虑系统各节点的约束条件,以系统运行成本和安全运行作为优化目标,建立相应优化模型;然后,将优化问题转化为马尔可夫决策过程,并采用双延迟深度确定性策略梯度算法求解;最后,利用DRL算法的环境交互机制和策略自由探索,获得联合调度策略的最优结果。实验结果表明,所提方法具有良好的适应性,并且可以进行在线实时调度。     

基于深度学习的电网调控文本知识抽取方法

电力系统的发展对电力系统知识的使用提出新的要求,为了实现非结构化电网调控文本知识的自动抽取,文中提出了基于注意力的双向长短期记忆网络和条件随机场的深度学习模型。深度学习模型从调度规程等文本数据中抽取电网运行规则和电网事故处理流程。实验结果表明,提出的模型的语料精度、召回率和F1分数分别为91.00%,89.98%和90.49%,结果略优于另外3种模型。在训练集和测试集上分别进行F1评估,识别精度差异很小,说明模型学习中没有发生过拟合现象,提出的深度学习模型具备良好的泛化能力。     

基于深度学习的三峡水库实时防洪调度模型北大核心CSCD

水库实时调度需要考虑多种约束条件及综合目标,具有较高复杂度。本文以三峡水库实时防洪调度为研究对象,提出一种基于深度学习的水库实时防洪调度模型。研究模拟三峡水库实时调度过程,生成训练样本数据。基于样本数据生成高维张量输入数据,通过网络参数训练提取高维数据特征以学习拟合水库实时调度模式。基于深度卷积神经网络实时调度模型在训练过程中提取闸门数据特征,模型中采用强化学习算法,迭代优化模型参数,随着样本数据不断更新,通过在线学习实现最优调度决策。实例研究表明,水位实时控制和下泄流量实时控制模型模拟的下泄流量与实际数据相对误差分别为1.4%和1.0%左右,该深度学习模型有较好的收敛性,能够应用于水库实时调度。     

Artificial intelligence for operation and control: The case of microgrids

Research on artificial intelligence (AI) has advanced significantly in recent years. A variety of AI algorithms have shown great promise in a large number of applications for power system operation and control. This article examines the potential of applying AI in microgrids (MGs). Specifically, as MGs commonly employ onsite generation including an increasing penetration of non-dispatchable distributed energy resources (DERs) and require seamless transition between operation modes (e.g., grid-connected and island) for different operation scenarios, the energy management within an MG is particularly complicated. Many factors including lack of inertia needed for system stability, generation uncertainty from DERs, and complex MG network topology composition (e.g., AC, DC, and hybrid AC/DC MGs) contribute to the difficulty of microgrid energy management. AI techniques such as deep learning (DL) and deep reinforcement learning (DRL) have recently demonstrated their excellence in tackling problems pertinent to decision making, providing a possible solution to overcome the above-mentioned challenges. This article discusses the applications of AI to MG operation and control, with an emphasis on DL and DRL. We survey the available DL and DRL technologies and their applications to power grids. We also investigate the unique issues associated with MGs including their layered control architecture, single vs. networked structure, and topology optimization. Perspectives on the ongoing challenges and viable AI solutions to MG operation and control are presented.     

负荷分布式控制的云计算平台构架设计

具有能量存储特性的负荷可为系统提供备用,参与功率平衡控制.为提高负荷控制的精度并减少对用户用电的负面影响,提出了负荷分布式控制的云计算平台构架.在采用的分布式控制策略中,负荷、负荷聚合层与调度中心之间进行测量数据与控制指令的上传下达,负荷聚合层承担沟通负荷与调度中心的作用,将聚合得到的负荷群运行状态传输至调度中心,并解析由调度中心下达的负荷控制指令.设计了一种云计算平台构架,将负荷分布式递阶控制结构以扁平化计算模式实现,云计算平台直接响应由负荷、负荷聚合层和调度中心提出的服务请求.在 Cloudsim 软件下模拟了负荷分布式控制的云计算平台构架,量化多种可控负荷的云计算和存储任务量.仿真结果表明,云计算平台计算速度快、存储能力强、易于扩展,能够适应负荷分布式控制的要求.     

Preventive control in an autonomous decentralized system

For more rational operation and control of future electric power systems which would continue to expand in size and complexity, an autonomous decentralized control system is proposed as one of the new control architectures. In the autonomous decentralized control system, each generating station and substation behaves independently and cooperatively without being controlled by the central station. Besides the inherent fault-tolerant characteristics of the architecture, flexible and rapid control depending on the circumstances can be achieved. In this paper, the fundamental logic of preventive control in an autonomous decentralized system is developed. It is based on the bidding method in which each station proposes its own output taking into consideration its own situation and cooperation with others. The economic load dispatch including preventive control can be performed, based on the bidding rule adopting the equivalent incremental generating cost curve in which the security constraints are incorporated. Application of the logic to a model system revealed satisfactory control performance for preventing the overload of transmission lines and the undervoltage.     

A multi-agent deep reinforcement learning based energy management for behind-the-meter resources

The future communities are becoming more and more electrically connected via increased penetrations of behind-the-meter (BTM) resources, specifically, electric vehicles (EVs), smart buildings (SBs), and distributed renewables. The electricity infrastructure is thus seeing increased challenges in its reliable, secure, and economic operation and control with increased and hard to predict demands (due to EV charging and demand management of SBs), fluctuating generation from renewables, as well as their plug-N-play dynamics. Reinforcement learning has been extensively used to enable network entities to obtain optimal policies. The recent development of deep learning has enabled deep reinforcement learning (DRL) to drive optimal policies for sophisticated and capable agents, which can outperform conventional rule-based operation policies in applications such as games, natural language processing, and biology. Furthermore, DRL has shown promising results in many resource management tasks. Numerous studies have been conducted on the application of single-agent DRL to energy management. In this paper, a fully distributed energy management framework based on multi-agent deep reinforcement learning (MADRL) is proposed to optimize the BTM resource operations and improve essential service delivery to community residents.     

新能源直流微网的控制架构与层次划分

以新能源直流微网为研究对象,融合集中控制和分散控制特点,提出一种直流微网层次控制架构。根据直流微网的物理特性,将控制框架划分为变流器控制层、母线控制层和调度管理层。在变流器控制层,将各类变流器统一为终端控制型和母线控制型;在母线控制层,根据母线电压划分3种运行模式,以实现系统中各单元的自适应模式切换;在调度管理层,中央控制单元通过自上而下的决策仲裁机制,实现系统的整体优化。位于底层的变流器控制层通过分散自治控制保证系统的可靠性;处于顶部的调度管理层通过集中控制提升系统的灵活性;处于中间的母线电压控制层作为重要衔接,实现系统的能量流动和信息交互。最后,通过理论分析和实验测试,验证了所述控制策略的有效性。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。