基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题,该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程,然后采用多智能体双延迟深度确定性策略梯度算法求解,根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量,且能够根据源荷的随机变化实时给出电压控制策略,具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于深度强化学习的配电网负荷转供控制方法

随着城市规模的快速扩张以及电能替代的不断推进,配电网节点数大量增加,结构愈加复杂,发生故障后拓扑变化不确定性较大,传统负荷转供方法难以在短时间内给出高质量的解决方案。为此,提出基于深度强化学习的配电网负荷转供控制方法。将负荷转供过程视为一个马尔可夫决策过程,与配电网实时电气、拓扑数据进行交互,对联络开关与分段开关进行控制。为了提高算法的精度与泛化能力,针对算法动作策略加入了预模拟机制,调整了动作与学习的比例并采用自适应优化算法进行求解。算例分析表明,所提方法能够应对不同故障下配电网的拓扑变化,即时给出负荷恢复量、电网损耗、开关动作次数多方面最优的转供控制方案,这对于减小故障后的停电损失与提高用户满意度有着重要意义。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于深度强化学习的配电网多时间尺度在线无功优化

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题,给配电网在线无功优化带来了挑战.文中采用深度强化学习方法,提出了一种多时间尺度配电网在线无功优化运行方案.该方案将配电网在线无功优化问题转化为马尔可夫决策过程.鉴于不同无功补偿设备的调节速度不同,设计2个时间尺度分别对离散调节设备和连续调...     

基于深度确定性策略梯度算法的配电网最优电压实时控制

随着光伏发电在配电网中的渗透率逐渐增大,在降低系统网损和全社会的碳排放量的同时,也导致了电压出现时段性越限等问题,而电压安全对配电网的稳定运行有重要意义。提出了一种基于深度确定性策略梯度（deep determi-nistic policy gradient,DDPG）算法的电压控制策略。研究了太阳能光伏逆变器在配电网无功电压优化中的作用;以配电网有功损耗最小化为目标函数,同时考虑到逆变器的无功补偿能力,提出了一种基于深度确定性策略梯度算法的配电网电压控制策略;利用修改后的IEEE33节点算例对所提策略的有效性进行验证,仿真结果表明：DDPG算法学习所得策略可以动态调节各光伏逆变器的无功输出,从而实现控制电压安全的目标,并且与调控前相比系统网络耗损减少了13.5%。     

基于深度强化学习的两阶段显著性目标检测

为提高复杂场景下的显著性目标检测速度和精度,提出了一种基于深度强化学习的两阶段显著性目标检测方法.该算法由显著性区域定位网络(salient region localization network,SRLN)和显著性目标分割网络(salient object segmentation network,SOSN)组成,分...     

基于深度强化学习组合优化的配电网拓扑控制研究

基于深度强化学习的配电网故障恢复拓扑控制策略,文章首先设计配电网拓扑状态表征和决策动作规则支撑组合优化求解;其次,利用改进指针网络结构配合深度强化学习算法实现适用于多类故障恢复策略的模型自学习和端到端计算;最后,通过改进掩码机制降低探索求解复杂度进而提升训练学习效率。通过在预设条线路上随机设置故障组合,在单一和混合初始状态样本集上验证文章提出的改进机制和模型计算有效性,以期为深度学习技术在配电网运行方式优化研究提供有效参考。     

基于深度强化学习的分布式电力配电网负荷调度研究

分布式电力配电网通常涉及多个能源源头,如传统发电机组、可再生能源和储能设备等。这些能源的有效协调调度是一个关键难题。需要考虑不同能源之间的互补性和相互依赖性,以平衡供需关系,提高系统的可靠性和经济性。为此,提出一种基于深度强化学习的分布式电力配电网负荷调度方法。利用深度强化学习中的LSTM（长短期记忆）提取损坏负荷数据,基于此,建立分布式电力配电网调度模型的约束条件,并将非线性递减惯性权重引入到传统粒子群算法中,对调度结果实现寻优。实验结果表明：通过对负荷的优化调度,可实现存储设备及灵活负荷的主动加入,新能源功率特性与负荷特性的匹配度更高。     

基于图注意网络与深度确定性策略梯度的三相主动配电网供电恢复方法

配电服务恢复作为一种基本韧性范式,提供了一种优化协调的韧性解决方案,通过极端事件后配电网的供电恢复实现韧性提升。该文根据三相不平衡配电系统的网络特点,利用图注意网络对Actor-Critic架构的深度强化学习进行改造,通过增加网络拓扑特征提高其对不平衡配电系统的学习能力,提出一种基于图深度强化学习的三相不平衡主动配电网供电恢复新方法。该方法将配电网的动态供电恢复问题设计为一种新颖的马尔科夫决策过程,在此过程中不断产生样本数据并根据所提出的图深度强化学习算法对智能体进行训练,通过优化协调多个微电网以实现配电网动态供电恢复,其性能在IEEE37节点和IEEE123节点配电系统中得到了验证。     

基于约束型深度强化学习的主动配电网电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

基于再励学习的交流调速系统模糊神经网络控制

针对矢量控制交流调速系统,该文提出并设计了一种基于再励学习的模糊神经网络速度控制器。详细介绍了基于遗传算法的神经网络权重在线训练方法,仿真对比了输入空间的划分即模糊子集数量对模糊神经网络控制器的训练及其控制效果的影响。仿真结果表明该速度控制器能通过在线训练方式获得最优参数以适应被控对象的参数变化,能使系统获得优良的动态和静态性能。     

基于改进深度强化学习的智能微电网群控制优化方法

针对微电网群控制的经济效益、负荷波动以及碳排放问题,提出一种基于改进深度强化学习的智能微电网群运行优化方法。首先,计及分布式电源、电动汽车及负荷特性,提出微电网的系统模型。然后,针对微电网群的运行特点,提出4个系统优化目标和5个约束条件,并且引入分时电价机制调控负荷运行。最后,利用改进深度强化学习算法对微电网群进行优化,合理调控多种能源协同出力,调整负荷状态,实现电网经济运行。仿真结果表明了所提方法的有效性,与其他方法相比,其收益较高且碳排放量较小,可实现系统的经济环保运行。     

基于深度强化学习的多端背靠背柔性直流系统直流电压控制

为了提高互联配电网多端背靠背柔性直流系统的直流电压控制精度,增强抗干扰能力,提出一种基于深度强化学习的直流电压控制方法,将深度学习神经网络与确定策略梯度融合,实现连续动作搜索,自适应调整电压控制策略.首先,建立多端背靠背柔性直流系统数学模型,分析直流电压控制的非线性和不确定性特征;然后,给出了基于深度强化学习的直流电压...     

基于智能软开关的交直流主动配电网优化控制策略研究

交直流主动配电网符合未来智能电网的发展要求,智能软开关(SOP)是一种可以灵活控制系统功率的电力电子装置,可以有效应对分布式电源接入时的电网波动。首先构建了交直流主动配电网的网架结构,详细分析了背靠背电压源型SOP的控制策略。针对分布式电源大量接入带来的系统损耗增加和节点电压越限等问题,提出了一种基于SOP的交直流主动配电网优化控制策略,该策略以改善功率损耗、调节电压越限为优化目标构建数学模型,采用了改进遗传算法进行求解。最后,通过仿真算例验证了所构建的配电网模型和提出的优化控制策略的有效性。     

基于深度强化学习的微电网源-荷低碳调度优化研究

提升可再生能源在能源供给中的比例成为实现低碳经济的重要举措之一。为减少碳排放量并降低用电成本,提出了一种基于深度强化学习的微电网低碳经济优化调度模型。首先,介绍了碳排放流理论并基于此构建了碳计量模型以及阶梯碳价模型;其次,将低碳经济优化问题转换为一个马尔科夫决策;最后,利用深度强化学习对该多目标优化问题求解。实验结果表明,所提方法通过控制发电机组的出力以及负荷的转移,有效地提升了系统经济性并降低了碳排放量。     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于深度强化学习的输电网网架规划方法

为解决现有输电网规划方法在多场景情况下存在的灵活性不足的问题,同时进一步提高规划方法的运算效率,文章提出一种基于深度强化学习的输电网规划方法.首先,通过聚类方法,以系统信息熵最小为目标,生成用于规划的电网典型场景,并建立适用于多场景的输电网灵活规划模型.其次,综合运用深度强化学习方法及Actor-Critic方法,提出...