适用于大规模充电场站的深度强化学习有序充电策略

针对大型充电场站内规模化电动汽车的有序充电问题,提出一种基于双深度Q网络（DDQN）深度强化学习方法的电动汽车充电安排策略,能有效计及电动汽车出行模式和充电需求的不确定性,实现充电场站充电成本最小化的目标。首先,对电动汽车泊车时间和充电需求特征进行提取;其次,为解决维数灾问题,提出一种“分箱”方法和充电次序优化策略以控制状态和动作空间的大小,从而建立了一种适用于大规模电动汽车有序充电的马尔可夫决策过程（MDP）模型;然后,应用DDQN的强化学习算法对电动汽车有序充电策略进行求解;最后,通过仿真算例验证了所提方法的有效性,不仅能有效减少充电场站的充电成本,而且能使模型训练难度不受电动汽车规模影响。     

基于分层强化学习的电动汽车充电引导方法

为了有效解决电动汽车充电目的地优化和充电路径规划问题,以及充电引导的在线实时决策问题,建立了考虑多种不确定因素的电动汽车充电引导双层优化模型,提出了一种基于分层增强深度Q网络强化学习(HEDQN)的电动汽车充电引导方法。所提HEDQN算法采用基于Huber损失函数的双竞争型深度Q网络算法,并包含2层增强深度Q网络(eDQN)算法。上层eDQN用于对电动汽车充电目的地的优化;在此基础上,下层eDQN用于对电动汽车充电路径的实时优化。最后,在某城市交通网络中对所提HEDQN算法进行仿真验证,仿真结果表明相比基于Dijkstra最短路径的就近推荐算法、单层深度Q网络强化学习算法和传统的分层深度Q网络强化学习算法,所提HEDQN算法能够有效降低电动汽车充电费用,实现电动汽车在线实时的充电引导。此外还验证了所提HEDQN算法在仿真环境变化后的适应性。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

梯级水库深度强化学习长期随机优化调度研究

梯级水库调度相较于单库调度状态空间呈指数级增大,为解决基于表格的强化学习方法在解决梯级水库长期随机优化调度问题时面临的维数灾问题,提出采用深度强化学习中的深度Q网络算法求解。首先基于Copula函数分析梯级水库随机入库径流的联合分布函数;再根据时序差分思想分别建立目标神经网络和主神经网络,分别逼近当前和下一状态对应的动作状态价值,并采用ε-贪婪探索利用策略获取最优调度策略;最后将主要参数分步调优保障调度效益。算例对比表明,深度Q网络算法相较于Q学习算法及其改进算法提升了优化调度目标值,加快收敛速度,有效解决了梯级水库随机优化调度中的维数灾问题。     

基于深度强化学习的光储充电站储能系统优化运行

优化储能充放电策略有利于提升光储充电站运行经济性,但是现有模型驱动的随机优化方法无法全面考虑储能系统的复杂运行特性以及光伏发电功率、电动汽车充电负荷的不确定性.因此,提出一种基于深度强化学习的光储充电站储能系统全寿命周期优化运行方法.首先对储能运行效率模型和容量衰减模型进行精细化建模.然后考虑电动汽车充电需求、光伏出力和电价的不确定性,在满足电动汽车充电需求和光伏消纳的条件下,以光储充电站收益最大化为目标,建立了基于强化学习的储能优化运行问题.考虑到储能充放电决策动作的连续性,采用双延迟深度确定性策略梯度算法进行求解.采用实际历史数据对模型进行训练,根据当前时段状态对储能充放电策略进行实时优化.最后,对所提方法及模型进行测试,并将所提出的方法与传统模型驱动方法进行对比,结果验证了所提方法及模型的有效性.     

基于恢复力约束的分布式储能优化规划

提出基于恢复力约束的分布式储能优化规划方法,以保证重要用户的恢复力为前提条件,采用双层耦合规划模型。内层模型在满足电网运行的潮流约束下,灵活地控制重要用户侧分布式储能参与需求侧响应,实现用电成本与动作频次最小的目标,采用竞争深度Q网络（dueling deep Q network, DDQN）结构的深度增强学习方法进行求解,内层模型将分布式储能响应策略传递给外层模型;外层模型进一步基于重要用户的恢复力约束和投资收益校核分布式储能的配置方案,通过双层优化耦合反馈,最终实现基于恢复力约束的分布式储能优化规划。通过分时电价引导分布式储能等重要互动资源参与配电网的优化运行,保证重要用户电力供应连续性的同时给用户明显的投资收益。最后以某10 kV变电站的重要用户储能优化配置为例,分析了所提方法的有效性。     

高速公路充电网络充电设施运行状态时空预测建模

准确的充电网络充电设施运行状态时空预测建模是高速公路预约充电优化的基础.考虑电动汽车行驶速度与传统汽车相接近,基于传统汽车的实际行驶速度数据,提出了一种高速公路充电网络充电设施运行状态时空预测建模方法.一方面,采用灰色关联分析法、协整-自回归移动平均法和小波神经网络方法对电动汽车的行驶速度进行滚动预测;另一方面,基于预测值和观察值,利用蒙特卡洛方法、弗洛伊德方法和排队算法对高速公路充电网络充电设施运行状态进行时空预测.算例研究结果表明,采用所提方法得到的高速公路充电网络充电设施运行状态时空预测结果比较准确,可满足电动汽车预约充电优化需求.     

基于强化学习理论的地区电网无功电压优化控制方法

基于强化学习理论,提出一种实用的地区电网无功电压优化控制方法。方法采用Q学习算法,在动作策略与电网状态的交互中不断学习,得到各状态—动作对所对应的Q值函数,形成电网各种运行状态下最佳的无功电压优化控制策略。方法摆脱了传统电网无功优化求解非线性混合整数规划模型所存在的收敛性问题,同时,相对于基于多区图的无功电压控制方式,由于方法所依据的Q值函数包含电网的全局响应信息,因而,可以综合判断执行控制策略后各变电站之间的相互影响,统一协调地控制各无功电压控制设备,给出所辖电网内的全局最佳控制策略,提高无功电压优化控制效果。通过对220k V变电站及其馈线系统的测试计算,证明了方法的有效性。     

移动机器人模糊Q-学习沿墙导航

针对在基于行为的移动机器人沿墙导航控制器的设计中缺乏足够的先验知识的问题,采用Q-学习方法让机器人通过学习来自动构建导航控制器.将模糊神经网络和Q-学习相结合,用模糊神经网络直接逼近连续状态和动作空间中的Q值函数.利用对Q值函数的优化获得控制输出.模糊神经网络中的节点根据状态动作对的各个分量和时间差分的新颖性进行自适应地添加和构造,这样不仅能克服节点选择的困难还能使网络保持适度的规模.网络中的参数采用扩展卡尔曼滤波方法进行自适应调整.基于Khepera 2机器人的沿墙导航实验验证了该方法的有效性和优越性.     

基于LSTM神经网络的电动汽车充电站需求响应特性封装及配电网优化运行

随着电动汽车的快速增长,大规模电动汽车充电具有随机性、时空耦合性的特点,对配电网运行电压造成越限风险。通过基于价格的需求响应,引导电动汽车在大时空范围有序合理地充电成为重要的技术手段。文章研究基于数据驱动的电动汽车充电站需求响应特性及其参与配电网运行优化调度问题,首先提出单体电动汽车充电模型和计及交通网络拓扑结构的电动汽车行驶特性,建立了区域电动汽车充电站负荷需求响应计算方法;在此基础上,提出了基于LSTM深度神经网络的电动汽车充电站需求响应模型封装方法,得到电动汽车充电站充电成本和充电功率响应之间的映射模型;接着,构建了考虑电动汽车充电站需求响应的区域配电网电压运行优化模型,并采用粒子群算法进行求解;最后,通过对包含3个充电站的33 节点系统的算例对比分析,验证了所述电动汽车充电站需求响应及其参与配电网优化运行方法的有效性,为数据驱动方法解决电动汽车充电和需求响应问题提供借鉴。     

基于数据挖掘的电动汽车充电设施配置与两阶段充电优化调度

电动汽车充电负荷的大量增长将对电力系统安全运行带来严重影响。该文基于配变运行数据进行了充电区域的充电设施配置并设计了电动汽车三相调控充电方法。首先通过数据挖掘,获取配电变压器历史功率冗余度与相偏差度,根据冗余度与相偏差度进行了充电区域充电设施配置。接下来建立了电动汽车充电三相优化调控的两阶段优化模型,优化第一阶段根据实时潮流对电动汽车接入位置进行优化选择。优化第二阶段,基于负荷走势特征值,结合系统三相运行状态,对电动汽车进行充电功率控制。算例结果表明,该文所提充电设施规划方法,能够在系统安全水平内降低配电变压器功率冗余度。三相调控模型可以在满足电动汽车用户充电需求的前提下改善系统三相运行状态。     

基于马尔可夫决策过程的电动汽车充电站能量管理策略

电动汽车充电站作为并网分布式储能装置,是实现电动汽车与未来能源互联网深度融合的重要组成部分。考虑分时电价和电动汽车用户行为的不确定性,提出了以电动汽车充电站日运营成本最小化为目标的能量管理策略。为了减少对先验信息的依赖和约束,将优化问题建模为一个新的有限回合马尔可夫决策过程模型;基于传统成本模型提出奖惩回报函数,通过主动学习调度决策,得到每辆电动汽车的实时充放电行为;针对模型的高维状态空间问题,设计相应的状态空间和动作空间,采用一种卷积神经网络结构结合强化学习的方法,通过从原始数据观测中提取高质量的经验,获取最优调度策略以达到优化目标。仿真结果表明,与传统的充电策略相比,所提策略可以有效地降低充电站的日运营成本,保护电动汽车的电池,同时能满足电动汽车用户的充电需求。     

基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

集群电动汽车充电行为的深度强化学习优化方法

随着用电信息采集系统的推广,数据驱动的机器学习方法在用户侧用电行为优化领域的应用已引起广泛关注。利用深度强化学习方法(deep reinforcement learning,DRL),基于充电监测系统实时反馈的数据与分时电价信号,从负荷聚合商层面优化电动汽车(electric vehicles,EVs)充电行为。通过双延迟深度确定性策略梯度算法(twindelaydeep deterministic policy gradient,TD3)对单辆电动汽车充电过程进行建模。通过在训练智能体时向其状态中引入随机噪声,该模型获得了对不同状态下的电动汽车充电行为的泛化控制能力。通过将训练得到的智能体进行分布式部署,该方法实现了对集群电动汽车充电行为的快速实时优化,其效果在算例中得到了验证。     

不完全信息下基于深度双Q网络的发电商三段式竞价策略

不完全信息的电力市场环境下发电商仅知道自身相关的信息,而其他市场参与者的报价和市场环境都可能会影响市场出清结果,进而影响发电商的收益,因此其报价决策应当考虑多维的市场信息。基于深度强化学习算法,提出多智能体的DDQN（double deep Q-network）算法模拟日前现货市场中发电商三段式竞价策略的过程。首先,定义发电商模型中马尔可夫决策过程的要素和动作价值函数;然后,建立发电商深度双Q网络的框架,并引入经验池和动态ε-greedy算法进行神经网络的训练,该决策模型可以根据市场的出清电价和负荷水平等多维连续状态做出报价;最后,通过算例比较了发电商采用DDQN和传统Q-learning两种算法获得的收益差别,说明DDQN算法可以根据发电商面临的复杂市场环境做出正确的决策而Q-learning算法在环境复杂时决策能力较差,并在不同状态量选取、网络泛化能力、更大规模算例适应性等方面分析了发电商采用DDQN算法进行市场策略生成的有效性和优越性。     

基于深度强化学习的电动汽车充电调度算法研究进展

对电动汽车的充电过程进行优化调度有利于电网安全稳定运行,提升道路通行效率,提高可再生能源利用率,减少用户充电时间和充电费用。深度强化学习可以有效解决电动汽车充电优化调度面临的随机性和不确定性因素的影响。首先,概述了深度强化学习的工作原理,对比分析了不同种类强化学习的特点和应用场合。然后,从静态充电调度和动态充电调度两方面综述了基于深度强化学习的电动汽车充电调度算法研究成果,分析了现有研究的不足。最后,展望了该领域未来的研究方向。     

基于LSTM网络学习的电动汽车实时能量管理优化策略

对电动汽车负荷进行有序控制可以改善地区电网的负荷特性,降低充电成本.由于无法预测未来电动汽车的准确接入时间及充电需求,故无法对电动汽车的接入进行全局最优安排.针对该问题,提出基于深度长短期记忆神经网络的电动汽车实时能量管理系统及优化策略.首先构建了包括电网层、区域能量管理系统和充电站能量管理系统的电动汽车3层管理架构,对大规模电动汽车进行分层分区管理;然后提出了基于深度长短期记忆神经网络的区-站两级交互策略,利用历史负荷信息求解出的历史最优解训练学习网络,用以指导新的实时优化;提出的策略在保证用户充电需求的前提下,能够进一步降低充电成本,改善区域负荷峰谷特性.最后,通过仿真算例验证了提出的分层架构及管理策略的有效性及优越性.     

基于深度双Q网络的权值时变路网路径规划

针对传统路径规划方法无法根据城市路网权值时变特性规划最优路径的问题，提出了基于深度双Q网络的权值时变路网路径规划方法。首先，构建权值时变的城市路网模型，其中，路段各时间段权值由随机函数产生。然后，设计了状态特征、交互动作和奖励函数对权值时变路网路径规划问题进行建模，利用DDQN算法训练智能体来学习路网权值时变特性，最后根据建模后的状态特征实现权值时变路网的有效路径规划。实验结果表明，DDQN算法训练的智能体在权值时变路网中具有较好全局寻优能力。相比于滚动路径规划算法，所提方法在不同情况下规划的路径均最优，为权值时变路网的路径规划提供了一种新思路。     

基于用户出行模拟的电动汽车快充站负荷预测及其优化调度

电动汽车作为一种新型交通工具,其充放电优化问题得到越来越广泛的关注。论文提出一种基于用户出行模拟的电动汽车光储充一体式直流快充站优化调度方案。首先结合用户出行链概念,基于城市道路网络和改进的路阻函数模型,运用实时路径搜索算法和基于模糊理论的用户充电方式选择方法对一天内城市电动汽车充电负荷的时空分布进行预测;然后以预测结果为基础,以用户“充电贴合度”指标最大的原则将区域充电负荷落实到建设在特定节点处的充电站,接着以站内综合运行成本最小为目标,在满足设备功率、用户出行需求和储能电池状态等约束的条件下,构建优化调度模型。最后将优化方案与仅需满足设备功率平衡且电动汽车用户以额定功率随到随充的常规调度方案进行比较,结果显示,论文所提优化调度方案能够较大限度地降低充电站的运行成本,具有推广应用价值。