混合动力公交车深度强化学习能量管理策略研究

以某款双行星排混合动力公交车为样车,针对控制变量柴油机转速的离散控制和连续控制分别提出基于双深度Q网络(double deep Q-learning, DDQN)和基于双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradients, TD3)的能量管理策略,并使用优先级经验回放对策略进行优化。运用仿真试验,研究样车在C-WTVC工况下的能量管理特性。通过与动态规划策略(dynamic programming, DP)进行对比发现：DDQN和TD3策略收敛速度快,具有较强的自适应能力;与DP策略相似,DDQN和TD3策略在控制逻辑上均表现为低速和较低转矩时纯电驱动,高速和较高转矩时混合驱动;三种策略下柴油机均主要工作于中低转速区间,且TD3策略可以对柴油机转速进行连续控制;DDQN和TD3策略的百公里油耗分别为19.51L和19.48L,燃油经济性均达到DP策略的93%,研究证明了DDQN和TD3策略的有效性。     

基于DDPG的换流站融合终端任务卸载与资源调度方法

随着电力数字化技术的快速发展,数字换流站作为电力系统的关键组成部分,面临着日益增加的计算压力。针对数字换流站中融合终端的计算业务需求,提出了一种云–边缘–本地三层计算卸载框架。考虑终端设备的移动性,文章以最小化系统总时延为目标,根据业务需求构建马尔科夫决策模型,采用基于深度确定性策略梯度算法的动态任务卸载优化方法实现对云–边–端三层的总体计算资源和网络资源的最优调度。通过搭建深度强化学习环境并仿真实验,结果表明,所提方案相比于边缘–本地双层卸载方案,系统总时延减少了29.6%。     

油电混合动力无人机能量管理策略的对比仿真研究

针对固定飞行任务的油电混合动力无人机,降低混合动力系统瞬时燃油消耗率,增加续航里程的工作需求,设计了可以应用于固定飞行任务油电混合动力无人机的不同能量管理策略,主要包括固定规则、模糊逻辑和动态规划算法的能量管理策略。根据油电混合动力无人机动力源特性,通过理论和试验建模相结合的方法,在MATLAB中建立油电混合动力系统的数学模型、飞行任务相对应的仿真工况及不同能量管理策略的控制程序。重点对比了基于优化的动态规划算法能量管理策略相比固定规则和模糊逻辑策略在燃油经济性和运行稳定性方面的表现。仿真结果表明：动态规划算法策略的累积燃油消耗量相比固定规则、模糊逻辑策略分别下降了4.6%和6.5%,平均瞬时燃油消耗率分别下降了5.1%和5.9%;在应对外部突风扰动时,动态规划能量管理策略的航空发动机最大转速波动相比固定规则的能量管理策略下降了59.7%,应对随机紊流扰动时,动态规划策略航空发动机的最大转速波动相比固定规则和模糊逻辑分别下降了33.9%、25.6%。动态算法作为一种全局最优算法,应用在固定飞行任务的油电混合动力无人机能量管理策略中时,可在提高混合动力系统燃油经济性的同时保证系统运行的稳定性。     

发动机管理策略对增程式电动车燃油经济性的影响研究

为了提高增程式电动车的燃油经济性,在传统定点控制式发动机管理策略的基础上,提出了模糊控制式管理策略,对不同的发动机管理策略进行了仿真研究。在CRUISE软件中建立了增程式电动车的驱动系统模型,并在Simulink中搭建了发动机管理策略模型。在模糊逻辑控制器中,使用T-S模糊系统和Mamdani模糊系统,并建立了模糊控制规则。在全球统一轻型车测试规程（worldwide light-duty test cycle,WLTC）循环工况下进行了联合仿真,将模糊控制式管理策略与定点控制式管理策略的结果进行了分析。仿真结果显示,与定点控制式管理策略相比,基于T-S模糊系统和Mamdani模糊系统的发动机管理策略使增程式电动车的燃油经济性分别提高了12.52%和10.60%。其中,基于T-S模糊系统的发动机管理策略效果更好,燃油经济性更高。     

混合动力货车能量管理策略硬件在环仿真研究

针对等效燃油消耗最小策略（equivalent consumption minimum strategy,ECMS）获得优化等效因子的途径提出了一种基于粒子群寻优算法的重型混合动力卡车等效油耗最小控制策略。该策略采用粒子群算法并以整车油耗与终止电池组荷电状态（state of charge,SOC）偏离目标SOC程度的绝对值加权之和作为适应性函数,对等效油耗最小策略的关键参数进行选取。根据该重型卡车的传动系统构型,基于Simulink建立了车辆的纵向动力学模型,并基于此模型分别设计了基于动态规划（dynamic programming,DP）算法优化规则的能量管理策略和基于等效油耗最小的控制策略。在选取的测试工况下验证优化后的策略,硬件在环测试结果表明,在保持SOC稳定的情况下相比于基于DP算法优化规则的能量管理策略,所提出的基于粒子群算法优化的等效油耗最小策略使发动机油耗降低3.63%及1.36%。     

基于DDPG的光储微电网系统能量决策优化

为提高光储微电网系统中的能量管理效率及光电的就地消纳能力,文章以家庭光储微电网系统为研究对象,使用真实的气象数据和分时电价信息建立一个虚拟环境,与家庭光储微电网能量调度策略模型进行交互。采用深度确定性策略梯度算法学习控制蓄电池充/放电功率的连续性,将系统的即时收益和蓄电池可调整出力的加权和作为算法的立即回报,并测试和分析了不同重要性权重对实验结果的影响,最终确定了最优能量调度策略。结果表明,使用深度确定性策略梯度算法可以使系统很好地响应当前和未来的电价信息,在缓解电网压力的同时帮助用户利用能源峰谷电价差套利,并预留了一定的蓄电池调节能力,以减轻光伏出力波动引起的计划外电能交易,证明了该方法的实际意义和应用潜力。     

氢燃料电池船舶能量管理策略

基于规则与基于功率跟随的控制方式分别设计氢燃料电池船舶能量管理策略,并对所设计的能量管理策略进行仿真分析。结果表明所设计的2种能量管理策略在船舶运营时能够满足锂电池的充电需求,维持锂电池荷电状态（state of charge,SOC）在合理范围内。与基于规则的能量管理策略相比,当采用能量跟随的能量管理策略时动力系统所需的锂电池容量更小,燃料电池工作点波动更频繁。     

混合动力重卡自适应等效燃油消耗最小化能量管理策略北大核心CSCD

为解决等效燃油消耗最小化策略的关键参数在不同工况下的动态调整,提出一种适用于混合动力重型汽车的自适应等效燃油消耗最小化策略(adaptive equivalent consumption minimization strategy,A-ECMS)。该策略以层次聚类算法得到的6种典型行驶工况为例,提出了一种基于神经网络工况识别算法。应用改进的混沌粒子群优化(chaosparticle swarm optimization,CPSO)算法优化特定驾驶循环下等效燃油消耗最小化策略(equivalent consumption minimization strategy,ECMS)的3个关键参数:等效因子、惩罚函数的比例因子和发动机起动车速阈值。提出了一种基于工况识别的新型自适应能量管理策略对关键参数进行优化,根据该重型卡车的传动系统构型,建立了车辆的纵向动力学模型,并通过仿真进行了验证。仿真结果表明复合工况驱动循环下的CPSO-ECMS和A-ECMS控制策略与传统等效燃油消耗策略相比,油耗分别降低了5.9%和8.9%。     

发动机管理策略对增程式电动车燃油经济性的影响研究

为了提高增程式电动车的燃油经济性,在传统定点控制式发动机管理策略的基础上,提出了模糊控制式管理策略,对不同的发动机管理策略进行了仿真研究。在CRUISE软件中建立了增程式电动车的驱动系统模型,并在Simulink软件中搭建了发动机管理策略模型。在模糊逻辑控制器中,使用T-S模糊系统和Mamdani模糊系统,建立了模糊控制规则。在全球统一轻型车测试规程(worldwide light-duty test cycle,WLTC)循环工况下进行了联合仿真,将模糊控制式管理策略与定点控制式管理策略的结果进行了对比分析。仿真结果显示,与定点控制式管理策略相比,基于T-S模糊系统和Mamdani模糊系统的发动机管理策略分别使增程式电动车的燃油经济性提高了12.52%和10.60%。其中,基于T-S模糊系统的发动机管理策略效果更好,燃油经济性更优。     

并联混合动力汽车能量管理与转矩协调控制策略

研究并联混合动力汽车的控制策略。基于发动机输出转矩最优的能量管理策略,对并联混合动力汽车在工作模式切换中的相互配合问题,提出发动机动态转矩控制+动力电池荷电状态(state of charge,SOC)干预+电机转矩补偿控制的转矩协调控制方法;在Matlab/Simulink/Stateflow平台搭建整车能量管理控制策略模型,控制发动机工作在高效率区,保证发动机输出最优转矩;根据电池的SOC干预电机的运行状态,协同发动机提供整车需求转矩。在Cruise平台下建立整车模型,以新欧洲驾驶周期作为循环工况进行离线仿真。结果表明,能量管理与转矩协调控制策略能够有效分配电机和发动机的转矩输出,满足混合动力汽车多模式切换的要求。