基于强化学习算法的井下移动机器人路径规划

移动机器人路径规划一直是机器人研究领域中的难点问题,本文针对煤矿井下环境的不确定性,采用强化学习算法中的Q-learning算法实现井下移动机器人的局部路径规划,并对Q函数中的即时回报进行加权修正,使算法更有效地利用环境特征信息,提高了避障能力.仿真实验说明该方法的有效性和可行性.     

基于强化学习的移动机器人路径规划优化

随着信息化程度不断加深,移动机器人的应用越来越广泛,但在很多情况下,移动机器人需要工作在不断变化且复杂的环境中,由于无法提前获取环境信息,往往难以对移动机器人进行路径规划并寻找到一条合适的路径.针对这一问题,提出了一种移动机器人路径规划方法.该方法运用栅格法建立环境模型,利用探索步数定义回报值,并通过强化学习不断优化路...     

基于深度强化学习哈里斯鹰算法的路径规划

哈里斯鹰算法存在容易早熟、陷入局部最优陷阱、稳定性较差等问题。为了提升算法性能,本文提出了一种利用深度确定性策略梯度算法（DDPG）改进的哈里斯鹰算法。该改进将深度强化学习和启发式算法结合,利用深度确定性策略梯度算法训练神经网络,再通过神经网络动态地生成哈里斯鹰算法关键参数,平衡算法全局搜索和局部搜索,并赋予算法后期跳出局部最优陷阱的能力。通过函数优化和路径规划对比实验,实验结果表明,DDPGHHO算法具有一定的泛化性和优秀的稳定性,且在不同环境下均能够搜索到更优路径。     

深度强化学习在机器人路径规划中的应用

针对深度强化学习算法在路径规划的过程中出现与所处环境交互信息不精确、回馈稀疏、收敛不稳定等问题,在竞争网络结构的基础上,提出一种基于自调节贪婪策略与奖励设计的竞争深度Q网络算法。智能体在探索环境时,采用基于自调节贪婪因子的ε-greedy探索方法,由学习算法的收敛程度决定探索率ε的大小,从而合理分配探索与利用的概率。根据人工势场法物理理论塑造一种势场奖励函数,在目标处设置较大的引力势场奖励值,在障碍物附近设置斥力势场奖励值,使智能体能够更快的到达终点。在二维网格环境中进行仿真实验,仿真结果表明,该算法在不同规模地图下都取得了更高的平均奖赏值和更稳定的收敛效果,路径规划成功率提高了48.04%,验证了算法在路径规划方面的有效性和鲁棒性。同时与Q-learning算法对比实验表明,所提算法路径规划成功率提高了28.14%,具有更好的环境探索和路径规划能力。     

改进蚁群算法求解移动机器人路径规划

在全局静态环境下,提出一种改进蚁群算法,解决传统蚁群算法用于路径规划出现的收敛速性差、局部最优和求解质量差等不足。该算法引入障碍物排斥权重和新的启发因子到路径选择概率中,提高避障能力,增加路径选择的多样性;然后,设置局部信息素的阈值和限定范围更新局部信息素,采用交叉操作获取新路径,引入最优解和最差解,改变全局信息素的更新方式,提高全局搜索能力和解的质量,避免算法陷入局部最优。仿真结果表明,该算法能有效获得最优路径,在长度上比蚁群算法及其他算法分别减少了18%、5.7%和11%,算法迭代次数及运行时间都有所降低,提高了收敛速度和搜索能力。     

基于改进JPS的移动机器人路径规划算法

在移动机器人的路径规划技术中,跳点搜索算法（JPS）因具备简单、快速、易实现的特性而被广泛使用。然而,传统的JPS算法由于启发式函数搜寻效率低导致其搜索的节点数量冗余,而且难以有效兼顾规划路径的安全性。针对该问题,本文提出了一种改进的JPS算法。该方法设计了一种由对角线距离和方向信息结合的启发式函数用于提高寻路效率,并且进一步对规划路径进行平滑处理以有效兼顾规划路径的安全可靠性。移动机器人在复杂障碍物环境下的路径规划仿真实验表明,相较于JPS算法,本文改进后的JPS算法平均规划时间减少了13.4%,平均路径长度减少了3.1%,平均危险点数量降低了83.3%。     

基于深度强化学习的输电网网架规划方法

为解决现有输电网规划方法在多场景情况下存在的灵活性不足的问题,同时进一步提高规划方法的运算效率,文章提出一种基于深度强化学习的输电网规划方法.首先,通过聚类方法,以系统信息熵最小为目标,生成用于规划的电网典型场景,并建立适用于多场景的输电网灵活规划模型.其次,综合运用深度强化学习方法及Actor-Critic方法,提出...     

基于深度双Q网络的权值时变路网路径规划

针对传统路径规划方法无法根据城市路网权值时变特性规划最优路径的问题,提出了基于深度双Q网络的权值时变路网路径规划方法。首先,构建权值时变的城市路网模型,其中,路段各时间段权值由随机函数产生。然后,设计了状态特征、交互动作和奖励函数对权值时变路网路径规划问题进行建模,利用DDQN算法训练智能体来学习路网权值时变特性,最后根据建模后的状态特征实现权值时变路网的有效路径规划。实验结果表明,DDQN算法训练的智能体在权值时变路网中具有较好全局寻优能力。相比于滚动路径规划算法,所提方法在不同情况下规划的路径均最优,为权值时变路网的路径规划提供了一种新思路。     

基于改进灰狼优化算法的移动机器人路径规划

针对移动机器人避障路径规划问题,在基本群智能算法灰狼优化算法的基础上,提出改进灰狼优化算法,测试函数证明了算法的稳定性和收敛性,进而将其首次应用于移动机器人避障路径规划问题,通过对改进灰狼优化算法的移动机器人避障路径进行研究,并与基本灰狼优化算法、粒子群算法、遗传算法比较,仿真结果证明了算法的稳定性和收敛性,对路径规划领域有十分重要的研究意义。     

动态不确定环境下一种移动机器人路径规划方法

提出了一种在动态不确定环境下基于信度分配Sarsa强化学习算法的移动机器人路径规划方法。通过引入信度分配函数有效分配强化信号,来修正动作选择策略,提高了学习效率和速度,能够很好地解决动态不确定环境下特别是存在随机运动障碍物的环境下移动机器人路径规划问题。仿真实验说明该方法的有效性和可行性。     

基于改进深度强化学习的智能微电网群控制优化方法

针对微电网群控制的经济效益、负荷波动以及碳排放问题,提出一种基于改进深度强化学习的智能微电网群运行优化方法。首先,计及分布式电源、电动汽车及负荷特性,提出微电网的系统模型。然后,针对微电网群的运行特点,提出4个系统优化目标和5个约束条件,并且引入分时电价机制调控负荷运行。最后,利用改进深度强化学习算法对微电网群进行优化,合理调控多种能源协同出力,调整负荷状态,实现电网经济运行。仿真结果表明了所提方法的有效性,与其他方法相比,其收益较高且碳排放量较小,可实现系统的经济环保运行。     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

全自主移动机器人在未知环境中的运动规划

针对机器人在未知环境中的运动规划,本文给出了一种基于激光传感器的完备路径规划算法,使机器人可以有效地扫描整个未知环境。使得机器人扫描整个未知环境的行走路径较短,所需的时间也较短。计算机仿真验证了算法的可行性,同时体现了算法的优越性。     

基于深度强化学习的激励型需求响应决策优化模型

随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应.文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法.首先,建立售电商和用户的需求响应模型,通过引入时间-价格弹性,改进现有的用户响应模型,考虑用户对相邻时段补贴价格差的反应...     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。