引入势场及陷阱搜索的强化学习路径规划算法

移动机器人在复杂环境中移动难以得到较优的路径,基于马尔可夫过程的Q学习（Q-learning）算法能通过试错学习取得较优的路径,但这种方法收敛速度慢,迭代次数多,且试错方式无法应用于真实的环境中。在Q-learning算法中加入引力势场作为初始环境先验信息,在其基础上对环境进行陷阱区域逐层搜索,剔除凹形陷阱区域[Q]值迭代,加快了路径规划的收敛速度。同时取消对障碍物的试错学习,使算法在初始状态就能有效避开障碍物,适用于真实环境中直接学习。利用python及pygame模块建立复杂地图,验证加入初始引力势场和陷阱搜索的改进Q-learning算法路径规划效果。仿真实验表明,改进算法能在较少的迭代次数后,快速有效地到达目标位置,且路径较优。     

改进强化学习算法应用于移动机器人路径规划

为了解决传统的强化学习算法应用于移动机器人未知环境的路径规划时存在收敛速度慢、迭代次数多、收敛结果不稳定等问题,提出一种改进的Q-learning算法。在状态初始化时引入人工势场法,使得越靠近目标位置状态值越大,从而引导智能体朝目标位置移动,减少算法初始阶段因对环境探索产生的大量无效迭代;在智能体选择动作时改进[ε]-贪婪策略,根据算法的收敛程度动态调整贪婪因子[ε],从而更好地平衡探索和利用之间的关系,在加快算法收敛速度的同时提高收敛结果的稳定性。基于Python的Tkinter标准化库搭建的格栅地图仿真结果表明,改进的Q-learning算法相较于传统算法在路径规划时间上缩短85.1%,收敛前迭代次数减少74.7%,同时算法的收敛结果稳定性也得到了提升。     

基于改进DQN算法的机器人路径规划

传统深度Q网络(DQN)算法通过融合深度神经网络和强化学习方法,解决了Q-learning算法在应对复杂环境时出现的维数灾难问题,被广泛应用于移动机器人的路径规划,但传统DQN算法的网络收敛速度较慢,路径规划效果较差,难以在较少的训练回合内获取最优路径。为了解决上述问题,提出一种改进的ERDQN算法。通过记录重复状态出现的频率,利用该频率重新计算Q值,使得在网络训练的过程中一种状态重复出现的次数越多,下一次出现该状态的概率越低,从而提高机器人对环境的探索能力,在一定程度上降低了网络收敛于局部最优的风险,减少了网络收敛的训练回合。根据机器人移动方向和机器人与目标点的距离,重新设计奖励函数。机器人在靠近目标点时能够获得正奖励,远离目标点时能够获得负奖励,并通过当前机器人的移动方向和机器人与目标点的距离调整奖励的绝对值,从而使机器人能够在避开障碍物的前提下规划出更优路径。实验结果表明,与DQN算法相比,ERDQN算法的平均得分提高了18.9%,规划出的路径长度和回合数减少了约20.1%和500。上述结果证明了ERDQN算法能够有效提高网络收敛速度及路径规划性能。     

移动机器人RRT算法改进研究

目前,机器人路径规划常用算法有避障(Bug)算法、概率路线图(PRM)算法、快速搜索随机树(RRT)算法、蚁群算法、人工势场法等,其中RRT算法在路径规划中应用最广。针对RRT算法存在随机性强、偏差大、路径不一定最优、收敛速度慢等缺点,对RRT算法进行改进,引导随机树向目标点生长,借助人工势场的引力思想,并加入自适应策略,通过机器人与目标点位置、速度和加速度的不断变化来改变步长大小,使机器人快速到达目标点。实验结果表明,通过自适应RRT算法可以提高算法收敛性,缩短了算法时间,可以有效应用在移动机器人系统上,提高移动机器人的工作效率。     

移动机器人路径规划强化学习的初始化

针对现有机器人路径规划强化学习算法收敛速度慢的问题,提出了一种基于人工势能场的移动机器人强化学习初始化方法.将机器人工作环境虚拟化为一个人工势能场,利用先验知识确定场中每点的势能值,它代表最优策略可获得的最大累积回报.例如障碍物区域势能值为零,目标点的势能值为全局最大.然后定义Q初始值为当前点的立即回报加上后继点的最大折算累积回报.改进算法通过Q值初始化,使得学习过程收敛速度更快,收敛过程更稳定.最后利用机器人在栅格地图中的路径对所提出的改进算法进行验证,结果表明该方法提高了初始阶段的学习效率,改善了算法性能.     

改进人工势场法在机器人路径规划中的应用

针对传统人工势场法中存在的一些局部极小点问题,提出了一种基于偏转角度的改进人工势场法。针对在传统的人工势场法中,障碍物在目标点附近使得机器人不能到达目标点问题,通过加入机器人与目标点之间距离参数的方法,使得移动机器人顺利到达指定目标点。对于机器人在行进过程中,产生局部极小点问题,即出现合力为零的时候,在机器人因受斥力和引力的作用下沿正常角度行驶时给其加入一个偏转角度,有效解决了路径规划失败的问题,规划出一条平滑无碰撞路径。通过仿真实验,可以验证算法改进的有效性。     

移动机器人的实时路径规划研究与仿真

研究移动机器人的实时路径规划问题.为了实现移动机器人在动态不确定环境下实时地避开障碍物,安全到达目标点,提出一种人工势场法与指导性RRT算法结合的改进算法,利用人工势场法在初始环境中预规划一条初始路径.当有新的障碍物出现并且覆盖了初始路径时,启动实时规划.在新的障碍物周围确定合适的规划空间,可利用指导性RRT算法规划局部路径.最后,合并初始路径与局部路径,得出最终路径.仿真结果表明,改进的混合算法能够有效实现移动机器人的无碰撞实时规划,路径长度和规划时间有明显改善.     

基于人工势场法与入侵杂草法路径规划研究

针对移动机器人路径规划研究中,移动机器人路径规划易陷入局部极小值,缺乏全局指导性及路径规划效率不高,甚至目的地不可达的问题,这里给出相应的研究方法。通过合理布局超声波探头位置,利用改进人工势场法进行移动机器人的路径规划;对移动机器人陷入局部极小值点的问题,采用入侵杂草算法在全局内有指导性的产生最优子目的地,并根据子目的地重新分配空间内的引力势,引导移动机器人摆脱"陷阱"。Matlab仿真实验表明,本文提出的路径规划算法不仅在一般环境中,而且在相对复杂的环也能引导陷入局部极小值点的移动机准确、安全到达指定目的地。为此算法主要参数选取匹配合理时,可对路径进行优化。该算法在解决局部极小值点的问题具有较高全局指导性。     

基于改进势场法的机器人路径规划

针对传统人工势场法存在引力过大、容易陷入局部极小值、目标不可达以及容易陷入陷阱区域等问题,提出了基于路径优化策略和参数优化的改进势场法。通过引力补偿增益系数来避免引力过大的问题;根据环境信息采取不同的虚拟目标点设置策略以逃离局部极小值点;设置观察距离以识别障碍物的分布情况,选择不同的路径优化策略来避免目标不可达问题,机器人通过提前旋转角度来切向远离陷阱区域或采用安全路径通过该区域;采用改进差分进化算法求解有约束最优化问题,使得人工势场法的初始化参数不再根据经验来设置。仿真实验结果表明,改进势场法可以有效解决机器人陷入局部极小值、目标不可达等问题,并可优化机器人的行驶路径,提高机器人移动的安全性。相比传统人工势场法,改进势场法的路径长度减少了17.5%。     

萤火虫算法结合人工势场法的机器人路径规划

鉴于已有机器人全局路径规划算法存在的易出现目标不可达问题、计算效率较低、所规划路径平滑性欠佳等不足,提出将新型智能优化算法——萤火虫算法与传统人工势场法相结合的最优全局路径规划算法。首先,根据已知全局地图,利用算法结构简单、计算量较小、运算速度较快的人工势场法作为初始化引导因子对萤火虫算法参数进行初始化,再以极坐标系代替直角坐标系利用萤火虫算法对规划路径进行寻优求解。极坐标法能自动舍弃规划路径上的冗余点,增强所规划路径的平滑性;同时考虑到传统萤火虫算法所存在的不足,对萤火虫算法进行了相应的改进：引入自适应步长改进随机步长,加快算法的收敛,并以混沌逻辑改进萤火虫算法的吸收系数,避免算法收敛到局部最优,在一定程度上解决人工势场法所存在局部震荡和目标不可达问题。实验结果表明所提算法实现效率高、避障效果好,安全可靠性好,最优路径更加接近理想路径,平均误差在0.08 m以下,能够很好地完成路径规划的目标。     

基于改进强化学习的模块化自重构机器人编队

针对传统强化学习算法在训练初期缺乏对周围环境的先验知识,模块化自重构机器人会随机选择动作,导致迭代次数浪费和算法收敛速度缓慢的问题,提出一种两阶段强化学习算法。在第一阶段,利用基于群体和知识共享的Q-learning训练机器人前往网格地图的中心点,以获得一个最优共享Q表。在这个阶段中,为了减少迭代次数,提高算法的收敛速...     

粒子群优化的移动机器人路径规划算法

针对移动机器人在复杂环境下采用传统方法路径规划收敛速度慢和局部最优问题,提出了斥力场下粒子群优化（PSO）的移动机器人路径规划算法。首先采用栅格法对机器人的移动路径进行初步规划,并将栅格法得到的初步路径作为粒子的初始种群,根据障碍物的不同形状和尺寸以及障碍物所占的地图总面积确定栅格粒度的大小,进而对规划路径进行数学建模;然后根据粒子之间的相互协作实现对粒子位置和速度的不断更新;最后采用障碍物斥力势场构造高安全性适应度函数,从而得到一条机器人从初始位置到目标的最优路径。利用Matlab平台对所提算法进行仿真,结果表明,该算法可以实现复杂环境下路径寻优和安全避障;同时还通过对比实验验证了算法收敛速度快,能解决局部最优问题。     

基于改进人工势场法的移动机器人路径规划

基于传统人工势场法的机器人路径规划存在障碍物附近目标不可达和局部极小点的问题。在研究该问题产生原因的基础上,提出了一种基于改进人工势场法的移动机器人路径规划算法。该算法在斥力函数中引入了机器人和目标点之间的距离,在极小点附近自主建立虚拟目标牵引点并隔离原有目标点,解决了传统人工势场法的局部极小点问题,使机器人到达了目标点。仿真结果说明了改进后算法的有效性。     

基于改进蚁群优化算法的养殖场机器人路径规划

养殖场巡视机器人路径规划是实现规模化养殖场智能监控的关键所在,针对机器人巡视过程中寻找最优充电路线的问题,提出一种改进的蚁群优化算法IACO。利用工作环境的全局信息建立目标吸引函数,提高蚁群选择最佳路径到达目标点的概率,缩短了算法的迭代时间。通过加入额外的信息素更新项和改进信息素挥发系数增强算法的全局搜索能力,避免算法搜索后期出现过早收敛而陷入局部最优。在简单和复杂环境中的仿真实验结果表明,与经典蚁群优化算法相比,该算法具有更快的收敛速度和良好的稳定性,可快速收敛到最佳路径。     

一种基于改进人工蜂群算法的机器人实时路径规划方法

在移动机器人控制领域,路径规划是最重要并具有挑战性的问题之一。本文首先采用栅格法对环境进行建模,然后提出一种改进的人工蜂群算法用于机器人的路径规划。在该算法中,为了提高人工蜂群算法的收敛速度,提出自适应的搜索方式,并采用精英保留选择策略以避免机器人路径规划陷入局部最优。仿真实验结果表明,所提算法在机器人路径规划上的可行性与有效性。     

基于自适应动态窗口改进细菌算法与移动机器人路径规划

针对移动机器人在复杂环境下的路径规划问题,提出一种新的自适应动态窗口改进细菌算法,并将新算法应用于移动机器人路径规划。改进细菌算法继承了细菌算法与动态窗口算法（dynamic window algorithm, DWA）在避障时的优点,能较好实现复杂环境中移动机器人静态和动态避障。该改进算法主要分三步完成移动机器人路径规划。首先,利用改进细菌趋化算法在静态环境中得到初始参考规划路径。接着,基于参考路径,机器人通过自身携带的传感器感知动态障碍物进行动态避障并利用自适应DWA完成局部动态避障路径规划。最后,根据移动机器人局部动态避障完成情况选择算法执行步骤,如果移动机器人能达到最终目标点,结束该算法,否则移动机器人再重回初始路径,直至到达最终目标点。仿真比较实验证明,改进算法无论在收敛速度还是路径规划精确度方面都有明显提升。     

基于改进蚁群算法的机器人全局路径规划研究

针对蚁群算法在机器人路径规划过程中出现的收敛速度慢的缺陷,提出了基于改进蚁群算法规划机器人全局路径,在栅格地图中划定优选区域,并建立新的初始信息素浓度设置模型,对各点初始信息素浓度进行差异化设置,避免寻优的盲目性,提高了算法的收敛速度。实验结果表明,改进后的蚁群算法的收敛速度明显加快,优于传统算法,表明了该算法的有效性。     

基于改进深度强化学习的三维环境路径规划

提出一种改进深度强化学习算法(NDQN),解决传统Q-learning算法处理复杂地形中移动机器人路径规划时面临的维数灾难.提出一种将深度学习融于Q-learning框架中,以网络输出代替Q值表的深度强化学习方法.针对深度Q网络存在严重的过估计问题,利用更正函数对深度Q网络中的评价函数进行改进.将改进深度强化学习算法与...