移动机器人路径规划强化学习的初始化

针对现有机器人路径规划强化学习算法收敛速度慢的问题,提出了一种基于人工势能场的移动机器人强化学习初始化方法.将机器人工作环境虚拟化为一个人工势能场,利用先验知识确定场中每点的势能值,它代表最优策略可获得的最大累积回报.例如障碍物区域势能值为零,目标点的势能值为全局最大.然后定义Q初始值为当前点的立即回报加上后继点的最大折算累积回报.改进算法通过Q值初始化,使得学习过程收敛速度更快,收敛过程更稳定.最后利用机器人在栅格地图中的路径对所提出的改进算法进行验证,结果表明该方法提高了初始阶段的学习效率,改善了算法性能.     

改进蚁群与动态Q学习融合的机器人路径规划

基本Q学习算法应用于路径规划时,动作选择的随机性导致算法前期搜索效率较低,规划耗时长,甚至不能找到完整的可行路径,故提出一种改进蚁群与动态Q学习融合的机器人路径规划算法.利用精英蚂蚁模型和排序蚂蚁模型的信息素增量机制,设计了一种新的信息素增量更新方法,以提高机器人的探索效率;利用改进蚁群算法的信息素矩阵为Q表赋值,以减少机器人初期的无效探索;设计了一种动态选择策略,同时提高收敛速度和算法稳定性.在不同障碍物等级的二维静态栅格地图下进行的仿真结果表明,所提方法能够有效减少寻优过程中的迭代次数与寻优耗时.     

基于改进PPO算法的机器人局部路径规划

利用强化学习训练机器人局部路径规划模型存在算法收敛速度慢、易陷入死锁区域导致目标不可达等问题。对传统近端策略优化(PPO)算法进行改进,引入长短期记忆(LSTM)神经网络并设计虚拟目标点法,提出LSTM-PPO算法。将PPO神经网络结构中的全连接层替换为LSTM记忆单元,控制样本信息的记忆和遗忘程度,优先学习奖励值高的样本,从而更快地累积奖励优化模型。在此基础上,加入虚拟目标点,通过雷达传感器收集的环境信息判断机器人陷入死锁区域时弃用目标点给予机器人的引导,使机器人走出陷阱区域并趋向目标点,减少在死锁区域不必要的训练。分别在特殊障碍物场景和混合障碍物场景中对LSTM-PPO算法进行仿真验证,结果表明,与传统PPO算法和改进算法SDAS-PPO相比,该算法在两种场景训练中均能最快到达奖励峰值,可加快模型收敛速度,减少冗余路段,优化路径平滑度并缩短路径长度。     

一种混合路径规划方法在轮式机器人中的应用*

针对目前机器人在局部路径规划和全局路径规划中存在的问题,提出了一种混合路径规划方法,构建了机器人运动模型与障碍物扩展模型,机器人在栅格地图上沿全局规划路径向目标点移动时,在线实时规划出局部临时目标点以避开探测到的障碍物。最后证明了该规划方法的时间收敛性,并在双轮差速驱动机器人Pioneer 3-DX实验平台上验证了方法的有效性。     

动态环境下基于人工势场引导的RRT路径规划算法

现有的大多数动态RRT路径规划算法不能使规划的路径远离障碍物,这有可能导致机器人没有足够的避障时间。针对此问题,提出了一种利用人工势场引导快速扩展随机树向目标区域生长并远离障碍物的改进RRT算法APFG-RRT(artificial potential field guided RRT)。为了进一步加快算法的收敛速度、加速算法跳出局部极小值,引入了一种按自适应概率选择目标点作为采样点的策略;针对动态环境采用全局规划结合局部重新规划的方法以提高算法的实时性。仿真实验表明,相比于初始RRT和Goal-bias RRT,APFG-RRT的计算效率更高,内存需求更小,并且搜索到的路径能够有效地远离障碍物,提高了动态路径规划的成功率。     

基于模糊势场法的移动机器人局部路径规划

针对采用传统人工势场法进行移动机器人局部路径规划时存在的局部极小点和规划路径过长等问题,提出了一种基于虚拟目标点和有限状态机的模糊势场法。构造基于人工势场的虚拟目标点法来解决局部极小点问题,在合适的位置设置虚拟目标点使机器人逃离局部极小点区域。将虚拟目标点法与模糊控制相结合,对障碍物环境进行预测,及时避障,解决机器人在复杂环境中采用虚拟目标点法规划路径时存在的路径过长问题。设计一个有限状态机来判断障碍物环境,执行算法转换策略,使改进算法适用于多种复杂环境。所设计算法在MATLAB平台上进行了仿真验证。结果表明,该算法能够使机器人逃出局部极小点、缩短规划路径。算法不仅适用于简单、离散环境,在传统算法运行困难的、复杂的环境中,例如墙型、U型和多U型障碍物环境,也能规划出可行的优化路径。     

基于改进蚁群和DWA算法的机器人动态路径规划

路径规划技术是移动机器人研究领域中的一个重要分支,使得机器人能够在多障碍物环境中安全快速地找到一条相对最优路径.针对全局路径规划时蚁群算法盲目性搜索、易陷入局部最优、收敛速度慢以及局部路径规划时DWA算法难以有效地规避动态障碍物等问题,提出一种改进蚁群算法与DWA算法的融合算法.首先,采用GRRT-Connect算法不等分配初始信息素,解决陷阱地图中局部最优问题;然后,增加蚁群接力搜索方法以解决蚂蚁禁忌表自死锁问题,并利用切片取优方法优化最优路径选择机制得到全局最优路径;接着,以最优路径关键点为子目标点运行DWA算法,提出自适应调节速度方法进行最优行驶;最后,提出预计算方法规避动态障碍物达到局部规划效果.仿真结果表明,与现有文献结果相比,融合算法最优路径长度缩短了10.28%,收敛速度加快了6.55%,验证了所提出算法的有效性和优越性.     

移动机器人动态路径规划方法的研究与实现

针对在未知动态障碍物存在且目标点移动的环境下,采用人工势场法规划路径时斥力影响半径往往大于障碍物的半径从而导致动态障碍物与机器人发生碰撞的问题,提出非完全等待策略与Morphine算法相结合的改进人工势场法动态路径规划策略。当动态障碍物与机器人发生侧面碰撞时采用非完全等待策略;当动态障碍物与机器人发生迎面碰撞时采用Morphine算法局部规划路径;同时引入滚动窗口理论提高躲避动态障碍物的精确度。通过仿真实验,与传统人工势场作对比,提出的改进算法在发生侧面碰撞时要缩短12步,在发生迎面碰撞时要缩短6步,由此可得提出改进算法在路径平滑性和规划步数方面效果更优。     

基于势场路径规划的机器人同步定位与地图构建

针对特征点同时为障碍物的环境,提出一种基于势场路径规划的同步定位与地图构建算法.机器人在同步定位与地图构建的同时,利用势场原理确定机器人的运动控制律,再根据推算的控制律进行下一步的预测和状态估计.在基于势场的路径规划方法中,认定为障碍物的排斥势位的最小影响范围可调节.实验结果表明,利用所提出的算法,机器人可在特征点同时为障碍物的环境中进行同步定位与地图构建,并通过相关性能指标验证了该算法为一致性估计.     

动态环境下基于路径规划的机器人同步定位与地图构建

针对动态环境下随机目标同时为特征点和障碍物的情况,提出一种基于路径规划的同步定位与地图构 建（SLAM）算法．机器人在同步定位与地图构建的同时,基于势场原理来规划机器人下一步的运动控制规律．利用 混合当前统计模型的交互式多模型（IMM）方法预测随机目标的轨迹,采用最近邻数据关联方法将动态随机目标关 联到地图中．算法构建的地图由静态特征点和随机目标的轨迹组成．仿真结果表明,提出的算法解决了动态环境中 存在的随机目标同时为障碍物时机器人的同步定位与地图构建问题,相关性能指标验证了算法的一致性估计．     

基于深度Q网络和人工势场的移动机器人路径规划研究

随着移动机器人在各个领域的研究与发展,人们对移动机器人路径规划的能力提出了更高的要求;为了解决传统的深度Q网络算法在未知环境下,应用于自主移动机器人路径规划时存在的收敛速度慢、训练前期产生较大迭代空间、迭代的次数多等问题,在传统DQN算法初始化Q值时,加入人工势场法的引力势场来协助初始化环境先验信息,进而可以引导移动机器人向目标点运动,来减少算法在最初几轮探索中形成的大批无效迭代,进而减少迭代次数,加快收敛速度;在栅格地图环境中应用pytorch框架验证加入初始引力势场的改进DQN算法路径规划效果;仿真实验结果表明,改进算法能在产生较小的迭代空间且较少的迭代次数后,快速有效地规划出一条从起点到目标点的最优路径。     

改进的蚁群算法在机器人路径规划上的应用

为了克服传统蚁群算法易陷入局部最优且收敛速度慢的影响,采用栅格地图建立机器人实验环境仿真模型。针对蚁群算法进行改进并将其应用到机器人路径规划上。考虑到从路径规划起点到目标点的方向性、前期存在的易陷入局部最优解以及蚂蚁收敛速度的问题,提出了添加双向搜索方向机制和比例系数引导因子的启发函数,避免了算法在搜索过程中选择与终点方向相背的区域行走或者走回路的弊端。根据不同路段被选择次数不同,设置不同信息素权重,强化了不同路段的重要性,加快算法收敛速度。在matlab软件平台上进行算法仿真,仿真结果验证了该方法的有效性。     

改进人工势场法的移动机器人路径规划

传统人工势场法在路径规划过程中易陷入势场局部最小点和陷阱区域,面对较为复杂的障碍物环绕环境也难以规划出完整路径。针对这个问题,提出了一种改进人工势场法。引入机器人前进的方向向量,对斥力的生成和计算机制进行了调整以解决其处于局部最小点情况下无法继续规划路径的问题;添加了判断机制以识别周边环境状况,当机器人处于陷阱区域等复杂环境下时设立虚拟目标点以引导其向外运动从而摆脱陷阱区域。结果表明,改进算法可以有效解决传统算法容易出现的路径规划中断情况;同时与传统算法相比,其在随机障碍物环境中的规划路径长度减少,有效提高了路径规划效率。     

基于JPS策略的ACS移动机器人全局路径规划

针对蚁群系统（ACS）算法收敛速度慢、易陷入局部最优、路径转折点数量过多等问题,提出了一种基于跳点搜索（JPS）策略的ACS全局路径规划算法．该算法在迭代前加入一只特殊蚂蚁,利用方向因子引导该蚂蚁始终朝着目标方向前进,并查询是否存在最简路径;在蚂蚁查询下一个节点时,利用JPS算法思想舍去大部分不需要计算的节点．最后,为验证该方法的有效性,使用不同规格的栅格地图进行了仿真实验,仿真结果表明,改进的ACS算法相比于ACS算法,收敛速度加快、收敛时间缩短,且路径更优．最后将算法应用到实际的基于机器人操作系统（ROS）的移动机器人导航实验中,实验结果表明,改进的ACS算法能够有效地解决移动机器人全局路径规划问题,且能明显提升机器人全局路径规划的效率．     

基于自适应机制改进蚁群算法的移动机器人全局路径规划

针对基本蚁群算法在二维静态栅格地图下进行移动机器人路径规划时出现的搜索效率低下、收敛速度缓慢、局部最优解等问题,提出一种自适应机制改进蚁群算法,用于移动机器人在二维栅格地图下的路径规划.首先采用伪随机状态转移规则进行路径选择,定义一种动态选择因子以自适应更新选择比例,引入距离参数计算转移概率,提高算法的全局搜索能力以及搜索效率;然后基于最大最小蚂蚁模型和精英蚂蚁模型,提出一种奖励惩罚机制更新信息素增量,提高算法收敛速度;最后定义一种信息素自适应挥发因子,限制信息素浓度的上下限,提高算法全局性的同时提高算法的收敛速度.在不同规格的二维静态栅格地图下进行移动机器人全局路径规划对比实验,实验结果表明自适应机制改进蚁群算法具有较快的收敛速度,搜索效率明显提高且具有较好的全局搜索能力,验证了所提算法的实用性和优越性.     

基于改进强化学习的模块化自重构机器人编队

针对传统强化学习算法在训练初期缺乏对周围环境的先验知识,模块化自重构机器人会随机选择动作,导致迭代次数浪费和算法收敛速度缓慢的问题,提出一种两阶段强化学习算法。在第一阶段,利用基于群体和知识共享的Q-learning训练机器人前往网格地图的中心点,以获得一个最优共享Q表。在这个阶段中,为了减少迭代次数,提高算法的收敛速...     

移动机器人RRT算法改进研究

目前,机器人路径规划常用算法有避障(Bug)算法、概率路线图(PRM)算法、快速搜索随机树(RRT)算法、蚁群算法、人工势场法等,其中RRT算法在路径规划中应用最广。针对RRT算法存在随机性强、偏差大、路径不一定最优、收敛速度慢等缺点,对RRT算法进行改进,引导随机树向目标点生长,借助人工势场的引力思想,并加入自适应策略,通过机器人与目标点位置、速度和加速度的不断变化来改变步长大小,使机器人快速到达目标点。实验结果表明,通过自适应RRT算法可以提高算法收敛性,缩短了算法时间,可以有效应用在移动机器人系统上,提高移动机器人的工作效率。     

改进RRT-人工势场法的机械臂堆垛运动方法

快速拓展随机树算法(RRT)在机械臂路径规划中存在随机性强、搜索效率低、规划路径长等问题,不能在货柜堆垛场景中取得相对最优的光滑路径.对此,该文提出了一种改进RRT-人工势场法混合算法进行货柜堆垛机械臂运动规划.首先,对传统快速拓展随机树算法进行改进,在传统快速拓展随机树算法的全局搜索的基础上引入目标搜索,增强了随机树...     

机器人全局路径规划的混合蚁群系统算法

针对蚁群算法易陷入局部最优的缺点以及收敛速度与局部最优的矛盾,提出一种求解移动机器人全局路径规划的改进混合蚁群系统算法。该算法由两部分组成：Dijkstra算法用于规划出一条次优路径;进一步用改进的蚁群系统算法优化次优路径以获得最优路径。在改进的蚁群系统算法中,首先定义了一种新的启发信息函数来增加种群多样性;然后给出改进的交叉算子避免算法陷入局部最优,并进一步提高解的质量。仿真结果表明：所提出的算法与参考文献中的算法相比搜索效率更高,解的质量更好,性能更优。即使在障碍物复杂的环境中,对于多目标点问题,该算法仍能规划出较好的目标遍历路径,且用时时间较少。