基于改进DDPG算法的复杂环境下AGV路径规划方法研究

为了提高AGV(automatic guided vehicle)在复杂未知环境下的搜索能力,提出了一种改进的深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法。该算法通过构建经验回放矩阵和双层网络结构提高算法的收敛速度,并将波尔兹曼引入到ε-greedy搜索策略中,解决了AGV在选择最优动作时的局部最优问题;针对深度神经网络训练速度缓慢的问题,将优先级采样应用于深度确定性策略梯度算法中;为解决普通优先级采样复杂度过高的问题,提出了利用小批量优先采样方法训练网络。为了验证方法的有效性,通过栅格法建模并在不同的复杂环境下进行仿真实验对比,比较了不同算法的损失函数、迭代次数和回报值。实验结果表明,所提改进算法与原算法相比损失函数减小、迭代次数减少、回报值增加,验证了算法的有效性,同时为AGV在复杂环境下能够更加安全且快速地完成规划任务提供了新的思路。     

基于PRM的移动机器人路径规划算法

随着制造、物流、服务和危险环境领域需求的增加,对移动机器人执行多样任务的要求日益显著,推动了移动机器人技术的迅速发展。尤其是在未知环境中智能移动方面,高效路径规划成为研究焦点。为此,提出了一种基于概率路线图（PRM）的路径规划优化算法,旨在改进采样策略,提高采样效率,从而提升路径规划的效率和准确性。通过MATLAB平台进行仿真验证,证明了该方案的有效性。     

一种新的移动机器人全局路径规划算法

提出了一种新的移动机器人全局路径规划算法．该算法不需要对环境中的障碍物特征做任何假设,也不需要建立障碍物的连通图模型,有效地克服了传统路径规划算法因为搜索而带来的计算复杂性问题,提高了算法的适应性和实时性．仿真结果证明了算法的有效性．     

一种基于UIA接口的RPA系统设计方法

机器人流程自动化(Robotic Process Automation, RPA)是当今的研究热点之一,RPA主要使用Win32接口对窗体进行自动化操作,该方法需要对API进行封装,开发成本高,且只能识别基于Win32 API设计的UI元素,同时基于Win32接口实现自动化需要模拟键盘和鼠标操作,由于该模拟操作基于一种广播消息机制,导致操作的响应时间较长,因此提出了一种基于微软的UIA(UI Automation)技术,用于构建RPA流程自动化应用的方案。该方案采用UIA方法进行UI元素的自动化操作,适应的UI程序框架范围广,包括Win32,WPF,QT,Silverlight等;而且开发成本低。同时,该方案将消息与UI元素绑定,避开了低效的广播消息机制,提高了RPA的执行效率。实验结果显示,与模拟键盘鼠标方法相比,所提方法的执行时间平均可缩短55.67%。     

一种基于改进RRT*的全局路径规划算法

针对传统RRT*全局路径规划算法在多障碍物复杂环境中搜索效率低、占用内存过大、搜索路径不平滑等问题,提出一种基于简化地图的区域采样RRT*算法(simplified map-based regional sampling RRT*,SMRS-RRT*).首先简化处理全局栅格地图,在此基础上寻找从起点到目标点的最优路径点...     

基于深度强化学习的三维路径规划算法

合理的路线选择是智能体三维路径规划研究领域的难点。现有路径规划方法存在不能很好地适应未知地形,避障形式单一等问题。针对这些问题,提出了一种基于LSTM-PPO的智能体三维路径规划算法。利用虚拟射线探测仿真环境,并将收集到的状态空间和动作状态引入长短时记忆网络。通过额外的奖惩函数和好奇心驱动让智能体学会跳跃通过低矮障碍物,避开大型障碍物。利用PPO算法的截断项机制使得规划策略更新的幅度更加优化。实验结果表明,该算法是可行的,能够更加智能合理地选择路线,很好地适应存在多样障碍物的未知环境。     

基于DDPG算法的路径规划研究

路径规划是人工智能领域的一个经典问题,在国防军事、道路交通、机器人仿真等诸多领域有着广泛应用,然而现有的路径规划算法大多存在着环境单一、离散的动作空间、需要人工构筑模型的问题.强化学习是一种无须人工提供训练数据自行与环境交互的机器学习方法,深度强化学习的发展更使得其解决现实问题的能力得到进一步提升,本文将深度强化学习的...     

一种移动机器人的路径规划算法

本文提出一种移动机器人路径规划最短切线路径算法。依据此算法，机器人能顺利地避开障碍物到达目标位置，其原理简单，计算快捷，容易实现。仿真结果验证了它的有效性和实用性。     

基于双层DQN的多智能体路径规划

目的 随着虚拟现实技术的发展,在虚拟场景中,基于多智能体的逃生路径规划已成为关键技术之一。与传统的火灾演习相比,采用基于虚拟现实的方法完成火灾逃生演练具有诸多优势,如成本低、代价小、可靠性高等,但仍有一定的局限性,为此,提出一种改进的双层深度Q网络（deep Q network,DQN）架构的路径规划算法。方法 基于两个结构相同的双Q网络,优化了经验池的生成方法和探索策略,并在奖励中增加火灾这样的环境因素对智能体的影响。同时,为了提高疏散的安全性和效率,提出了一种基于改进的K-medoids算法的多智能体分组策略方法。结果 相关实验表明提出的改进的双层深度Q网络架构收敛速度更快,学习更加稳定,模型性能得到有效提升。综合考虑火灾场景下智能体的疏散效率和疏散安全性,使用指标平均健康疏散值（average health evacuation value, AHEP）评估疏散效果,相较于传统的路径规划方法A-STAR（a star search algorithm）和DIJKSTRA（Dijkstra’s algorithm）分别提高了84%和104%;与基于火灾场景改进的扩展A-STAR和Dijkstra-ACO（Dijkstra and ant colony optimization）混合算法比较,分别提高了30%和21%;与考虑火灾影响的DQN算法相比,提高了20%,疏散效率和安全性都得到提高,规划的路径疏散效果更好。通过比较不同分组模式下的疏散效果,验证了对多智能体合适分组可以提高智能体疏散效率。结论 提出的算法优于目前大多数常用的方法,显著提高了疏散的效率和安全性。     

基于多层注意力机制—柔性AC算法的机器人路径规划

针对行动者—评论家（AC）算法存在的经验学习样本维度高、策略梯度模型鲁棒性低等问题,依据多代理系统的信息协作优势,构建注意力机制网络并作为代理体,引入多层并行注意力机制网络模型对AC算法进行改进,提出一种基于多层并行注意力机制的柔性AC算法。将其用于解决动态未知环境下的机器人路径规划问题,可增强行动者的策略梯度鲁棒性并降低评论家的回归误差,实现机器人路径规划最优方案的快速收敛。实验结果表明,该算法有效克服机器人路径规划的局部最优,具有计算速度快、稳定收敛的优点。     

基于矢量地图数据的路径规划算法研究

分析了矢量地图数据格式的特点,在进行路网拓扑信息提取和“分层分块”存储的基础上,比较了几种常用路径搜索算法;给出一种基于多级比例尺地图模型的多比例尺启发式最优路径规划算法,并对如何提高路径规划的实效性进行了探讨。     

基于强化学习的自动驾驶汽车路径规划方法研究综述

路径规划作为自动驾驶的关键技术,具有广阔的应用前景和科研价值。探索解决自动驾驶车辆路径规划问题的方法,着重关注基于强化学习的路径规划方法。在阐述基于常规方法和强化学习方法的路径规划技术的基础上,重点总结了基于强化学习和深度强化学习来解决自动驾驶车辆路径规划问题的算法,并将算法按照基于值和基于策略的方式进行分类,分析各类算法的特点、优缺点及改进措施。最后对基于强化学习的路径规划技术的未来发展方向进行了展望。     

引入势场及陷阱搜索的强化学习路径规划算法

移动机器人在复杂环境中移动难以得到较优的路径,基于马尔可夫过程的Q学习（Q-learning）算法能通过试错学习取得较优的路径,但这种方法收敛速度慢,迭代次数多,且试错方式无法应用于真实的环境中。在Q-learning算法中加入引力势场作为初始环境先验信息,在其基础上对环境进行陷阱区域逐层搜索,剔除凹形陷阱区域[Q]值迭代,加快了路径规划的收敛速度。同时取消对障碍物的试错学习,使算法在初始状态就能有效避开障碍物,适用于真实环境中直接学习。利用python及pygame模块建立复杂地图,验证加入初始引力势场和陷阱搜索的改进Q-learning算法路径规划效果。仿真实验表明,改进算法能在较少的迭代次数后,快速有效地到达目标位置,且路径较优。     

基于改进遗传算法的AGV路径规划

为解决基本遗传算法在规划AGV运行路径时存在早熟收敛的问题,对基本遗传算法进行改进优化。用模拟退火法进行种群选择,提高种群的差异性;改进交叉、变异算子自整定策略和精英策略,提高算法的收敛速度;在适应度函数中加入路径曲折度、路径繁忙度和车辆负重度等多个规划指标,使规划出的路径更符合实际。将优化后的算法与基本遗传算法进行比较,仿真结果表明,改进后算法在AGV路径规划中具有高效性。     

基于分层强化学习及人工势场的多Agent路径规划方法

针对路径规划算法收敛速度慢及效率低的问题,提出了一种基于分层强化学习及人工势场的多Agent路径规划算法。首先,将多Agent的运行环境虚拟为一个人工势能场,根据先验知识确定每点的势能值,它代表最优策略可获得的最大回报;其次,利用分层强化学习方法的无环境模型学习以及局部更新能力将策略更新过程限制在规模较小的局部空间或维度较低的高层空间上,提高学习算法的性能;最后,针对出租车问题在栅格环境中对所提算法进行了仿真实验。为了使算法贴近真实环境,增加算法的可移植性,在三维仿真环境中对该算法进行验证,实验结果表明该算法收敛速度快,收敛过程稳定。     

基于MCPDDPG的智能车辆路径规划方法及应用

针对智能车路径规划过程中常存在动态环境感知预估不足的问题,使用基于蒙特卡罗深度策略梯度学习(Monte Carlo prediction deep deterministic policy gradient, MCPDDPG)的智能车辆路径规划方法,设计一种基于环境感知预测、行为决策和控制序列生成的框架,实现实时的决策...     

基于强化学习的城市交通路径规划

城市交通路径规划需要考虑规划的快速性和车辆的安全性,而目前大多数强化学习算法不能兼顾两者.针对这个问题,首先提出采用基于模型的算法和与模型无关的算法相结合的Dyna框架,以提高规划的速度;然后使用经典的Sarsa算法作为选路策略,以提高算法的安全性;最后将两者结合提出了改进的基于Sarsa的Dyna-Sa算法.实验结果...