基于动态融合目标的深度强化学习算法研究

针对深度强化学习算法中存在的过估计问题,提出了一种目标动态融合机制,在Deep [Q] Networks（DQN）算法基础上进行改进,通过融合Sarsa算法的在线更新目标,来减少DQN算法存在的过估计影响,动态地结合了DQN算法和Sarsa算法各自优点,提出了DTDQN（Dynamic Target Deep [Q] Network）算法。利用公测平台OpenAI Gym上Cart-Pole控制问题进行仿真对比实验,结果表明DTDQN算法能够有效地减少值函数过估计,具有更好的学习性能,训练稳定性有明显提升。     

基于PPO的机械臂控制研究方法

目前应用于机械臂控制中有许多不同的算法,如传统的自适应PD控制、模糊自适应控制等,这些大多需要基于数学模型。也有基于强化学习的控制方法,如:DQN(Deep Q Network)、Sarsa等。但这些强化学习算法在连续高维的动作空间中存在学习效率不高、回报奖励设置困难、控制效果不佳等问题。论文对基于PPO(Proximal Policy Optimization近端策略优化)算法实现任意位置的机械臂抓取应用进行研究,并将实验数据与Actor-Critic(演员-评论家)算法的进行对比,验证了使用PPO算法的控制效果良好,学习效率较高且稳定。     

面向无人艇的T-DQN智能避障算法研究

无人艇(Unmanned surface vehicle, USV)作为一种具有广泛应用前景的无人系统,其自主决策能力尤为关键.由于水面运动环境较为开阔,传统避障决策算法难以在量化规则下自主规划最优路线,而一般强化学习方法在大范围复杂环境下难以快速收敛.针对这些问题,提出一种基于阈值的深度Q网络避障算法(Threshold deep Q network, T-DQN),在深度Q网络(Deep Q network, DQN)基础上增加长短期记忆网络(Long short-term memory, LSTM)来保存训练信息,并设定经验回放池阈值加速算法的收敛.通过在不同尺度的栅格环境中进行实验仿真,实验结果表明, T-DQN算法能快速地收敛到最优路径,其整体收敛步数相比Q-learning算法和DQN算法,分别减少69.1%和24.8%,引入的阈值筛选机制使整体收敛步数降低41.1%.在Unity 3D强化学习仿真平台,验证了复杂地图场景下的避障任务完成情况,实验结果表明,该算法能实现无人艇的精细化避障和智能安全行驶.     

基于重抽样优选缓存经验回放机制的深度强化学习方法

针对深度强化学习算法中经验缓存机制构建问题,提出一种基于TD误差的重抽样优选缓存机制;针对该机制存在的训练集坍塌现象,提出基于排行的分层抽样算法进行改进,并结合该机制对已有的几种典型基于DQN的深度强化学习算法进行改进.通过对Open AI Gym平台上Cart Port学习控制问题的仿真实验对比分析表明,优选机制能够提升训练样本的质量,实现对值函数的有效逼近,具有良好的学习效率和泛化性能,收敛速度和训练性能均有明显提升.     

基于改进深度强化学习的三维环境路径规划

提出一种改进深度强化学习算法(NDQN),解决传统Q-learning算法处理复杂地形中移动机器人路径规划时面临的维数灾难。提出一种将深度学习融于Q-learning框架中,以网络输出代替Q值表的深度强化学习方法。针对深度Q网络存在严重的过估计问题,利用更正函数对深度Q网络中的评价函数进行改进。将改进深度强化学习算法与DQN算法在同样的三维环境下进行仿真实验,从最优路径长度、损失函数值、得到稳定的奖励值、收敛速度等方面进行对比,改进深度强化学习算法比DQN算法得到很大的改善,说明改进的算法比DQN算法寻得了更优的策略。     

基于深度Q网络的仿人机器人步态优化

为实现仿人机器人快速稳定的行走，在满足有效参数组合的条件下，提出一种基于深度强化学习的步行参数训练算法以优化机器人步态。首先，从环境中捕获机器人步态模型参数作为DQN的输入；然后，用DQN来拟合机器人行走产生的状态-动作值函数；最后，通过动作选择策略选择当前机器人执行的步态动作，同时产生奖励函数达到更新DQN的目的。选择NAO仿真机器人为实验对象，在RoboCup3D仿真平台上进行实验，结果证明在此算法下，NAO仿人机器人可以获得稳定的双足步行。     

基于强化学习的无人坦克对战仿真研究

对标准的强化学习进行改进,通过引入动机层,来引入先验知识,加快学习速度。策略迭代选择上,通过采用“同策略”迭代的Sarsa学习算法,代替传统的“异策略”Q学习算法。提出了基于多动机引导的Sarsa学习（MMSarsa）算法,分别和Q学习算法、Sarsa学习算法在坦克对战仿真问题上进行了三种算法的对比实验。实验结果表明,基于多动机引导的Sarsa学习算法收敛速度快且学习效率高。     

基于排序优先经验回放的竞争深度Q网络学习

为减少深度Q网络算法的训练时间,采用结合优先经验回放机制与竞争网络结构的DQN方法,针对Open AI Gym平台cart pole和mountain car两个经典控制问题进行研究,其中经验回放采用基于排序的机制,而竞争结构中采用深度神经网络。仿真结果表明,相比于常规DQN算法、基于竞争网络结构的DQN方法和基于优先经验回放的DQN方法,该方法具有更好的学习性能,训练时间最少。同时,详细分析了算法参数对于学习性能的影响,为实际运用提供了有价值的参考。     

基于deep Q-network双足机器人非平整地面行走稳定性控制方法

针对双足机器人在非平整地面行走时容易失去运动稳定性的问题,提出一种基于一种基于价值的深度强化学习算法DQN（Deep Q-Network）的步态控制方法。首先通过机器人步态规划得到针对平整地面环境的离线步态,然后将双足机器人视为一个智能体,建立机器人环境空间、状态空间、动作空间及奖惩机制,该过程与传统控制方法相比无需复杂的动力学建模过程,最后经过多回合训练使双足机器人学会在不平整地面进行姿态调整,保证行走稳定性。在V-Rep仿真环境中进行了算法验证,双足机器人在非平整地面行走过程中,通过DQN步态调整学习算法,姿态角度波动范围在3°以内,结果表明双足机器人行走稳定性得到明显改善,实现了机器人的姿态调整行为学习,证明了该方法的有效性。     

基于先验知识的HVAC系统深度Q网络控制方法

强化学习方法在近年来被逐渐尝试应用于工程控制之中，并且展示出其强大的控制能力和潜力。强化学习算法虽然具有较好的控制性能，但是其控制策略的收敛需要建立在一段时间后的训练上，而这段时间在工程应用上可能会造成一些浪费。为了解决这一问题，提出了基于先验知识的DQN对暖通空调（HVAC）系统中的冷却水系统进行控制，将先验知识引入DQN算法的前期训练中，以减少训练时间，加速收敛，节约成本。基于先验知识的DQN算法不仅能够对系统进行有效的控制，并且能够比DQN更早地实现节能。     

基于逐次超松弛技术的Double Speedy Q-Learning算法

Q-Learning是目前一种主流的强化学习算法,但其在随机环境中收敛速度不佳,之前的研究针对Speedy Q-Learning存在的过估计问题进行改进,提出了Double Speedy Q-Learning算法.但Double Speedy Q-Learning算法并未考虑随机环境中存在的自循环结构,即代理执行动作时...     

基于强化学习的城市交通路径规划

城市交通路径规划需要考虑规划的快速性和车辆的安全性，而目前大多数强化学习算法不能兼顾两者。针对这个问题，首先提出采用基于模型的算法和与模型无关的算法相结合的Dyna框架，以提高规划的速度；然后使用经典的Sarsa算法作为选路策略，以提高算法的安全性；最后将两者结合提出了改进的基于Sarsa的Dyna-Sa算法。实验结果表明，提前规划步数越多的强化学习算法收敛速度越快。使用收敛速度和碰撞次数等指标，将Dyna-Sa算法与Q-学习算法、Sarsa算法和Dyna-Q算法进行对比，可知Dyna-Sa算法能够减少车辆在有障碍地图中的碰撞次数，保证车辆在城市交通环境中的安全性，同时能够提高算法收敛速度。     

能量收集无线通信系统中基于强化学习的能量分配策略

随着物联网的普及,对物联网终端设备可使用能量的要求也在提高.能量收集技术拥有广阔前景,其能通过产生可再生能量来解决设备能量短缺问题.考虑到未知环境中可再生能量的不确定性,物联网终端设备需要合理有效的能量分配策略来保证系统持续稳定工作.文中提出了一种基于DQN的深度强化学习能量分配策略,该策略通过DQN算法直接与未知环境交互来逼近目标最优能量分配策略,而不依赖于环境的先验知识.在此基础上,还基于强化学习的特点和系统的非时变系统特征,提出了一种预训练算法来优化该策略的初始化状态和学习速率.在不同的信道数据条件下进行仿真对比实验,结果显示提出的能量分配策略在不同信道条件下均有好于现有策略的性能,且兼具很强的变场景学习能力.     

基于径向基神经网络的多步Sarsa控制算法

针对具有连续状态空间的无模型非线性系统,提出一种基于径向基(radial basis function, RBF)神经网络的多步强化学习控制算法.首先,将神经网络引入强化学习系统,利用RBF神经网络的函数逼近功能近似表示状态-动作值函数,解决连续状态空间表达问题;然后,结合资格迹机制形成多步Sarsa算法,通过记录经历过的状态提高系统的学习效率;最后,采用温度参数衰减的方式改进softmax策略,优化动作的选择概率,达到平衡探索和利用关系的目的. MountainCar任务的仿真实验表明:所提出算法经过少量训练能够有效实现无模型情况下的连续非线性系统控制;与单步算法相比,该算法完成任务所用的平均收敛步数更少,效果更稳定,表明非线性值函数近似与多步算法结合在控制任务中同样可以具有良好的性能.     

基于模糊神经网络Sarsa学习的多机器人任务分配

针对动态环境下多机器人任务分配的问题,提出一种基于模糊神经Sarsa学习网络的效用函数模型,将模糊推理系统,神经网络模型与Sarsa学习算法相结合。设计确定了网络的结构、学习算法以及最终效用值的确定步骤。在仿真实验中,利用该模型能快速收敛实现任务分配,并且能不断优化目标和路径。     

基于强化学习方法的悬浮车停车混合控制设计

强化方法是一种通过行为学习,得到最佳控制策略的方法.本文研究利用这种方法实现项目中超导悬浮车运动过程最佳停车问题.通过模型的建立,转化为求导系统的最优化问题;超导磁悬浮车的控制由于会受到电磁干扰、悬浮高度等的影响,用传统的方法求解控制方法将需要求得精确的控制模型;而利用Q-Learning 方法,通过多次样本的学习.寻求最佳的控制策略,则可求得在不同速度下的最佳控制策略.最后,使用Q-Learning方法的控制策略在仿真中得到了很好的效果,该控制方法将进一步应用于超导模型悬浮车的控制.     

基于一维卷积循环神经网络的深度强化学习算法

针对现有深度强化学习算法在状态空间维度大的环境中难以收敛的问题,提出了在时间维度上提取特征的基于一维卷积循环网络的强化学习算法;首先在深度Q网络(DQN,deep Q network)的基础上构建一个深度强化学习系统;然后在深度循环Q网络(DRQN,deep recurrent Q network)的神经网络结构基础上加入了一层一维卷积层,用于在长短时记忆(LSTM,long short-term memory)层之前提取时间维度上的特征;最后在与时序相关的环境下对该新型强化学习算法进行训练和测试;实验结果表明这一改动可以提高智能体的决策水平,并使得深度强化学习算法在非图像输入的时序相关环境中有更好的表现。     

一种新的基于蚁群优化的模糊强化学习算法

模糊Sarsa学习(FSL)是基于Sarsa学习而提出来的一种模糊强化学习算法,它是一种通过在线策略来逼近动作值函数的算法,在其每条模糊规则中,动作的选择是按照Softmax公式选择下一个动作。对于连续空间的复杂学习任务,FSL不能较好平衡探索和利用之间的关系,为此,本文提出了一种新的基于蚁群优化的模糊强化学习算法(ACO-FSL),主要工作是把蚁群优化(ACO)思想和传统的模糊强化学习算法结合起来形成一种新的算法。给出了算法的设计原理、方法和具体步骤,小车爬山问题的仿真实验表明本文提出的ACO-FSL算法在学习速度和稳定性上优于FSL算法。     

基于多智能体的融合Sarsa（λ）学习算法

强化学习作为一种重要的机器学习方法,已经被广泛应用于许多单智能体和多智能体系统。强化学习的性能受所使用的学习算法及其参数的影响很大,不同的学习算法或者参数很小的变化都可能导致学习性能很大的变化。当环境模型未知时,确定最好的算法和最优的参数是困难的。为了避免参数的影响,提出了一种基于多Agent的融合Sarsa（λ）学习系统,它把强化学习环境当作多智能体环境来处理。最后用迷宫实验仿真,结果验证了该方法的可行性和有效性。     

基于快速扩展随机树—贪婪边界搜索的多机器人协同空间探索方法

传统多机协同探索算法存在鲁棒性较差、探索效率较低、环境障碍感知不完全等问题,为此本文提出一种基于快速扩展随机树－贪婪边界搜索（ RRT-GFE）的多机器人协同空间探索方法。首先,采用 Thiessen 多边形对环境进行建模与划分,利用 RRT 边界探索算法依次对所有 Thiessen 多边形进行探索;其次,在 RRT 边界探索算法的基础上,引入 GFE 算法进行细化搜索,并提取连续边界域的形心作为探索目标点;再次,利用划分所形成的多边形区域以及所提取出的边界点,采用基于改进市场机制的多机器人任务分配方法对探索目标点进行动态分配,并在探索过程中采用地图融合算法进行局部地图的实时融合;最后,基于机器人操作系统（ ROS）搭建仿真／样机测试平台并进行了一系列实验验证。结果表明,无论在仿真还是样机实验中,基于 RRT-GFE 的多机器人协同探索算法均能取得更加省时高效的探索效果。