基于强化学习的四旋翼无人机控制律设计

目前四旋翼无人机大部分都采用经典控制方法进行控制律的设计,然而控制参数的选择和对被控对象数学模型的依赖一直是经典控制方法设计中需要克服的问题;针对此问题,采用了一种基于深度强化学习算法Deep Q Network的无人机控制律设计方法,以四旋翼姿态角和姿态角速率作为三层神经网络的输入数据,最终输出动作值函数,再根据贪婪策略进行动作的选取,通过与环境的不断交互,智能体根据奖惩信息来更新神经网络的权值,使得智能体朝着获得累积回报最大值的方向选取动作;仿真结果表明在经过强化学习训练之后,四旋翼姿态角能够快速准确地跟踪上参考指令的变化,证明了基于强化学习的四旋翼无人机控制律的可行性,从而避免了传统控制方法对控制参数的选择与控制模型的依赖。     

四旋翼无人机轨迹跟踪的容错控制

针对四旋翼无人机轨迹跟踪的容错控制问题,提出了一个鲁棒[H∞]控制和干扰观测器与故障估计器相结合的容错复合控制器的方法。在外部有界扰动和加性故障的条件下,实现对四旋翼无人机的轨迹跟踪。将四旋翼无人机非线性动态模型解耦成独立的外环位置控制系统和内环角度控制系统,引入区间矩阵对系统参数进行描述,使用干扰观测器和故障估计器进行干扰和故障的估计和补偿。然后设计一个复合控制器既能更好地抑制干扰又能保证无人机在自身存在故障的情况下平稳飞行。通过仿真证明该方法的有效性。     

四旋翼无人机参数预测和抗扰动自适应轨迹跟踪控制

为了降低外界环境对四旋翼无人机飞行轨迹的扰动性,提高无人机的控制精度,提出1种基于滑模控制的四旋翼无人机参数预测和抗扰动的自适应轨迹跟踪控制器。这种控制器对四旋翼无人机系统的不确定状态参数、气流、风阻和执行器故障等外界扰动进行预测,实现了对系统输入的状态补偿和扰动补偿,提高了无人机的轨迹跟踪效率和抗扰动能力,消除了机体在飞行过程中的抖振现象,提高了无人机系统对环境的适应性和控制器的稳定性。通过仿真实验,分析了四旋翼无人机在不同控制器作用下的轨迹跟踪性能曲线,验证了所提出的控制器的优越性和有效性。     

基于固定时间扰动观测器的四旋翼无人机轨迹跟踪控制

针对六自由度小型四旋翼无人机在轨迹跟踪控制过程中,单一控制器构成的控制系统存在外部未知干扰,系统的鲁棒性以及轨迹跟踪精度容易产生较大的波动问题,该文章提出了一种基于固定时间扰动观测器的全闭环控制方案,即针对位置与姿态的双闭环控制;首先利用固定时间理论设计了两个扰动观测器,在固定时间内对扰动做出估计并进行补偿;在此观测器对扰动值的精确估计基础之上,设计了两个具有扰动补偿能力的非线性跟踪控制器;李雅普诺夫稳定性理论证明了所述方法的有效性;仿真实验中,为对比所述控制方法的有效性,同时采用传统单一控制器构成的无人机控制系统进行对比分析;在无人机质量为m=1.44 kg、环境重力加速度为g=9.8 m/s2以及其他模型参数一致的前提下,进行大量的仿真实验验证了所提出的基于固定时间扰动观测器的扰动补偿控制系统,能够保证小型四旋翼无人机六自由度受到复杂外部干扰时准确估计出外部干扰值,并实现无人机进行高精度轨迹跟踪控制,且轨迹跟踪精度与抗扰性能皆优于传统单一控制器构成的无人机控制系统.     

四旋翼无人机可视化轨迹跟踪仿真系统

为了便于对四旋翼无人机控制算法进行实验仿真和验证,联合Solidworks和Matlab/SimMechanics工具箱设计了一种四旋翼无人机可视化轨迹跟踪仿真系统;利用Solidworks搭建了四旋翼无人机三维实体模型,并通过Solidworks和Matlab转换接口将该实体模型导入到Matlab/SimMechanics中;Matlab/SimMechanics提供了了三维可视化窗口,可以显示无人机的实时仿真状态;仿真平台在Matlab/SimMechanics环境中实现,与Matlab/Simulink通信方便,可方便的将Simulink设计好的控制算法添加到仿真系统中,以进行验证和参数整定,还具有姿态分析和数据分析等功能;轨迹跟踪仿真结果表明,四旋翼无人机可视化轨迹跟踪仿真系统直观可视,准确可靠,能较好地对控制算法进行研究和测试,对四旋翼无人机以及控制算法的研究和开发具有重要价值。     

饱和输入下四旋翼无人机滑模轨迹跟踪控制

为解决四旋翼无人机在饱和输入下的轨迹跟踪控制问题,同时兼顾系统存在的参数不确定性和外部风力扰动影响,设计了一种改进的抗干扰自适应鲁棒滑模控制方法;基于六自由度架构,设计四旋翼无人机简化的系统模型,进而降低控制器设计的复杂程度;引入带有误差信号的滑模函数,设计带有误差信号的饱和补偿自适应控制律,同时增加鲁棒控制项,降低由于饱和输入问题带来的抖振影响,并减小参数不确定和外部风力扰动对系统稳定性的影响;系统模型与抗干扰自适应控制律相结合,形成了改进的抗干扰自适应鲁棒滑模控制策略,实现四旋翼无人机的位置轨迹和姿态轨迹的稳定跟踪;最后通过数值仿真与传统PD控制算法进行仿真比较,验证控制方法的有效性和优越性。     

四旋翼无人机安全轨迹跟踪控制

针对存在安全约束的四旋翼无人机,为了保证其能够快速稳定地跟踪给定轨迹,本文提出了一种基于双闭环思想及控制障碍函数求解二次规划问题的控制器设计框架.首先,考虑到无人机的模型不确定性及外界干扰问题,基于快速非奇异终端滑模面设计了双闭环标称控制器,能够实现有限时间快速收敛.进一步地,为了解决无人机遇到的状态、距离约束等安全控制问题,利用控制障碍函数,将带有约束的控制器设计问题转化成二次规划的求解问题.最后,对提出的控制策略进行了仿真,验证了控制器的快速性和鲁棒性,并实现了给定轨迹的安全跟踪.     

基于区间矩阵的四旋翼无人机鲁棒跟踪控制

针对飞行环境不断变化的四旋翼无人机轨迹跟踪问题,提出了基于区间矩阵的鲁棒跟踪控制策略.首先,将四旋翼无人机非线性动态模型解耦为外环位置控制系统和内环角度控制系统.接着,考虑到飞行环境变化引起的升力系数、中高速飞行下不可忽略的阻力系数等参数的不确定性,引入区间矩阵对内外环系统的系统参数进行描述,并对内外环控制系统设计鲁棒H_∞反馈控制策略来抑制有界外部扰动.然后,根据李雅普诺夫稳定性定理得到了使外环系统指数渐近稳定和内环系统鲁棒渐近稳定且均满足H_∞性能指标的LMI充分条件,同时,给出了控制器增益的求解方法.最后,仿真及实验结果结果验证了所提方法的鲁棒性、优越性和有效性.     

基于IBC-PID控制的四旋翼轨迹跟踪控制

针对四旋翼飞行器在阵风扰动下的轨迹跟踪控制问题,提出一种结合积分反步法控制与PID控制的混合控制算法.首先,分析了四旋翼飞行器的受力情况,并采用牛顿 欧拉法建立其动力学方程;其次,根据时间尺度原理,将四旋翼飞行器的控制结构分成位置控制回路与姿态控制回路,前者采用积分反步法进行抗干扰控制,后者采用PID控制进行镇定;同时,引入粒子群算法,利用其寻优优势对所设计的控制器参数进行调整;最后,通过一个螺旋线跟踪仿真对本文所提控制算法的有效性进行了验证.仿真结果表明,本文所提算法具有一定的鲁棒性、稳定性与适用性,能够满足四旋翼轨迹跟踪控制的需求.     

基于迭代学习的农业车辆路径跟踪控制

由于农作物的播种、收获、除草和农药化肥喷洒具有周期性的特点,农业车辆在执行农田作业时具有较强的重复性. 基于迭代学习控制（Iterative learning control,ILC）方法研究农业车辆的路径跟踪问题,建立了农业车辆的两轮移动机器人运动学模型,设计了车辆路径跟踪的迭代学习控制算法,并基于压缩 映射方法理论上证明了算法的收敛性. 研究表明,迭代学习控制可有效利用农业车辆运行的重复信息,实现车辆期望路径有限区间内的高精度完全跟踪控制. 仿真示例验证了本文方法的有效性.     

基于BP神经网络的迭代学习初始控制策略研究

针对传统迭代学习控制(ILC)在面临新的环境或控制任务时学习时间长、收敛速度慢的问题,提出基于BP神经网络的迭代学习初始控制策略。通过BP神经网络拟和经验数据,对以往控制经验加以充分利用,避免了对初始控制输入量的盲目选择。仿真验证了方法的可行性和有效性。     

四旋翼飞行器的轨迹跟踪抗干扰控制

针对四旋翼飞行器轨迹跟踪问题中系统存在模型不确定和易受到外界扰动的情况,提出了基于切换函数的扩张状态观测器设计方法来对系统中的扰动进行估计,并将估计值与滑模控制器的设计相结合,实现了对系统中非匹配不确定性和匹配不确定性的抑制且实现了系统跟踪误差的一致最终有界.首先,根据变量间的耦合关系将飞行器系统模型分解为两个子系统模型,设计扩张状态观测器对子系统中的非匹配不确定性进行估计,并将估计值作为变量加入到切换函数的设计中;进而基于切换函数设计扩张状态观测器以估计经切换函数重构系统中的扰动,并在控制器中对扰动进行补偿.最后通过李雅普诺夫理论证明了控制系统的稳定性.通过仿真验证了本文提出的方法能够有效实现飞行器轨迹跟踪控制且能够抑止传统滑模控制的抖振现象.     

基于终端滑模的四旋翼飞行器非线性轨迹跟踪控制

考虑到四旋翼飞行器的传统内外环控制策略依赖时标分离假设,稳定性分析复杂,并且控制参数选取困难的缺点,提出了一种与传统内外环控制策略不同的轨迹跟踪控制器;首先将四旋翼飞行器数学模型进行相应的变换,以分解为高度、偏航角和纵横向三个级联的子系统,再使用终端滑模控制方法设计高度和偏航角子系统的控制器,使两个子系统的状态误差可以在有限时间内收敛到原点,之后基于变量非线性变换设计纵横向子系统的控制器,分析了闭环系统稳定性,证明了所设计的轨迹跟踪控制器可以保证闭环系统跟踪误差渐近稳定到原点,最后仿真实验的结果验证了所设计的控制器的有效性。     

融合强化学习和进化算法的高超声速飞行器航迹规划

由于高超声速飞行器的复杂特性,对其进行航迹规划是一项非常困难的任务.本文针对高超声速飞行器巡航段,提出了一种将无模型的强化学习和交叉熵方法相结合的在线航迹规划算法.本文将航迹规划问题建模为环境信息缺失程度不同的马尔可夫决策过程,利用(PPO)算法在建立的飞行环境模拟器中离线训练智能体,并通过提高智能体的动作在时间上的相关性来保证航迹的曲率平滑.交叉熵方法则以已训练的智能体由观测到的状态给出的动作作为一种先验知识,进一步在线优化规划策略.实验结果表明了本文的方法可以生成曲率平滑的航迹,在复杂的飞行环境中具有较高的成功率,并且可以泛化到不同的飞行环境中.     

基于深度强化学习的城市交通信号控制算法

针对城市交通信号控制中如何有效利用相关信息优化交通控制并保证控制算法的适应性和鲁棒性的问题，提出一种基于深度强化学习的交通信号控制算法，利用深度学习网络构造一个智能体来控制整个区域交通。首先通过连续感知交通环境的状态来选择当前状态下可能的最优控制策略，环境的状态由位置矩阵和速度矩阵抽象表示，矩阵表示法有效地抽象出环境中的主要信息并减少了冗余信息；然后智能体以在有限时间内最大化车辆通行全局速度为目标，根据所选策略对交通环境的影响，利用强化学习算法不断修正其内部参数；最后，通过多次迭代，智能体学会如何有效地控制交通。在微观交通仿真软件Vissim中进行的实验表明，对比其他基于深度强化学习的算法，所提算法在全局平均速度、平均等待队长以及算法稳定性方面展现出更好的结果。其中，与基线相比，平均速度提高9%，平均等待队长降低约13.4%。实验结果证明该方法能够适应动态变化的复杂的交通环境。     

基于自适应积分反步的四旋翼飞行器控制*

四旋翼飞行器系统是强耦合,多输入多输出（MIMO）和非线性的。首先,进行动力学建模,考虑模型参数确定与阵风干扰两种情况。接着,提出了一种自适应积分反步控制方法应用于飞行器跟踪期望轨迹。整个控制系统采用双闭环回路结构,内回路用于控制姿态,外回路用于稳定位置。最后,在模型参数确定的情况下,与积分反步法（Integral Backstepping,IB）做实验对比。在模型参数不确定情况下,对飞行器的期望姿态和位移进行跟踪,结果表明,应用自适应积分反步（Adaptive Integral Backstepping,AIB）控制算法的飞行器对外界较强阵风干扰和模型参数不确定具有一定的鲁棒性,能够较为精确地完成轨迹跟踪任务。     

A design method for indirect iterative learning control based on two-dimensional generalized predictive control algorithm

Indirect iterative learning control (ILC) facilitates the application of learning-type control strategies to the repetitive/batch/periodic processes with local feedback control already. Based on the two-dimensional generalized predictive control (2D-GPC) algorithm, a new design method is proposed in this paper for an indirect ILC system which consists of a model predictive control (MPC) in the inner loop and a simple ILC in the outer loop. The major advantage of the proposed design method is realizing an integrated optimization for the parameters of existing feedback controller and design of a simple iterative learning controller, and then ensuring the optimal control performance of the whole system in sense of 2D-GPC. From the analysis of the control law, it is found that the proposed indirect ILC law can be directly obtained from a standard GPC law and the stability and convergence of the closed-loop control system can be analyzed by a simple criterion. It is an applicable and effective solution for the application of ILC scheme to the industry processes, which can be seen clearly from the numerical simulations as well as the comparisons with the other solutions.     

强化学习的自动驾驶控制技术研究进展

自动驾驶车辆的本质是轮式移动机器人,是一个集模式识别、环境感知、规划决策和智能控制等功能于一体的综合系统。人工智能和机器学习领域的进步极大推动了自动驾驶技术的发展。当前主流的机器学习方法分为：监督学习、非监督学习和强化学习3种。强化学习方法更适用于复杂交通场景下自动驾驶系统决策和控制的智能处理,有利于提高自动驾驶的舒适性和安全性。深度学习和强化学习相结合产生的深度强化学习方法成为机器学习领域中的热门研究方向。首先对自动驾驶技术、强化学习方法以及自动驾驶控制架构进行简要介绍,并阐述了强化学习方法的基本原理和研究现状。随后重点阐述了强化学习方法在自动驾驶控制领域的研究历史和现状,并结合北京联合大学智能车研究团队的研究和测试工作介绍了典型的基于强化学习的自动驾驶控制技术应用,讨论了深度强化学习的潜力。最后提出了强化学习方法在自动驾驶控制领域研究和应用时遇到的困难和挑战,包括真实环境下自动驾驶安全性、多智能体强化学习和符合人类驾驶特性的奖励函数设计等。研究有助于深入了解强化学习方法在自动驾驶控制方面的优势和局限性,在应用中也可作为自动驾驶控制系统的设计参考。