丢包扰动环境下基于强化学习的最优输出调节

针对存在线性外部干扰和状态反馈过程中发生丢包的网络控制系统的跟踪控制问题,采用输出调节的思想,提出基于离轨策略强化学习的数据驱动最优输出调节控制方法,实现仅利用在线数据即可求解控制策略.首先,对系统状态在网络传输过程存在丢包的情况,利用史密斯预估器重构系统的状态;然后基于输出调节控制框架,提出一种基于离轨策略强化学习的数据驱动最优控制算法,在系统状态发生丢包时仅利用在线数据计算反馈增益,在求解反馈增益过程中找到与求解输出调节问题的联系;接着基于求解反馈增益过程中得到的与输出调节问题中求解调节器方程相关的参数,计算前馈增益的无模型解;最后,通过仿真结果验证所提出方法的有效性.     

一种基于Off-Policy的无模型输出数据反馈H∞ 控制方法

针对模型未知的线性离散系统在扰动存在条件下的调节控制问题, 提出了一种基于Off-policy的输入输出数据反馈的H_∞控制方法. 本文从状态反馈在线学习算法出发, 针对系统运行过程中状态数据难以测得的问题, 通过引入增广数据向量将状态反馈策略迭代在线学习算法转化为输入输出数据反馈在线学习算法. 更进一步, 通过引入辅助项的方法将输入输出数据反馈策略迭代在线学习算法转化为无模型输入输出数据反馈Off-policy学习算法. 该算法利用历史输入输出数据实现最优输出反馈策略的学习, 同时克服了On-policy算法需要频繁与实际环境进行交互这一缺点. 除此之外, 与On-policy算法相比, Off-policy学习算法具有克服学习噪声的影响, 使学习结果收敛于理论最优值这一优点. 最终, 通过仿真实验验证了学习算法的收敛性.     

含执行机构未知动态的液压伺服系统输出反馈控制

针对含有未知动态(如:执行机构、负载等)液压伺服系统,提出一种基于未知系统动态估计器的输出反馈控制方法.该方法不依赖于函数逼近器和传统反步控制设计,且无需难以测量的系统内部状态.首先,为避免反步控制和系统全部状态,引入等价变换,将含液压执行机构的伺服系统高阶严格反馈模型转化为Brunovsky标准型,进而运用高阶滑模微分器观测转化后的系统未知状态.控制器设计中引入描述收敛速率、最大超调量和稳态误差的性能函数,保证预设控制系统稳态和瞬态控制性能.为补偿系统集总未知动态影响,设计一种仅含一个调节参数并保证指数收敛的未知系统动态估计器.该输出反馈控制器可以实现对系统输出的精确跟踪控制.最后,通过数值仿真结果表明了所提出算法的有效性.     

非线性严格反馈系统自适应非反步输出反馈控制

针对传统反步控制器设计方法存在复杂度爆炸、参数收敛难、控制奇异、需全系统状态已知等问题,提出一种新的可保证参数收敛的未知系统动态辨识和非反步输出反馈自适应控制方法.首先,通过定义新的状态变量和系统等价变换,将严格反馈系统状态反馈控制转化为标准系统的输出反馈控制,进而设计包含高阶微分器的自适应单步控制器,避免反步递推设计的问题;然后,采用两个神经网络对系统集总未知动态进行估计,避免传统控制方法在未知控制增益在线估计过零引发的奇异问题;最后,构造一种新的自适应算法在线更新神经网络权值确保其收敛到真实值,进而实现对未知系统动态的精准辨识.基于Lyapunov定理的分析表明,跟踪误差和估计误差均可收敛到零点附近紧集.基于液压伺服系统模型的对比仿真验证了所提出方法的有效性和优越性.     

轮式移动机器人的位置量测输出反馈轨迹跟踪控制

针对机器人的姿态角难以精确测量的困难,本文研究基于位置测量的轮式移动机器人的轨迹跟踪问题.首先提出一种利用机器人的位置信息估计其姿态角的降维状态观测器,当机器人的线速度严格大于零时,可保证姿态角观测误差的指数收敛.然后给出一种新的状态反馈轨迹跟踪控制律,当参考轨迹满足一定的激励条件时,可以保证机器人的线速度严格大于零且跟踪误差全局渐近收敛.进一步结合姿态角观测器和状态反馈控制律,得到一种输出反馈轨迹跟踪控制算法.理论分析表明,当参考轨迹满足一定的激励条件时,所提出的输出反馈控制算法可以保证跟踪误差的全局渐近收敛.最后对所提出的姿态角观测器、状态反馈和输出反馈轨迹跟踪控制算法进行了仿真验证,证实了算法的有效性,并且当存在位置测量误差时,所提出的输出反馈轨迹跟踪控制算法仍可以保证机器人对参考轨迹的实际跟踪.     

基于强化学习的部分线性离散时间系统的最优输出调节

针对同时具有线性外部干扰与非线性不确定性下的离散时间部分线性系统的最优输出调节问题, 提出了仅利用在线数据的基于强化学习的数据驱动控制方法. 首先, 该问题可拆分为一个受约束的静态优化问题和一个动态规划问题, 第一个问题可以解出调节器方程的解. 第二个问题可以确定出控制器的最优反馈增益. 然后, 运用小增益定理证明了存在非线性不确定性离散时间部分线性系统的最优输出调节问题的稳定性. 针对传统的控制方法需要准确的系统模型参数用来解决这两个优化问题, 提出了一种数据驱动离线策略更新算法, 该算法仅使用在线数据找到动态规划问题的解. 然后, 基于动态规划问题的解, 利用在线数据为静态优化问题提供了最优解. 最后, 仿真结果验证了该方法的有效性.     

离散多智能体有限时间Q学习协同输出调节

针对离散多智能体系统输出调节,提出了一种基于Q学习的最优控制策略。对于传统多智能体系统的输出调节,获取系统的精确动力学模型并依此求得其HJB方程的解为主要障碍。该策略通过智能体之间的局部通信,在不依赖系统动态模型的前提下实现了对每个智能体输出的全局最优控制。为实现对系统响应速率的优化,提出了一种新的有限时间局部误差公式,不仅保证了算法原有的全局最优性能,而且将输出同步时间缩短了近50%,并对所提算法的稳定性进行了分析。仿真结果表明,该策略在避免建立复杂系统模型和求解离散HJB方程的前提下实现了对系统的最优控制,采用更新后的有限时间局部误差公式有效缩短了收敛时间。     

一类不确定非线性系统的自适应输出反馈镇定

研究了一类不确定非线性系统的全局自适应输出反馈镇定问题. 由于不确定控制系数和未知线性增长率的存在, 这个问题比较复杂且很难解决. 本文引入一个新的在线调节的动态增益, 并基于此设计了高增益K-滤波器用于重构系统的状态. 然后, 受广义控制方法的启发, 发展了反推法并设计了自适应输出反馈镇定控制器. 结果表明, 通过选择恰当的设计参数可以保证闭环系统的全局稳定性. 给出的仿真算例验证了本文理论结果的正确性.     

有限反馈MIMO OFDM系统公平性资源分配算法

针对多输入多输出正交频分复用(Multiple input multiple output-orthogonal frequency division multiplexing,MIMO-OFDM)系统资源分配过程中信道信息反馈开销过大的问题,给出了一种基于有限反馈的公平性资源分配算法.该算法在发射总功率、目标误码率以及用户间比例速率约束条件下,以最大化系统和容量为目标,将相邻子载波分簇并反馈部分簇的信道状态信息(Channel state information,CSI),利用部分已反馈簇的信道状态信息CSI对未反馈簇的CSI进行估计,据此进行子载波簇、功率和比特三级分配.仿真结果表明,该算法在保证用户间比例公平性和系统和容量性能的同时,有效降低了系统的反馈开销,实现了系统性能与反馈开销的良好折中.     

时滞系统采样迭代学习控制

针对一类具有状态时滞的连续系统提出一种采样迭代学习控制算法。给出并证明了算法指数收敛的充分条件,该条件可保证系统输出无论在采样点或非采样点上,都能以指数收敛速率收敛至期望输出的一个与采样周期有关的误差范围内。仿真结果表明了该算法的有效性。     

Fixed-time output regulation of linear delay systems by smooth time-varying control

This article investigates the fixed-time output regulation problem (FxTORP) for linear systems in the presence of input delay. A linear controller consisting of the linear periodic delayed feedback (PDF) gain and the feedforward gain obtained by solving regulator equations is designed, such that FxTORP is addressed. If only the measurable output can be used for feedback, a linear observer with periodic coefficient and artificial delay is designed so that its state converges to the state of the augmented system at a prescribed finite time. Based on the estimated state, the output regulation problem can also be solved by using observer-based output feedback. The most significant advantages of this article are that the PDF gain can be taken as smooth and the output regulation problem is achieved within a prespecified regulation time. Finally, a simulation example is given to substantiate the validity of the proposed approaches.     

线性不确定系统的给定阶最优控制器设计

为避免间接法设计降阶控制器的模型近似引起的性能下降,本文在静态输出反馈控制器设计的基础上,直接设计了线性不确定系统的给定阶混合H2/H∞动态反馈控制器.利用系统内外分解方法,得到了最优降阶状态观测器.通过求解降维状态观测器的静态输出反馈,可得到降阶控制的最优反馈增益阵.给定阶控制器由两个Ric cati方程和一个Lyapunov方程参数化表示.最后,通过一个例子,说明了本文提出的给定阶控制器设计方法.     

Neural-network-based approximate output regulation of discrete-time nonlinear systems.

The existing approaches to the discrete-time nonlinear output regulation problem rely on the offline solution of a set of mixed nonlinear functional equations known as discrete regulator equations. For complex nonlinear systems, it is difficult to solve the discrete regulator equations even approximately. Moreover, for systems with uncertainty, these approaches cannot offer a reliable solution. By combining the approximation capability of the feedforward neural networks (NNs) with an online parameter optimization mechanism, we develop an approach to solving the discrete nonlinear output regulation problem without solving the discrete regulator equations explicitly. The approach of this paper can be viewed as a discrete counterpart of our previous paper on approximately solving the continuous-time nonlinear output regulation problem.     

Data-driven optimal switching and control of switched systems

In this paper, optimal switching and control approaches are investigated for switched systems with infinite-horizon cost functions and unknown continuous-time subsystems. At first, for switched systems with autonomous subsystems, the optimal solution based on the finite-horizon HJB equation is proposed and a data-driven optimal switching algorithm is designed. Then, for the switched systems with subsystem inputs, a data-driven optimal control approach based on the finite-horizon HJB equation is proposed. The data-driven approaches approximate the optimal solutions online by means of the system state data instead of the subsystem models. Moreover, the convergence of the two approaches is analyzed. Finally, the validity of the two approaches is demonstrated by simulation examples.     

基于增量式Q学习的固定翼无人机跟踪控制性能优化

针对固定翼无人机纵向控制的高性能需求,提出一种控制系统性能优化结构.该结构包括一个使系统稳定的标称控制器和一个参与性能优化的增量式控制器.控制系统增量式的实现不会改变原有的控制系统,而是仅对标称控制系统做控制输入的补偿与控制性能的优化.基于Q学习理论进行增量式控制器设计,针对状态信息完全可获得的系统,设计一种基于状态反馈的增量式Q学习算法.当状态信息不能完全获得时,利用系统输入、输出和参考信号数据,设计一种基于输出反馈的增量式Q学习算法.两种增量式控制器均是在数据驱动环境下自适应学习增量式控制律,无需提前知道系统动力学模型以及标称控制器的控制增益.此外,证明了增量式Q学习方法在满足持续激励条件的激励噪声下,对Q函数贝尔曼方程的求解没有偏差.最后,通过对F-16飞行器纵向模型实例的仿真验证该方法的有效性.     

Finite-time output regulation by bounded linear time-varying controls with applications to the satellite formation flying

This article studies the finite-time output regulation problem for linear time-invariant continuous-time systems. By using the solution to a parametric Lyapunov equation (PLE) and regulator equations, three bounded linear time-varying (LTV) state controllers composed of the LTV feedback gain and the LTV feedforward gain are designed, such that (prescribed) finite-time output regulation is solved. As a further result, a linear LTV observer-based controller is also designed. The most significant advantages of this article are that the system under consideration is more general and the output regulation problem is achieved within a user-chosen regulation time. Finally, the developed LTV state controllers are utilized to the design of the satellite formation flying control system and simulation results verify the effectiveness of the proposed approaches.     

Incremental passivity and output regulation for switched nonlinear systems

This paper studies incremental passivity and global output regulation for switched nonlinear systems, whose subsystems are not required to be incrementally passive. A concept of incremental passivity for switched systems is put forward. First, a switched system is rendered incrementally passive by the design of a state-dependent switching law. Second, the feedback incremental passification is achieved by the design of a state-dependent switching law and a set of state feedback controllers. Finally, we show that once the incremental passivity for switched nonlinear systems is assured, the output regulation problem is solved by the design of global nonlinear regulator controllers comprising two components: the steady-state control and the linear output feedback stabilising controllers, even though the problem for none of subsystems is solvable. Two examples are presented to illustrate the effectiveness of the proposed approach.