基于执行器–评价器学习的自适应PID控制

针对传统PID控制器无法在线自整定参数的不足,提出了一种基于执行器一评估器（Actor-Critic,AC）学习的自适应PID控制器结构与学习算法．该控制器利用AC学习实现PID参数的自适应整定,采用一个径向基函数网络同时对Actor的策略函数和Critic的值函数进行逼近．径向基函数网络的输入为系统误差、误差的一次差分和二次差分,Actor实现系统状态到PID参数的映射,Critic则对Actor的输出进行评判并且生成时序差分（temporaldifference,TD）误差信号．基于AC学习的体系结构和TD误差性能指标,给出了控制器设计的步骤流程图．两个仿真实验表明：与传统的PID控制器相比,基于AC学习的PID控制器在响应速度和自适应能力方面要优于传统PID控制器．     

基于异步优势动作评价的RFID室内定位算法

针对现有的RFID室内定位算法的精度容易受到环境因素影响的问题,提出了一种基于异步优势动作评价(Asynchronous Advantage Actor-critic,A3C)的RFID室内定位算法。该算法的主要步骤为:1)将RFID的信号强度RSSI值作为输入值,多个线程子动作网络并行交互采样学习,利用子评价网络评价动作值的优劣,使模型不断优化,找到最优信号强度RSSI值,并训练定位模型;子线程网络定期将网络参数异步更新到全局网络上,全局网络最后输出参考标签的具体位置,同时训练得到异步优势动作评价定位模型。2)在线定位阶段,当待测目标进入待测区域时,记录待测目标的信号强度RSSI值,将其输入异步优势动作评价定位模型中,子线程网络从全局网络中获取最新定位信息,对待测目标进行定位,最后输出目标的具体位置。实验数据表明,基于异步优势动作评价的RFID室内定位算法与传统的基于向量机(Support Vector Machines,SVM)定位、基于极限学习机(Extreme Learning Machine,ELM)定位、基于多层神经网络定位(Multi-Layer Perceptron,M...     

基于改进跟踪微分器与前馈的模糊自适应PID控制

经典PID控制器在工程领域应用广泛,但其快速性和超调量之间不能很好地实现协调控制,且误差信号在经典意义上不可微,导致微分难以被有效利用。基于此,在典型跟踪微分器研究的基础上,采用一种具有良好的动态响应和滤波功能的改进非线性跟踪微分器对输入信号进行快速、无超调跟踪。并结合前馈控制和模糊自适应PID控制提升系统的稳定性和快速性,设计了一种基于改进跟踪微分器与前馈的模糊自适应PID控制器。以移相全桥变换器为控制对象,用经典PID与其进行对比分析。仿真与实验波形分析发现,所提控制器的鲁棒性更高,同时可将调节时间缩短至40%,响应速度也更快。     

基于双重注意力机制的异步优势行动者评论家算法

深度强化学习是目前机器学习领域发展最快的技术之一.传统的深度强化学习方法在处理高维度大状态的空间任务时,庞大的计算量导致其训练时间过长.虽然异步深度强化学习利用异步方法极大缩短了训练时间,但会忽略某些更具价值的图像区域和图像特征.针对上述问题,本文提出了一种基于双重注意力机制的异步优势行动者评论家算法.新算法利用特征注意力机制和视觉注意力机制来改进传统的异步深度强化学习模型.其中,特征注意力机制为卷积神经网络卷积后的所有特征图设置不同的权重,使得智能体聚焦于重要的图像特征;同时,视觉注意力机制为图像不同区域设置权重参数,权重高的区域表示该区域信息对智能体后续的策略学习有重要价值,帮助智能体更高效地学习到最优策略.新算法引入双重注意力机制,从表层和深层两个角度对图像进行编码表征,帮助智能体将聚焦点集中在重要的图像区域和图像特征上.最后,通过Atari 2600部分经典实验验证了基于双重注意力机制的异步优势行动者评论家算法的有效性.     

基于强化学习自适应PID的无人直升机控制

针对无人直升机多变量,强耦合和参数变化时传统PD不能在线调节参数的问题,本文首先提出了一种基于强化学习的自适应控制算法,之后将该算法应用于直升机姿态控制,并通过MATLAB仿真与几种常见的自适应控制器对比,结果表明本文所设计的控制器,能在线调节参数,优化系统性能,有不错的动态响应速度和抗干扰能力。     

基于自适应评价的非线性系统神经网络控制

针对一类非线性系统,提出了一种自适应评价方法．该方法可以控制系统输出对参考信号进行跟踪,其评价函数可直接解析求出．该方法只需一个动作网络用于产生控制动作,并且方法中的网络权值初始化可随机选取．使用Lyapunov方法对整个系统的动态性能进行分析,证明了在一定条件下此方法能保证闭环误差及网络权值一致最终有界．仿真结果与理论分析相一致,证明了所提出方法的有效性．     

PID自适应控制

本文提出将ＰＩＤ继电自整定与神经网络相结合，共同完成ＰＩＤ自适应控制。以一个两层线性网络构造ＰＩＤ控制器，将由ＰＩＤ继电自整定法获取的ＰＩＤ参数值做适当的修正后作为网络权的初值，实现对系统的在线控制。     

基于自适应Smith预估器的PID自整定方法

针对典型的可等效为一阶惯性加纯滞后系统的工业过程,利用输入输出数据获取对象阶跃响应,简便地得到对象模型和Smith预估器,进而按ITAE标准传递函数整定PID参数,结果表明,该方法兼有Smith预估控制和ITAE最佳控制两者的优点。     

操作器的PID自适应控制

利用操作器动力学模型的性质,提出了一种前馈补偿加PID反馈控制的自适应控制方案.由于在控制力矩中引入积分项,使操作器关节的跟踪精度和抗干扰能力得到提高.本文分析了摩擦干扰和执行机构的惯性对控制方案的影响.本文进一步的研究表明:在许多情况下,只需对操作器动力学中耦合和非线性最强的项进行补偿,然后加PID反馈控制,就能取得较好的控制效果.从而简化了控制方案,以PUMA560的前三个关节的参数作模型,对文中的方法进行了仿真.     

基于增强学习算法的PID参数调整方法研究

本文首先介绍了增强学习的基本原理，然后分析了利用基于增强学习算法进行PID参数调节的步骤，并给出了具体的实现流程，最后通过仿真验证了增强学习算法的性能。     

Identification based adaptive iterative learning controller

In recent years, more research in the control field has been in the area of self‐learning and adaptable systems, such as a robot that can teach itself to improve its performance. One of the more promising algorithms for self‐learning control systems is Iterative Learning Control (ILC), which is an algorithm capable of tracking a desired trajectory within a specified error limit. Conventional ILC algorithms have the problem of relatively slow convergence rate and adaptability. This paper suggests a novel approach by combining system identification techniques with the proposed ILC approach to overcome the aforementioned problems. The ensuing design procedure is explained and results are accrued from a number of simulation examples. A key point in the proposed scheme is the computation of gain matrices using the steepest descent approach. It has been found that the learning rule can be guaranteed to converge if certain conditions are satisfied. Copyright © 2010 John Wiley and Sons Asia Pte Ltd and Chinese Automatic Control Society     

单神经元自适应PID控制器的性能优化设计

研究了单神经元自适应PID摔制器性能优化问题,阐述了该摔制器的特点、控制律;给出了一种控制灵敏度的快速近似求取方法,实现了PID参数的在线自学习;使单神经元控制器具有可调参数少、易于整定、控制输出平稳、鲁棒件强的独特优点,适用于大滞后且要求平稳控制输出的工业过程。     

基于Q学习的供热末端自适应PID控制算法

城市建筑集中供热末端“全开”和“全关”控制方式不仅热舒适性差,也造成了较大热损耗。为改善这一问题,在研究了强化学习的基础上提出基于Q学习PID参数的供热末端流量控制算法。首先分析了散热器等的热动态及传热过程,建立了供热房间热平衡数学模型,然后以PID控制算法为基础,温度偏差为控制器输入,调节阀开度控制量为输出,选择温差变化为智能体奖惩的学习策略,通过Q学习算法对PID参数进行在线自适应整定,最后在集中供热末端流量调节的仿真实验中验证了控制器的调控性能并与传统PID控制结果进行了对比。实验结果表明,基于Q学习的自适应PID流量控制算法能够使室内温度变化和调节阀开度变化更加平缓,且节省约33%的供热量,节能效果较明显。     

模糊PID控制器在自适应巡航控制系统中的应用

车辆的油门控制算法是自适应巡航控制系统(ACC：Adaptive Cruise Control)中的核心算法之一。这里采用的模糊PID算法(Fuzzy PID)是对常用的两输入单输出模糊控制算法的改进。通过使用Matlab／Simulink建立车辆动力学模型和控制器模型,对控制器的性能进行了仿真分析,验证了算法的合理性。     

基于强化学习的模型参考自适应控制

提出了一种基于强化学习的模型参考自适应控制方法,控制器采用自适应启发评价算法,它由两部分组成:自适应评价单元及联想搜索单元.由参考模型给出系统的性能指标,利用系统反馈的强化信号在线更新控制器的参数.仿真结果表明:基于强化学习的模型参考自适应控制方法可以实现对一类复杂的非线性系统的稳定控制和鲁棒控制,该控制方法不仅响应速度快,而且具有较高的学习速率,实时性较强.     

一种基于增强学习的自适应控制方法

针对模型未知时变非线性对象的控制问题，提出一种直接的自适应控制策略。该策略基于径向基神经网络并结合增强学习的自调节能力，无需知道控制对象的动态特性，而是通过在线试错在控制过程中不断积累与问题相关的信息，用以产生可接受的逐步优化的解。