基于DDPG的无人机追捕任务泛化策略设计

无人机追逃对抗问题是当今空战领域的研究热点,传统解决方案对此问题存在诸多限制,如模型难以适应复杂动态环境从而快速做出决策、对不同任务场景泛化性较差等问题。基于DDPG(deep deterministic policy gradient)算法设计了无人机追逃对抗策略;在此基础上,设计多种逃逸无人机的对抗机动策略,利用课程学习思想,在DDPG的训练过程中逐步提高逃逸无人机的智能程度,从而递进式地训练追捕无人机的对抗策略。仿真结果表明,相较于直接进行训练,利用课程学习的方法所训练的追捕无人机的追捕策略能够更快收敛,并能更好地执行对敌机的追捕任务,且能够适用于具有多种对抗机动策略的敌机,有效地提升了无人机追逃对抗决策模型的泛化性。     

结合Spatial CNN的端到端自动驾驶研究

针对当前自动驾驶中端到端深度学习算法需要庞大数据集作为训练支撑且缺少针对性的问题,基于深度迁移的思想,提出了迁移预训练VGG-16网络结合Spatial CNN网络结构的端到端自动驾驶模型.将预训练模型在ImageNet数据集上已经学习到的图像识别能力迁移至转向预测任务上,同时嵌入Spatial CNN网络结构挖掘空间特征信息.研究结果表明:在基于同等少量样本的训练后,迁移学习模型提取的特征更具有相关性,与从零开始训练的DAVE-2模型相比,预测误差率降低11.1％.在测试地图上模型预测值能很好地跟随真实值变化,说明模型能够实现高精度预测.     

基于IMM的无人机在线路径规划决策建模

为提升无人机对目标的自主跟踪能力,以部分可观测马尔科夫决策过程(POMDP)为理论框架,建立起无人机路径在线规划POMDP模型。分析并描述了POMDP模型中的各个要素,针对目标运动规律的复杂性,引入交互多模型(IMM)方法描述POMDP模型中的状态转移规律,以适应目标的机动变化。同时以POMDP模型中的累加代价函数为目标函数,结合使用名义信念状态优化(NBO)算法求解无人机的行动策略,产生的行动策略控制无人机飞行。仿真结果表明,所建立的模型能够实现对无人机路径的自主规划,能够控制无人机对目标进行有效跟踪,规划的无人机路径较之使用单一的目标状态转移规律更加合理高效。     

基于强化学习的旋翼无人机智能追踪方法

针对旋翼无人机追踪场景中常用的PID控制方法与视觉伺服控制方法的不足,该文尝试将视觉伺服控制与强化学习结合,提出了一种基于强化学习的旋翼无人机智能追踪方法。首先使用基于图像的视觉伺服实现旋翼无人机的闭环控制,然后建立使用Sarsa学习算法调节伺服增益的强化学习模型,通过训练可以使得旋翼无人机自主选择视觉伺服增益。该文设计了旋翼无人机在实物场景与仿真场景下的运动目标追踪实验,实验结果论证了该方法相对于PID控制与基于图像的视觉伺服控制方法具有更好的追踪效果。     

深度确定性策略梯度和预测相结合的无人机空战决策研究

针对无人机自主空战机动决策过程中遇到的敌方不确定性操纵问题，提出了一种目标机动指令预测和深度确定性策略梯度算法相结合的无人机空战自主机动决策方法。对空战双方的态势数据进行有效的融合和处理，搭建无人机六自由度模型和机动动作库，在空战中目标通过深度Q网络算法生成相应机动动作库指令，同时我方无人机通过概率神经网络给出目标机动的预测结果。提出了一种同时考虑了两机态势信息和敌机预测结果的深度确定性策略梯度强化学习方法，使得无人机能够根据当前空战态势选择合适的机动决策。仿真结果表明，该算法可以有效利用空战态势信息和目标机动预测信息，在保证收敛性的前提下提高无人机自主空战决策强化学习算法的有效性。     

配置机械手的轮式移动机器人目标物体跟踪与抓取

针对配置机械手的室内轮式移动机器人目标物体识别、跟踪和抓取问题,采用一种目标物体识别和机器人定位的方法,利用一种基于模糊控制的轮式移动机器人视觉伺服跟踪控制的方法。针对机器人目标识别跟踪及抓取过程中受环境条件变化的影响,采用HSI颜色模型和基于阈值的区域分割的图像处理方法可以完成目标颜色物体的快速准确识别。基于云台摄像机角度信息的机器人小车目标定位方法和模糊控制理论,设计了模糊跟踪控制器,使机器人输出合适的线速度和角速度,能够实现机器人目标跟踪,使移动机器人趋近目标物体位置,并完成机械手目标物体抓取任务。仿真和实时实验结果表明：所设计的系统具有良好的目标物体识别、跟踪和准确抓取目标的能力。     

基于卷积神经网络的无人机遥感影像农村建筑物目标检测

将深度学习应用于遥感影像目标识别,提出基于卷积神经网络的无人机遥感影像农村建筑物的目标检测方法,用端到端的方式训练Faster R-CNN网络模型,并应用于农村建筑物的快速精确识别.该方法包括基于RPN网络的区域建议和基于Inception v2的卷积神经网络模型训练.为了训练和测试模型,通过无人机采集南疆地区的农村建筑物遥感影像,并人工标注建立了农村建筑物的数据集,在TensorFlow深度学习框架上通过对该数据集目标检测验证了模型.结果表明,基于改进的卷积神经网络目标检测方法对无人机遥感影像进行快速准确识别的总体精度超过90%,通过初始参数更新,模型收敛更快,对无人机遥感影像地物分类和目标识别具有一定的参考意义.     

基于改进指针网络的卫星对地观测任务规划方法

针对卫星观测任务规划问题约束复杂、求解空间大和输入任务序列长度不固定的特点,使用深度强化学习（DRL）方法对卫星观测任务规划问题进行求解. 综合考虑时间窗口约束、任务间转移机动时间和卫星电量、存储约束,对卫星观测任务规划问题进行建模. 基于指针网络（PN）的运行机制建立序列决策算法模型,使用Mask向量来考虑卫星观测任务规划问题中的各类约束,并通过Actor Critic强化学习算法对模型进行训练,以获得最大的收益率. 借鉴多头注意力（MHA）机制的思想对PN进行改进,提出多头注意力指针网络（MHA-PN）算法. 根据实验结果可以看出,MHA-PN算法显著提高了模型的训练速度和泛化性能,训练好的MHA-PN算法模型可以直接对输入序列进行端到端的推理,避免传统启发式算法迭代求解的过程,具有较高的求解效率.     

结合特征点匹配及深度网络检测的运动跟踪

通过样本学习得到的目标先验视觉信息可以对目标进行高效表示,在目标跟踪中通过充分利用这些先验知识提高跟踪精度。基于此,提出一种利用离线训练结果进行在线跟踪的算法,首先利用深度神经网络通过样本学习目标的视觉先验,然后跟踪在贝叶斯推理框架下进行,在跟踪过程中将目标视觉先验用作目标的外观表示,跟踪结果由粒子滤波顺序得到。为了防止跟踪漂移,通过特征点匹配建立系统的状态模型,并且将目标分解成子目标进行相似度量,提高算法抗局部遮挡能力。在多个公开测试集上实验表明,该算法可以提高目标跟踪精度,防止跟踪漂移,实现长序列可靠跟踪。     

基于深度强化学习的移动机器人轨迹跟踪和动态避障

针对移动机器人在局部可观测的非线性动态环境下,实现轨迹跟踪和动态避障时容易出错和不稳定的问题,提出了基于深度强化学习的视觉感知与决策方法.该方法以一种通用的形式将卷积神经网络的感知能力与强化学习的决策能力结合在一起,通过端对端的学习方式实现从环境的视觉感知输入到动作的直接输出控制,将系统环境感知与决策控制直接形成闭环,其中最优决策策略是通过最大化机器人与动力学环境交互的累计奖回报中学习获得.仿真实验结果证明,该方法可以满足多任务智能感知与决策要求,较好地解决了传统算法存在的容易陷入局部最优、在相近的障碍物群中震荡且不能识别路径、在狭窄通道中摆动以及障碍物附近目标不可达等问题,并且大大提高了机器人轨迹跟踪和动态避障的实时性和适应性.     

基于视觉-磁引导的无人机动态跟踪与精准着陆

针对无人机通过视觉对地面动态目标跟踪过程中视角固定易丢失目标，以及在着陆过程中由于成像畸变严重、画面不稳定导致定位精度差的问题，提出随动视觉跟踪的跟踪控制策略和基于视觉联合磁引导的获取无人机高精度相对位姿的方法. 在跟踪过程中，设计新型信标图案供无人机进行视觉识别获取目标的方位，识别速度可以达到5 ms/帧，通过随动视觉跟踪完成实时跟踪. 在着陆过程中，在动态目标上设置磁源，利用无人机检测磁场特性并通过BP神经网络解算相对位置；在信标图案内设置平行线特征，用于近镜头时辅助视觉解算相对角度. 在获取无人机相对位姿后，进行相应的运动控制即可完成着陆. 实验结果表明，跟踪过程稳定可靠，抗干扰能力强；着陆精度高，着陆误差小于2 cm.     

在书写任务中的基于轨迹匹配的模仿学习

针对书写任务中运动轨迹较复杂的问题,引入基于轨迹匹配的模仿学习算法对书写轨迹进行表征和泛化,进而实现机器人书写技能的获取。机器人从示教者处获取示教数据,利用高斯混合模型( Gaussian mixture model, GMM)进行编码,学习示教行为的本质特征,通过高斯混合回归进行泛化处理,实现行为再现。实验结果表明：该方法具有良好的行为编码能力和抗干扰性,能够实现轨迹可连续的汉字书写,通过对GMM的扩展能够进行多任务学习,进而实现轨迹不可连续汉字的书写,泛化效果较好。     

飞翼无人机非线性控制设计方法

为实现飞翼无人机的机动飞行,以带有流体矢量方向舵的飞翼无人机为设计对象,采用非线性设计方法设计了控制器,并进行飞行验证.针对飞翼无人机的机动飞行控制存在各种耦合和扰动的特点,设计内环线性化解耦以消除已知不利的耦合项,外环反步跟踪方法进行航迹跟踪的控制律结构,证明了该控制结构的稳定性.同传统反步控制方法相比,该控制器增加了内环解耦结构,并在控制结构中保留气动阻尼项,使得线性化后的系统为弱非线性系统.该结构不仅可以降低外环控制器设计的保守性,而且便于工程实现.仿真和飞行试验表明,该控制方案是有效的.     

无人机跟踪系统仿真平台的设计与实现

为解决无人机(Unmanned Aerial Vehicle, UAV)在进行地面目标跟踪实验时,存在验证难度大,成本高等问题,设计和实现了基于视景仿真软件和MATLAB/Simulink的仿真平台.首先,选择汽车作为地面目标,在视景仿真软件中导入UAV和汽车的三维模型,并设置虚拟云台和摄像机.其次,利用UAV、汽车与云台之间的相对运动模拟UAV跟踪过程中场景的变化,基于运动补偿的云台控制算法保证了虚拟摄像机始终指向目标.然后,虚拟摄像机采集目标所在区域的图片,图像跟踪算法跟踪图片中的目标,并利用目标图像模型解算目标在世界坐标系下的位置.最后,根据目标位置,使用参考点制导法生成期望的滚转角指令,引导UAV围绕目标盘旋飞行.视景仿真软件、图像跟踪算法和MATLAB/Simulink之间通过共享内存与UDP进行闭环通信.此外,提出一种实用可靠的标定方法,完成了视景仿真软件中虚拟摄像机内参矩阵的标定.仿真结果表明:该仿真平台能较好地模拟UAV对不同运动状态汽车的跟踪,得到的仿真结果具有较高的工程参考价值.本文的研究成果为目标跟踪实验提供了良好的仿真环境,有效减少实验成本.     

基于模糊进化学习的移动机器人目标跟踪控制

结合人工引力场原理、比例导航原理和非完整约束控制，研究一种用于自主式移动机器人动态目标跟踪控制算法，提出了移动机器人的模糊进化学习策略，以模糊控制器为基础，通过进化学习来搜索最优控制参数和控制量，并在动态目标跟踪实验中得到验证。     

基于深度强化学习技术的舰载无人机自主着舰控制研究

自主着舰是未来舰载无人机面临的重要难题与关键技术. 基于TD3算法结合舰载飞机六自由度运动以及航空母舰运动模型,构建了交互式深度强化学习仿真环境. 针对典型海况进行了舰载无人机自主着舰训练,仿真训练过程中综合考虑海况以及航空母舰纵荡、横荡和沉浮3个线扰动,滚转、俯仰和偏航3个角扰动等因素,建立对应简化运动模型; 基于某型飞机气动数据进行气动力建模,建立六自由度运动学/动力学模型; 基于TD3强化学习算法,结合前馈型深度神经网络技术,在高性能GPU工作站上建立舰载机着舰交互训练环境. 通过某型舰载无人机在无模型环境中“试错”训练,验证了AI技术在舰载无人机自主着舰控制中的可行性.     

基于迭代学习的永磁直线同步电动机扰动抑制

针对永磁直线同步电动机中存在的周期性扰动问题,提出了一种闭环迭代学习控制算法.该算法通过上次迭代时的输入信息和输出跟踪误差的PID校正项来获得本次迭代的控制输入.基于迭代学习控制思想并结合PID控制,设计出应用于直线电动机运动系统的迭代学习控制器.仿真结果表明,与传统的PID控制相比较,所提出的控制方法能够使系统的跟踪效果更好,且保证了在较少迭代次数下,被控系统的输出轨迹能精确地收敛到期望轨迹.     

基于LS-SVM的模糊控制器研究

探讨了利用最小二乘支持向量机(LS-SVM)进行模糊控制器分析与设计研究的方法,提出了基于LS-SVM模型的模糊控制算法.该控制器融合了模糊控制与支持向量机的优点,具有不依赖被控对象模型、泛化能力强等特点.仿真结果表明,LS-SVM学习速度快,在小样本情况下具有良好的非线性建模和泛化能力.基于LS-SVM的模糊控制器具有很好的控制性能.