无人机自主巡检系统的关键技术研究

无人机（UAV）将成为未来电力巡检的主要工具,目前其飞行路径主要根据GPS进行设计。GPS定位精度低,部分区域GPS信号弱,是阻碍无人机电力巡检广泛应用的主要瓶颈。针对复杂环境下的输电线路态势感知,提出一种基于单目视觉的无人机自主巡检系统,实现脱离GPS的自主导航。该系统采用基于深度学习的目标识别检测算法,利用单目视觉的投影变换对尺度已知的待检测目标进行三维定位,然后通过基于大疆SDK开发的飞控程序调整无人机的飞行姿态并自主导航,实现无人机实时巡检。实验结果表明,距离目标物10?m时,该系统在世界坐标系[X、][Y、][Z]三个方向的定位误差分别为0.31 m、0.06 m、0.24 m,处理速度0.76 frame/s,准确性和可行性得到了验证。     

基于深度学习的四旋翼无人机单目视觉避障方法

针对无人机避障问题，提出一种基于深度学习的四旋翼无人机单目视觉避障方法。首先通过目标检测框选出目标在图像中的位置，并通过计算目标选框上下边距的长度，以此来估量出障碍物到无人机之间的距离；然后通过协同计算机判断是否执行避障动作；最后使用基于Pixhawk搭建的飞行实验平台进行实验。实验结果表明，该方法可用于无人机低速飞行条件下避障。该方法所用到的传感器只有一块单目摄像头，而且相对于传统的主动式传感器避障方法，所占用无人机的体积大幅减小。该方法鲁棒性较好，能够准确识别不同姿态的人，实现对人避障。     

基于深度学习的无人机侦察图像目标识别

无人机侦察图像是获取战场情报信息的重要手段。针对侦察图像目标识别速度慢、效率不高等问题,笔者结合研究现状提出将深度学习应用到侦察图像目标识别领域。首先标注了一个地面主要武器装备数据集,然后在YOLOv3算法官方参数权重的基础上采用迁移学习的方法进行微调训练,最后使用训练好的模型进行目标识别。实验结果表明,基于深度学习的YOLOv3算法可以较好地实现无人机侦察图像目标识别,且可以满足实时性的要求。     

小型无人机地面目标跟踪系统机载云台自适应跟踪控制

本文针对小型无人机地面目标跟踪系统,提出了一种机载云台自适应跟踪控制算法.该算法在摄像机外参数未知的情况下,利用图像信息和机载传感器得到的无人机状态进行反馈,最终实现了对云台摄像机姿态的控制,使得无人机在跟踪目标飞行过程中,地面目标可以始终保持在摄像机的图像中心.为此,论文首先通过分析无人机、目标和摄像机三者的相对位姿关系,建立了目标点在图像平面的运动学模型.在此基础上,基于李雅普诺夫稳定性理论设计了自适应控制算法.理论分析与仿真结果表明本文所设计的摄像机姿态控制器在摄像机外参数未知的情况下,可以使被跟踪目标始终保持在图像中心.     

基于深度学习的无人机入侵检测方法

无人机滥用给低空范围带来巨大安全隐患,非法入侵无人机目标的检测问题成为低空防御系统中重要的研究方向.本文提出一种基于雷达、RGB相机等多传感器信息融合方法,用于探测低空范围内小目标物体.然后,引入SSD(Single Shot multibox Detector)深度学习算法,训练无人机目标检测模型,对RGB相机捕获到画面中物体类别与位置进行预测.通过搭建实验平台验证信息融合方法能够成功获得目标位置、速度以及外观形态等特征,深度学习模型能够成功判断可疑目标的类别.     

旋翼飞行机器人视觉定位方法及系统

为实现旋翼飞行机器人在室内环境中的精确定位及控制,设计了基于单目视觉的机载视觉定位方法.该方法通过矩特征提取、图形分类来识别地面标记图形,进而利用EPn P方法解算摄像机坐标.为验证机载视觉定位方法的有效性,利用Kinect传感器搭建了旋翼飞行器外部定位系统,设计了针对旋翼飞行器目标的视觉跟踪算法,定位精度达2 mm.实验结果表明,机载视觉定位方法能够很好地进行飞行器定位.     

基于深度强化学习的多旋翼无人机空中目标自主跟踪

针对空中对接任务中的目标自主跟踪问题,提出了一种基于深度强化学习的端到端的目标跟踪方法。该方法采用近端策略优化算法,Actor网络与Critic网络共享前两层的网络参数,将无人机所拍摄图像作为卷积神经网络的输入,通过策略网络控制多旋翼无人机电机转速,实现端到端的目标跟踪,同时采用shaping方法以加速智能体训练。通过物理引擎Pybullet搭建仿真环境并进行训练验证,仿真结果表明该方法能够达到设定的目标跟踪要求且具有较好的鲁棒性。     

单目交通场景下基于自标定的车辆三维信息识别算法

获取车辆的三维信息作为车型精确分类的依据,已成为当前越来越重要的研究方向,但交通场景中的监控相机大多为单目相机,由于透视因素无法直接获取车辆位姿、车辆轮廓尺寸等三维信息.针对上述问题,提出单目交通场景下基于自标定的车辆三维信息识别算法,首先根据典型的交通场景,建立单目相机的摄像机模型以及较稳定的单消失点标定模型,完成摄像机标定;接着使用深度学习卷积神经网络中的YOLO模型对交通场景中的车辆进行二维目标检测.在此基础上,提出对角线和消失点约束的非线性优化求解算法,结合标定信息完成车辆的三维信息识别及最佳三维目标检测.在公开数据集BrnoCompSpeed和实际高速公路场景进行了实验,实验结果表明,该算法在多种交通场景下均能有效识别车辆三维信息,平均识别准确率超过90%.     

基于四旋翼无人机平台的实时多目标检测算法

随着无人机技术和深度学习技术的发展,基于深度学习的多目标检测算法在工业无人机中得到了广泛的应用。针对目前基于深度学习的多目标检测算法占用大量计算量资源,难以在算力有限的中小型无人机平台上实时运行的问题,分析了深度学习算法在低功耗CPU上的耗时,提出一种卷积神经网络计算优化方法。在机载计算机中进行仿真,结果表明在检测效果基本不变的条件下,算法帧率达到了56FPS,实现了无人机平台上的实时多目标检测。     

动态云台摄像机无人机检测与跟踪算法

为应对小型无人机的黑飞、滥飞对个人隐私、公共安全造成的威胁,本文采用高清云台摄像机定点巡航的方式对近地动态复杂背景中的无人机进行检测与跟踪,并提出了一种适用于动态云台摄像机的闭环无人机检测与跟踪算法,包含检测与跟踪两种模式。在检测模式下,本文设计了一种基于运动背景补偿的运动目标检测算法来提取分类候选区域,然后利用基于神经网络结构搜索得到的轻量级卷积神经网络对候选区域进行分类识别,可在不缩小高清视频图像的条件下实现无人机检测;在跟踪模式下,本文提出了一种结合卡尔曼滤波的局部搜索区域重定位策略改进了核相关滤波跟踪算法,使之在高清云台伺服追踪过程中仍能对目标进行快速稳定的跟踪;为将检测模式与跟踪模式结合在闭环框架中,本文还提出了一种基于检测概率和跟踪响应图状态的自适应检测与跟踪切换机制。实验表明,本文算法可应用于定点巡航状态的高清云台摄像机,实现近地复杂动态背景中无人机的实时准确检测、识别与快速跟踪。     

Design and implementation of vision-based transport for a mobile robot via Kalman filter

A vision-based scheme for object recognition and transport with a mobile robot is proposed in this paper. First, camera calibration is experimentally performed with Zhenyou Zhang’s method, and a distance measurement method with the monocular camera is presented and tested. Second, Kalman filtering algorithm is used to predict the movement of a target with HSI model as the input and the seed filling algorithm as the image segmentation approach. Finally, the motion control of the pan-tilt camera and mobile robot is designed to fulfill the tracking and transport task. The experiment results demonstrate the robust object recognition and fast tracking capabilities of the proposed scheme.     

微型直升机自主飞行辅助视觉系统研究

为了实现微型直升机自主飞行,论文设计了实时的计算机视觉系统。该系统包括机载上的硬件设备和软件算法,能够实现目标识别、特征点提取和位置估计。文中设计了特定图标,并主要依据颜色来进行快速识别。此外,通过检测4个共面的图像特征点,能够在单目单帧的基础上计算出直升机相对于特定目标的三维位置信息。视觉系统任务由位于机载上的IntelSitsang板来执行。由于受到板子运算能力的限制,每秒钟可以处理5帧160×120的彩色图像。飞行实验结果表明,该视觉系统的目标识别率高达93%,角点计算偏差小于3个像素,同时自身定位的三维位置坐标平均偏差为8cm、13cm和6cm。因此,该视觉系统通过精确自身定位,能够很好的辅助微型直升机完成自主悬停、起飞和降落等飞行任务。     

自平衡跟随机器人的目标识别及预测重拾策略

为使用更简单有效的方式实现双轮自平衡机器人的自适应跟随控制，采用单目视觉目标识别的Apriltag算法，可被动式地反解三维坐标中相机的相对位置，以此对目标进行定位。在目标识别的跟踪与选择中利用判别法、门限法以及滑窗法进行限定，同时使用多项式曲线拟合方法对目标移动的下一状态进行跟踪预测，判断出运动趋势，使在丢失目标的情况下，根据设计的寻找方案，补偿跟随重拾目标。实验表明，本文方法在目标识别与预测及丢失后重拾目标方面有显著效果。     

移动机器人实时目标跟踪系统设计与实现

针对单目视觉移动机器人目标跟踪的实时性和鲁棒性要求,提出了基于Kalman滤波器的改进Camshift算法检测和定位目标.将Kalman预测值作为目标初始位置,补偿摄像头和目标相对运动导致的目标在图像中的偏移.在系统“跟丢”后判断目标丢失的原因,根据原因自适应拓展搜索窗口作为Cam-shift算法的下一帧初始搜索窗口.为了验证改进算法的有效性,自主研制了一种应用该算法的履带式机器人实时目标跟踪系统.实验结果表明:该系统具有很好的鲁棒性和实时性.     

基于深度学习的目标视频跟踪算法综述

深度学习理论在计算机视觉中的应用日趋广泛,在目标分类、检测领域取得了令人瞩目的成果,但是深度学习理论在目标跟踪领域的早期应用中,由于存在跟踪时只有目标为正样本,缺乏数据支持,对位置信息依赖程度高等问题,因而应用效果并不理想,传统方法仍占据主流地位.近年来,随着技术的不断发展,深度学习在目标跟踪方向取得了长足的进步.本文首先介绍了目标跟踪技术的基本概念和主要方法,然后针对深度学习在目标跟踪领域的发展现状,从基于深度特征的目标跟踪和基于深度网络的目标跟踪两方面重点阐述了深度学习在该领域的应用方法,并对近期较为流行的基于孪生网络的目标跟踪进行了详细介绍.最后对近年来深度学习在目标跟踪领域取得的成果,以及未来的发展方向作了总结和展望.     

Tracking a Ground Moving Target with a Quadrotor Using Switching Control

An unmanned aerial vehicle (UAV) stabilization strategy based on computer vision and switching controllers is proposed. The main goal of this system is to perform tracking of a moving target on ground. The architecture implemented consists of a quadrotor equipped with an embedded camera which provides real-time video to a computer vision algorithm where images are processed. A vision-based estimator is proposed, which makes use of 2-dimensional images to compute the relative 3-dimensional position and translational velocity of the UAV with respect to the target. The proposed estimator provides the required states measurements to a micro-controller for stabilizing the vehicle during flight. The control strategy consists of switching controllers, which allows making decisions when the target is lost temporarily or when it is out of the camera’s field of view. Real time experiments are presented to demonstrate the performance of the target-tracking system proposed.     

Navigation system including associative memory

A new adaptive linear robot control system for a robot work cell that can visually track and intercept stationary and moving objects undergoing arbitrary motion anywhere along its predicted trajectory within the robot's workspace is presented in this paper. The proposed system was designed by integrating a stationary monocular CCD camera with off-the-shelf frame grabber and an industrial robot operation into a single application on the MATLAB platform. A combination of the model based object recognition technique and a learning vector quantization network is used for classifying stationary objects without overlapping. The optical flow technique and the MADALINE network are used for determining the target trajectory and generating the predicted robot trajectory based on visual servoing, respectively. The necessity of determining a model of the robot, camera, all the stationary and moving objects, and environment is eliminated. The location and image features of these objects need not be preprogrammed, marked and known before, and any change in a task is possible without changing the robot program. After the learning process on the robot, it is shown that the KUKA robot is capable of tracking and intercepting both stationary and moving objects at an optimal rendezvous point on the conveyor accurately in real-time.     

融合摄像机位姿信息的模板匹配跟踪算法

针对图像制导目标跟踪系统在跟踪过程中,由于图像旋转、成像视角和目标尺度的变化带来的跟踪漂移问题,提出一种利用摄像机的位姿信息的匹配模板校正和更新方法。根据摄像机与目标的相对位姿信息,建立目标透视成像模型以及不同摄像机位姿情况下的模板校正方程;将校正方程分解为实时图像旋转和模板仿射变换两部分减小模板变换的误差;通过设计与相关系数和距离信息相关的模板更新策略达到适应跟踪系统逐渐接近目标过程中目标的变化。采用基于视景仿真软件Vega Prime产生的模拟飞行视频对算法进行了验证。实验表明所提算法能够适应图像制导跟踪系统在跟踪过程中目标尺度、成像视角以及图像旋转的变化,减小跟踪漂移。     

基于计算机视觉的虚实场景合成方法研究

开发了一种虚拟场景与实时视频之间的合成技术,提出了一种新的基于非定标技术的虚实配准方法,有效地解决了基于标识的三雏注册系统要求摄像机内参在系统运行过程中不能发生改变的限制.详细介绍了系统所采用的基于计算机视觉的标识识别和实时自动摄像机位置、姿态跟踪算法,并给出了系统运行结果,成功地将该技术应用于虚拟规划系统中.