基于深度学习的无人机单目标跟踪

无人机单目标跟踪,是指对无人机运动过程中拍摄的视频进行实时处理,进而准确、稳定地跟踪一个移动目标。无人机单目标跟踪受环境影响较大,存在光照变化、背景干扰、目标遮挡、相似目标干扰等问题,使得追踪准确性尚有待提高。针对上述问题,以SiamRPN++为基础,对其模型和损失函数进行创新性优化。主要研究贡献：在网络骨架(Backbone)方面,通过引入注意力机制网络结构SENet,与原有模型的ResNet50组成Se＿ResNet50,提升对单目标跟踪的准确性和有效性;在损失函数方面,使用Balanced L1 Loss提升关键的回归梯度,在分类、整体定位以及精确定位中实现更加平衡的训练;在SiamRPN++的结构基础上,对Backbone和Loss函数进行优化。实验使用ILSVRC2013和ILSVRC2014的DET数据集进行训练,以VOT2018和OTB100为测试数据集检验训练精度。最终追踪准确性在原基础上得到了一定的提高。     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

Kalman滤波与模板更新结合的SiamRPN目标跟踪

针对SiamRPN跟踪算法在目标快速运动时跟踪目标易丢失以及模板不更新影响跟踪效果问题，提出一种Kalman滤波与模板更新相结合的SiamRPN目标跟踪方法。利用训练好的SiamRPN跟踪算法对目标进行跟踪，并将上一帧目标物体的中心点位置及速度输入卡尔曼滤波器，当RPN网络得到的跟踪框响应得分较低时，利用卡尔曼滤波器重新预测目标位置，搜索得到新的跟踪框。并根据上一帧目标的速度，自适应扩大搜索区域。重新设计并训练了模板更新网络，并在其中添加了通道注意力机制，在跟踪过程中对目标模板迭代更新。实验结果表明，该算法在OTB2015的成功率和精确率分别为67.2%和89.1%，在VOT2016的EAO提升24.3%，与其他算法相比在解决目标形变和运动模糊问题具有显著优势。     

基于自适应粒子滤波的无人机目标跟踪算法研究

随着人工智能技术的发展以及数字图像处理技术的应用日渐普及,目标跟踪成为国内外学者的研究热点,该文针对无人机目标跟踪易受遮挡、形变、等复杂背景的干扰导致跟踪失败等问题提出一种基于自适应的粒子滤波的无人机目标跟踪算法。实验结果表明,该算法能有效地减少因复杂因素干扰导致的目标跟踪精度下降的问题,具有良好的鲁棒性。     

融合坐标信息与模板更新的孪生网络目标跟踪

应对孪生网络单目标跟踪算法在跟踪中遇到背景杂乱、相似物影响、遮挡等复杂场景的问题导致跟踪系统精度和成功率下降的问题,提出一种融合坐标注意力机制和模板更新的跟踪算法MCUSiamRPN (MobileNet coordinate attention and updating of template SiamRPN).在SiamRPN算法基础上,采用改进的MobileNetV3为特征提取网络,多层特征信息分别送入坐标注意力模块,进行特征融合,丰富语义信息;设计了一种自适应模板更新模块,结合初始模板和当前帧的模板用于估计下一帧的最佳模板更新模板信息.在OTB100和UAV123两个数据集上进行测试,结果显示:相比于基准算法Siam RPN,精度分别提升了5.3%和3.7%;成功率分别提升了3.7%和5.2%,验证了该算法的有效性.     

基于Actor-Critic帧间预定位的改进SiamRPN模型

目标跟踪在智能监控、无人驾驶、航空航天等领域有广泛的应用,其目的是在视频每一帧中找到运动目标并用目标框将其定位出来,但由于运动模糊、外观变化、遮挡、光照变化和背景混杂等原因,跟踪器在跟踪过程中极易丢失跟踪目标.由于SiamRPN模型搜索目标区域面积较小,模型有丢失目标的风险,为了提高跟踪准确率和成功率,论文提出了一种扩大搜索区域的改进SiamRPN模型ACSiamRPN,利用目标在图像前后帧间的运动信息进行目标预定位的方法,扩大目标搜索区域,借助强化学习中的Actor-Critic方法,训练预定位网络来回归目标位置,并利用预定位结果来校正SiamRPN模型搜索区域中心,从而提高跟踪准确率和成功率.在OTB2013、OTB2015、DTB70、NFS30以及VOT2016数据集上,论文提出的改进SiamRPN模型ACSiamRPN的跟踪准确率和成功率均超越了SiamRPN,运行速度达到65fps,仍然保持良好的实时性能,与当今较为先进的一些跟踪方法相比具有明显优势.     

基于CamShift融合局部特征匹配的无人机目标跟踪研究

针对由于CamShift算法跟踪特征单一引起的对颜色相似目标或背景的干扰和对目标遮挡情况较敏感的问题,提出了一种CamShift融合局部特征匹配的无人机目标跟踪算法。实验表明,局部特征匹配算法中BRISK匹配算法在特征检测和特征描述阶段都表现出了较好的性能,融合CamShift算法和BRISK算法的目标跟踪算法在能保证目标跟踪的实时性要求的前提下,改善了CamShift对颜色相似目标或背景的干扰的敏感性,同时增强了对目标遮挡鲁棒性。该方法通过颜色特征和局部特征的共同定位目标,实现了目标的准确跟踪。     

加权的超像素级时空上下文目标跟踪

目标跟踪是计算机视觉中的热点问题,而目标运动的复杂背景、光照变换和尺度变化等因素大大的影响着目标跟踪的准确性。总结当前比较热门的几种跟踪算法的优缺点,针对时空上下文算法的不足提出了改进方法：加权的超像素级时空上下文目标跟踪算法（weighted super pixel level spatio-temporal context,WSSTC）。该算法利用像素的特征信息对目标上下文区域进行聚类,形成超像素级区域,并通过时间上下文中超像素块特征的相似性,对空间上下文进行加权处理,建立了超像素级的目标外观模型。实验结果表明,加权的超像素级时空上下文目标跟踪算法在目标跟踪中具有更好的准确性和鲁棒性。     

基于上下文感知与自适应响应融合的相关滤波跟踪算法

针对当前相关滤波跟踪算法在抗背景干扰、响应融合方式以及模型更新策略上的不足,提出一种基于上下文感知与自适应响应融合的相关滤波跟踪算法.通过引入上下文感知技术,提高算法在背景杂波及遮挡等跟踪场景下的鲁棒性;通过研究HOG特征和颜色直方图特征二者响应图和响应值的特点,提出一种自适应响应融合方法,提升融合响应图的可靠性;在模型更新方面,采用了高置信度模型更新策略来减轻传统模型更新策略中模型污染及跟踪漂移的问题.实验结果表明,本文算法在OTB50数据集上达到了74.7%的跟踪精度,跟踪成功率为54.8%,均优于对比的主流相关滤波跟踪算法,并且在背景杂波、光照变化、遮挡、运动模糊等复杂跟踪场景中具有较好的跟踪精度与鲁棒性.     

一种鲁棒的时空上下文快速跟踪算法

为解决时空上下文快速跟踪算法在目标处于复杂背景及被遮挡情况下容易产生漂移的问题,提出了一种鲁棒的时空上下文快速跟踪算法,通过引入Kalman滤波器,对当前帧中的目标在下一帧中的位置进行估计和预测,并将其作为下一帧时空上下文快速跟踪算法的迭代起点。对不同视频序列的跟踪结果表明,与时空上下文快速跟踪算法和多示例学习跟踪算法相比,提出的算法在目标被遮挡及复杂背景情况下能够更准确地跟踪到目标,并且满足实时性要求。     

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题,提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先,设计MS-ResNet以提取目标多尺度特征;然后,在具有正交特性的多通道响应图上设计像素二分类模块,从而进一步精确细化分类和回归分支的结果;同时,为了提高像素分类精度,使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征;最后,在像素分类基础上生成贴合目标实际大小的旋转跟踪框,从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比,成功率与准确率分别提升了5个百分点、2.7个百分点,同时速度为67.5 FPS,满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性,能有效应对UAV跟踪任务。     

基于孪生区域候选网络的目标跟踪模型

为了解决被跟踪目标因尺度、形状变化导致的跟踪效果变差的问题,本文提出一种基于孪生区域候选网络的目标跟踪模型,对孪生区域候选网络(SiamRPN)优化,升级特征提取基准网络,采取多层特征融合模式,引入注意力机制模块增强位置特性和通道特性,并应用检测领域提出的GA-RPN替换原有的RPN(区域候选网络).OTB2015和VOT2018数据集的实验结果显示,本文模型对OTB2015数据集成功率为0.678,准确率为0.882,与SiamRPN相比分别提高了3.7%,6.2%;对VOT2018数据集检测帧率为31FPS,平均重叠期望为0.402,与SiamRPN相比提高了4.9%,测试结果表明本文模型具备较高的跟踪精度和较强的抗干扰性,满足实时性需求.     

基于互注意力指导的孪生跟踪算法

针对传统孪生网络目标跟踪算法在相似物干扰、目标形变、复杂背景等跟踪环境下无法进行鲁棒跟踪的问题,提出了注意力机制指导的孪生网络目标跟踪方法,以弥补传统孪生跟踪方法存在的性能缺陷.首先,利用卷积神经网络ResNet50的不同网络层来提取多分辨率的目标特征,并设计互注意力模块使模板分支与搜索分支之间的信息能够相互流动.然后...     

无人机对船舶目标的改进CamShift跟踪算法研究

针对由于CamShift算法跟踪特征单一引起的对颜色相似目标或背景的干扰和对目标遮挡情况较敏感的问题,提出了一种基于改进CamShift融合局部特征匹配的无人机目标跟踪算法.首先,采用基于 H分量和LBP二维模板的改进CamShift目标跟踪算法以提高对相似目标干扰的鲁棒性;其次,在能保证目标跟踪的实时性要求的前提下,融合局部特征匹配算法中的BRISK匹配算法,可有效改善CamShift对颜色相似目标或背景的干扰的敏感性,同时增强对目标遮挡鲁棒性.实验结果表明,该改进算法通过颜色特征和局部特征的共同定位目标,实现了目标的准确跟踪.     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。     

无人机目标实时自适应跟踪系统

随着无人机(unmanned aerial vehicle,UAV)在航拍、空中侦察等相关领域被广泛应用,对于无人机的智能化需求逐渐提高.目标跟踪具有信息量大、实时性高等优点,能够为无人机的智能飞行提供大量且实时的外部信息.进行低开销、低功耗的无人机目标跟踪系统的研究,对无人机智能化进程的加速具有深远意义.为更好解决跟...     

基于注意力特征融合的无人机多目标跟踪算法

随着无人机技术的不断发展,无人机多目标跟踪已成为无人机应用的关键技术之一.针对无人机视频中的复杂背景干扰、遮挡、视点高度和角度多变等问题,提出一种基于注意力特征融合的无人机多目标跟踪算法.首先,将改进的卷积注意力模块引入残差网络,建立三元组注意力特征提取网络;其次,在特征金字塔网络的结构上加入新的特征融合通道,设计多尺度特征融合模块,增强模型对多尺度目标的特征表达能力;最后,根据目标的重识别特征匹配与检测框匹配得到目标轨迹.仿真实验结果表明,该算法可有效提升无人机多目标跟踪的精度,具有较好的鲁棒性.     

基于无锚点机制与在线更新的目标跟踪算法

SiamRPN这种基于锚点机制的跟踪算法对目标尺度变化、剧烈形变以及旋转等问题鲁棒性不强,针对此问题提出了一种基于无锚点机制与在线更新的目标跟踪算法。提出了一种多层融合的特征提取网络,该网络能充分利用图像的结构与语义信息;采用了一种无锚点机制,使网络能够直接预测出目标区域内采样点到目标区域边界的值,有效避免了锚点机制的相关缺点;在主干网络的基础上添加了在线更新模块,利用最新的跟踪结果进行在线训练,使算法能更好地预测未在训练集中出现的目标,并进一步适应目标的变化。相较于SiamRPN算法,改进算法在OTB100数据集上,成功率与准确率分别提高了0.062与0.065,对目标的尺度变化,剧烈形变以及旋转等问题表现出了更好的鲁棒性。