基于二阶池化特征融合的孪生网络目标跟踪算法

为提升基于孪生网络目标跟踪算法的特征表达能力,获得更好的跟踪性能,提出了一种轻量级的基于二阶池化特征融合的孪生网络目标跟踪算法。首先,使用孪生网络结构获取目标的深度特征;然后,在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力,以获取目标的二阶池化特征和通道注意力特征;最后,将目标的深度特征、二阶池化特征和通道注意力特征进行融合,使用融合后的特征进行互相关操作,得到地响应图能很好地区分目标和背景,提高跟踪模型的判别能力,改善目标定位的精度,从而提升跟踪性能。所提算法使用Got 10k数据集进行端到端的训练,并在数据集OTB100和VOT2018上进行验证。实验结果表明,所提算法与基准算法相比,跟踪性能取得了显著提升：在OTB100数据集上,精确度和成功率分别提高了7.5%和5.2%;在VOT2018数据集上,预期平均重叠率(EAO)提高了4.3%。     

基于模板更新的深层孪生网络跟踪算法

针对跟踪过程中因尺度变化、遮挡及运动模糊等造成的目标定位不准确问题,在SiamFC(fully-convolutional siamese network)的跟踪框架基础上提出了一种具有高置信度模板更新机制的深层孪生网络目标跟踪算法.首先,主干网络采用ResNet-50残差网络进行特征提取,并融合多层特征图进行目标预测;其次,为避免模板频繁更新带来的模板漂移问题,构建了高置信度的模板更新模块.在OTB100数据集上的实验结果表明,相比基准算法,文中算法的跟踪成功率和精确度分别提高了3.4%和2.6%;在多种挑战因素下的对比实验表明,文中算法可以较好地抵抗目标遮挡、尺度变化、运动模糊等多种复杂因素带来的影响,有很好的鲁棒性.     

融合高斯混合模型和深度学习的目标跟踪

目标跟踪是计算机视觉的关键技术,但快速运动所导致的目标运动模糊会影响跟踪的精度.提出融合高斯混合模型和深度学习的目标跟踪算法,利用高斯混合模型对目标视频进行建模,在卷积神经网络中提取浅层和深层的图像特征,将两个特征的响应值融合后实现跟踪目标的定位.首先,根据高斯混合模型建立样本数据集,利用概率密度函数筛选数据,依据正态分布获得对应的高斯分量;其次,在深度学习框架下对高斯混合后获得的样本数据提取浅层和深层特征;最后,将提取的浅层与深层特征响应值进行融合,并更新目标模型,实现目标跟踪定位.该算法在VOT-2016公开的数据集进行实验,与6个视频跟踪算法对比分析.实验表明,所提的算法表现出较好的性能,特别是在快速运动的评价指标中,该算法的抖动模糊精度比ECO算法提高6. 25%.     

生成式与判别式视觉目标跟踪算法综述

视觉目标跟踪是对目标位置、速度、运动轨迹等信息检测与预测技术。该技术融合了计算机视觉、图像处理、深度学习等众多领域技术。本文将对目标跟踪算法发展情况以及研究现状进行梳理。首先介绍目前常用的基准数据集;其次指出生成式算法与判别式算法差异;再对传统的生成式算法进行简单的分析总结;随后围绕算法框架分别介绍相关滤波框架、深度学习框架、孪生网络框架、Transformer框架的判别式算法并分析不同算法的优缺点;最后分析目前动态目标跟踪存在的问题并展望。     

引入全局上下文模块和高效注意力机制的车辆跟踪算法

孪生全卷积神经网络目标跟踪算法(SiamFC)近些年成为车辆跟踪领域的研究热点.但该算法缺乏对目标车辆的深层特征提取和整体感知,在背景复杂、低分辨率、光照变化的情况下容易跟丢.提出使用深度残差网络ResNet50作为主干网络,根据跟踪模型特性,从剪裁特征图、调整网络总步长和嵌入高效通道注意力模块三方面对其进行优化,高效...     

三联神经网络与区域自适应策略融合的目标跟踪方法

为解决目标跟踪过程中快速运动模糊、背景相似干扰、目标状态变化等问题，基于孪生网络跟踪算法，提出三联区域候选神经网络（TripleRPN）算法与跟踪区域自适应策略（TAA）相融合的目标跟踪方法（TAA+TripleRPN）.三联区域候选神经网络根据当前跟踪结果实时更新网络匹配模板，提高了跟踪器对目标状态变化的敏感性.通过区域自适应策略，根据区域候选回归网络分类分支的得分在网络的两组输出间择优选择，提高算法长时跟踪的鲁棒性.针对背景相似干扰和目标状态变化的问题时，TAA+TripleRPN跟踪器能达到更好的跟踪性能.在OTB2015数据集上，算法的AUC达到66.31%，CLE达到88.28%.在实际场景中实现验证与应用，跟踪效果良好.      

基于无锚的轻量化孪生网络目标跟踪算法

针对运算资源受限条件下难以实现高精度、高帧率跟踪的问题,提出一种基于无锚的轻量化孪生网络目标跟踪算法.首先使用修改的轻量级网络MobileNetV3作为主干网络提取特征,在保持深度特征表达能力的同时减小网络的参数量和计算量;然后对传统互相关操作,提出图级联优化的深度互相关模块,通过丰富特征响应图突出目标特征重要信息;最后在无锚分类回归预测网络中,采用特征共享方式减少参数量和计算量以提升跟踪速度.在两个主流数据集OTB2015和VOT2018上进行对比实验,实验结果表明,该算法相比于SiamFC跟踪器有较大的精度优势,并且在复杂跟踪场景下更具鲁棒性,同时跟踪帧率可达175帧/s.     

一种Anchor-Free的联合模型车辆多目标跟踪算法马利陈诗煊牛斌

针对现有车辆跟踪算法不能很好地平衡效率与精度,存在较多ID切换、误检的问题,提出一种Anchor-Free的联合模型车辆多目标跟踪算法,通过把Anchor-Free可变卷积深度特征融合网络引入联合模型,在联合学习车辆目标检测和重识别特征嵌入的基础上,以轨迹关联的方式,完成车辆多目标跟踪任务.所提出的算法在UA-DETRAC车辆数据集及KITTI-tracking数据集组合成的联合数据集上进行训练和测试,结果表明,提出的车辆多目标跟踪算法有效减少了ID切换、误检问题的出现,网络结构更简单,算法运行效率更高.     

基于深度聚合高分辨率网络的多目标跟踪

为了提高多目标跟踪性能，在单个网络中结合目标检测和重识别任务的特点，提出了一种基于深度聚合高分辨率网络的多目标跟踪算法.跟踪器通过DLA网络提取抽象的语义特征图，并将其输入到改进的轻量型HRNet网络中，以高分辨率聚合目标的多尺度特征，同时引入重识别分支提高匹配精度.经由传统的相似度计算、运动预测和数据关联阶段，完成跟踪流程.通过消融实验研究了不同融合层组合和特征维度对跟踪性能的影响，并在基准数据集上与当前跟踪器的各项性能指标进行比较.结果表明，所提算法以简洁的主干网络输出高分辨率的深层特征，兼顾了跟踪精度和执行效率.跟踪器的精度和识别率较高，且具备实时跟踪性能.     

孪生压缩激励全卷积网络的目标跟踪方法

为提升目标跟踪的准确性并保证其实时性, 提出一种基于改进孪生全卷积网络的新方法——孪生压缩激励全卷积网络(siamese squeeze and excitation fully convolutional networks, Siam-SEFC). Siam-SEFC通过添加具有少量参数的压缩激励网络结构融合空间通道信息, 为跟踪对象添加空间信息, 并通过调整训练数据尺度进行尺度不定的数据增强, 提取多尺度特征, 有效提升目标跟踪的准确性. 为提升多尺度训练速度, 网络采用单一尺度预训练的权重进行初始化. 与MDNet,SENet,DAT三种算法相比, Siam-SEFC在保证目标跟踪准确性的同时具有实时性； 而与Siamese-FC相比, Siam-SEFC跟踪准确性提升了2.2%, 参数量仅增加1.01%, 且未损失实时性, 验证了改进方案的有效性.     

一种时空特征融合的鲁棒视觉跟踪算法

针对视觉跟踪在复杂背景下因外观特征表征不足等原因造成的目标丢失问题,结合深度光流网络估计的运动特征,文中提出了一种基于时序信息和空间信息自适应融合的视觉跟踪算法。该算法在相关滤波跟踪框架基础上,引入递归全对场变换（RAFT）深度网络估计光流以获取目标的时序信息,提取目标的CN特征和HOG特征获取空间信息,然后融合目标时序信息和空间信息,以增强对目标时空特征的表征能力;其次,建立了一种跟踪结果质量判别机制,实时调整时序信息在融合过程中的权重, 有效提升了算法在复杂动态环境下的泛化能力。为评估算法的有效性,在OTB100和VOT2019两个数据集上进行了测试,实验结果表明,与主流视觉跟踪算法相比,所提算法的跟踪性能获得了显著提升,尤其在运动模糊、快速运动等属性的视频中,具有明显优势。     

多特征融合的长时间目标跟踪算法

针对长时间运动目标跟踪中因目标严重形变、短暂离开视线、遮挡而引起的跟踪漂移或丢失问题,提出一个多特征融合的长时间目标跟踪算法.首先,提取图像的方向梯度直方图和纹理特征后,训练两个独立的特征模板,线性加权融合得出滤波模型.其次,设计一个存放高置信度跟踪结果的标签库,记录跟踪结果的位置信息、置信度、使用次数.最后,在跟踪漂移或失败时,结合EdgeBox产生的目标候选框,并快速从标签库中获取重新跟踪的初始帧,在线训练更新滤波模型,从而使算法在长时间跟踪时保持较高的鲁棒性和高效性.在公开数据集上与流行算法进行对比测试,证明该算法在距离准确率、跟踪成功率和鲁棒性方面优于其他对比算法.研究结果表明,多特征融合方法能有效解决遮挡、颜色相近、形变等复杂场景下的长时间目标跟踪问题.     

基于轻量卷积神经网络的目标跟踪改进算法

针对现有目标跟踪算法在跟踪过程中遇到目标形变、遮挡等干扰属性导致不能对目标进行有效跟踪的问题，提出一种基于轻量卷积神经网络（lightweight convolutional neural network,LWCN）的目标跟踪改进算法。首先利用改进的卷积神经网络对模板图片和跟踪图片进行特征提取，并将不同层次的特征图充分利用，解决了随着网络加深而导致部分特征丢失问题；其次融合CN特征和HOG特征作为相关滤波器中目标特征表达，增强在不同干扰属性下的目标描述能力；再次通过最大响应值对当前目标位置和目标尺度进行判断，并决定是否更新滤波器模板；最后将LWCN算法与其他算法在OTB50、OTB100、UAV123等数据集上进行性能对比实验。实验结果表明，LWCN算法具有较好的稳定性和实时性，并在遇到形变、遮挡、光线和背景变化时，跟踪结果优于大部分算法。     

基于深度特征与抗遮挡策略的运动目标跟踪

为了进一步提高复杂场景下的目标跟踪精度与鲁棒性,本文提出了基于深度特征与抗遮挡策略的运动目标跟踪算法,首先利用深层卷积神经网络提取出目标的深度卷积特征以代替传统的手工特征,然后将深度卷积特征融入传统的核相关滤波跟踪框架,充分利用深度特征描述能力强和相关滤波算法跟踪效率高的优势,同时采用高置信度抗遮挡更新策略来更新滤波器,利用融合特征训练尺度相关滤波器,以便更加精准预测目标的位置,提高算法抗遮挡能力.论文对数据集OTB-100视频序列中有遮挡问题的序列进行了测试,并与Deep STRCF、DSST、SRDCF、COT和ECO等算法进行比较,实验结果表明,本文所提算法在目标尺度变化、背景干扰和遮挡等复杂背景下具有更高的跟踪精度与成功率,跟踪效果最佳.     

基于孪生网络的目标跟踪研究综述

近年来,基于孪生网络的目标跟踪算法由于在跟踪精度和跟踪效率之间能够实现良好的平衡而备受关注。通过对基于孪生网络的目标跟踪算法的文献进行归纳,对现有孪生网络目标跟踪算法进行了全面总结,对孪生网络的2个分支结构进行了讨论。首先,介绍了基于孪生网络目标跟踪的基本架构,重点分析了孪生网络中主干网络的优化,以及主干网络的目标特征提取问题。其次,对目标跟踪过程中的分类和回归2个任务展开讨论,将其分为有锚框和无锚框2大类来进行分析研究,通过实验对比,分析了算法的优缺点及其目标跟踪性能。最后,提出未来的研究重点:1)探索背景信息训练,实现场景中背景信息传播,充分利用背景信息实现目标定位。2)目标跟踪过程中,目标特征信息的更加丰富化和目标跟踪框的自适应变化。3)从帧与帧之间全局信息传播,到目标局部信息传播的研究,为准确定位跟踪目标提供支撑。     

一种分解式模糊聚类粒子滤波的WSN多目标跟踪方法

针对无线传感器网络环境下的多目标跟踪时近相距和轨迹交叉目标容易出现目标丢失和跟踪混淆的问题,提出一种分解式模糊聚类粒子滤波(DFCM—RPF)的多目标跟踪方法。把多传感器数据融合和多目标跟踪问题分解为单传感器数据融合和单目标跟踪问题,先对传感器节点量测用基于跟踪门限算法去除杂波,在各传感器节点的观测空间分别建立模糊聚类算法进行数据关联并最优融合,然后用正则化粒子滤波预测目标状态。仿真表明,DFCM—RPF算法与原FCM多目标跟踪方法相比,航迹关联正确率由85%提高到100%,目标预测位置的RMSE由4.437 7 m下降到1.307 3 m,DFCM—RPF算法体现了较好的跟踪性能,并集数据关联、数据融合和目标跟踪于一体,大大降低WSN多目标跟踪问题的复杂性和计算量。     

基于扩张卷积特征自适应融合的复杂驾驶场景目标检测

针对复杂驾驶场景下的目标检测问题,提出一种基于扩张卷积特征自适应融合的目标检测算法.采用单阶段目标检测网络RetinaNet作为基本框架,其包含卷积特征提取、多尺度特征融合以及目标分类与回归子网.为提高网络对多尺度特征的提取能力,设计了基于不同扩张率组合的残差卷积分支模块,以获取不同感受野下的目标特征图;然后,将不同尺度下的特征通过网络自适应学习的参数融合后输出,用于后续的目标预测;最后在大规模且多样化的复杂驾驶场景数据集BDD100K上进行实验.结果 表明,利用扩张残差卷积分支模块与特征自适应融合算法能够分别将网络的平均精度均值由0.330提升至0.338与0.344,并在采用扩张卷积特征自适应融合的情况下达到了0.349.所提算法能够有效提升目标检测算法在复杂驾驶场景下的检测性能.     

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。     

基于深度学习的视觉目标跟踪算法

提出一种基于深度学习的视觉单目标跟踪方法.该方法在统一的网络框架下处理在线视觉单目标跟踪问题,在获取输入视频帧的基础上,通过结合贝叶斯损耗层的深度卷积神经网络来估计正负样本集的概率密度分布并计算出所有目标候选位置的得分,继而利用贝叶斯分类确认目标位置.针对正样本集个数有限的问题,该网络采用先对通用的目标特征进行预离线训练,然后通过多个步骤进行微调,在线微调主要是对每一帧中的图像外形特征进行学习.此外,该方法采用两级迭代算法自适应地更新网络参数并保持目标/非目标地区的概率密度.仿真实验表明了所提算法的有效性和可靠性.     

提高Mean-shift跟踪算法性能的方法

针对Mean-shift跟踪算法,在目标色彩特征不突出,或受到光照、阴影等影响,或有干扰物体靠近目标时,很容易发生跟踪错误等问题,采用色彩融合模版和位置预测来提高Mean-shift跟踪算法的性能.在对图像的RGB三色进行简单的线性融合的基础上,提出了根据前景和背景直方图的相似度函数去选取目标特征最突出的融合图像的算法,并据此建立3个目标模版.对目标的位置先进行卡尔曼预测,再用Mean-shift算法对3个模板分别进行跟踪,最后融合跟踪结果.实验结果证明,提出的方法能在复杂背景下跟踪目标,并能更好地应付阴影、光线等变化.此外,它能有效地避免相似物体靠近目标或者和目标交错引起的跟踪失败.