RGBT双模态加权相关滤波跟踪算法

与基于可见光的单模态跟踪算法相比,基于可见光/热红外(RGB-Thermal, RGBT)的双模态跟踪算法对光照变化具有更强的鲁棒性。但在实际应用场景中,双模态跟踪算法仍然会受到局部遮挡目标形变的影响。为了解决以上问题,本文提出了一种可见光/热红外RGBT双模态加权相关滤波跟踪算法。该算法首先利用可见光图像和热红外图像联合求解权重图,然后利用权重图引导相关滤波器求解过程,最后根据权重图推断前景目标是否被遮挡。该算法在公开数据集RGBT234上的结果表明,本文提出的RGBT双模态加权相关滤波跟踪算法能够有效处理目标局部遮挡和目标畸变等情况,实现复杂场景下鲁棒持续的目标跟踪。      

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于深度特征表达与学习的视觉跟踪算法研究

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,将深度学习引入视觉跟踪领域,提出一种基于多层卷积滤波特征的目标跟踪算法。该算法利用分层学习得到的主成分分析(PCA)特征向量,对原始图像进行多层卷积滤波,从而提取出图像更深层次的抽象表达,然后利用巴氏距离进行特征相似度匹配估计,进而结合粒子滤波算法实现目标跟踪。结果表明,这种多层卷积滤波提取到的特征能够更好地表达目标,所提跟踪算法对光照变化、遮挡、异面旋转、摄像机抖动都具有很好的不变性,对平面内旋转也具有一定的不变性,在具有此类特点的视频序列上表现出非常好的鲁棒性。     

基于多层卷积特征的自适应决策融合目标跟踪算法

针对目标快速运动、遮挡等复杂视频场景中目标跟踪鲁棒性差和跟踪精度低的问题,该文提出一种基于多层卷积特征的自适应决策融合目标跟踪算法(ASFTT)。首先提取卷积神经网络(CNN)中帧图像的多层卷积特征,避免网络单层特征表征目标信息不全面的缺陷,增强算法的泛化能力;使用多层特征计算帧图像相关性响应,提高算法的跟踪精度;最后该文使用自适应决策融合算法将所有响应中目标位置决策动态融合以定位目标,融合算法综合考虑生成响应的各跟踪器的历史决策信息和当前决策信息,以保证算法的鲁棒性。采用标准数据集OTB2013对该文算法和6种当前主流跟踪算法进行了仿真对比,结果表明该文算法具有更加优秀的跟踪性能。     

基于图像签名算法的视觉目标跟踪算法北大核心CSCD

针对视觉目标跟踪算法中存在的快速运动、尺度变化、形变和遮挡问题,提出基于图像签名算法的视觉目标跟踪算法。该算法以相关滤波算法为基础,通过多种特征构建目标的外观模型,提高了算法的跟踪精确度和稳健性;为了解决严重遮挡情况下的目标重定位问题,利用图像签名算法计算图像的稀疏显著性区域,获取候选目标的位置,通过分类器对候选目标进行重排名,实现目标重定位;采用尺度池策略和自适应模板更新策略,解决跟踪中的尺度变化问题和跟踪漂移问题。利用标准数据集测试所提算法的性能,结果表明,所提算法在跟踪成功率和精确度上均优于传统的相关滤波算法,能较好地解决快速运动、尺度变化、形变和遮挡情况下的目标跟踪问题。     

跟踪学习检测算法在动态图像融合目标跟踪中的应用

本文利用跟踪学习检测(Tracking-Learning-Detection,TLD)算法能够对目标进行长期的持续跟踪的优点,对动态图像序列中的目标进行跟踪。采用了目标被遮挡这种困难情形的图像数据库进行了实验。通过对数据库中的可见光、红外和加权平均融合图像序列的目标跟踪,结果表明,TLD能够对目标进行持续跟踪,即使在可见光下跟踪失效也能够通过红外图像的弥补,从而使跟踪效果达到预期的要求。     

一种易于初始化的类卷积神经网络视觉跟踪算法

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,基于主成分分析(PCA)和卷积神经网络(CNN),提出一种易于初始化的类CNN提取深度特征的视觉跟踪算法。该算法首先利用仿射变换对原始图像进行处理,然后对归一化尺寸的图像进行分层PCA学习,将学习得到的PCA特征向量作为CNN结构中的各阶滤波器,完成特征提取网络的初始化,再利用特征提取网络获取目标的深层次表达。最后结合粒子滤波,利用一个简单的逻辑回归分类器通过分类估计实现目标跟踪。结果表明,利用这种易于初始化的CNN提取到的深度特征能够有效地区分目标和背景,具有很好的可区分性,提出的视觉跟踪算法对光照变化、尺度变化、遮挡、旋转和摄像机抖动等都具有良好的适应性,在许多视频序列上表现出了较好的鲁棒性和准确性。     

基于BRISK和CamShift的鲁棒目标跟踪研究

在CamShift目标跟踪的框架下,提出了基于BRISK特征匹配和CamShift的目标跟踪方法,该方法通过颜色特征和局部特征共同定位目标,从而实现目标准确跟踪。在保证跟踪实时性的前提下,该方法改善了CamShift算法在目标跟踪过程中对背景、尺度、旋转和遮挡变化的敏感性和目标跟踪的特征单一性。实验对比结果表明,该改进方法较单独基于特征匹配的目标跟踪方法,其快速性有很大提高,较CamShift跟踪方法在目标尺度变化、旋转变化、光照变化、背景变化和遮挡变化条件下的鲁棒性更强,同时增强了两种算法的跟踪准确性。     

遮挡情况下多尺度压缩感知跟踪

针对现有在线学习跟踪算法中目标在线模型更新错误导致跟踪漂移的问题,提出一种在线模型自适应更新的目标跟踪算法:首先利用压缩感知技术的高效性,对多尺度图像特征进行降维,并提取多尺度样本来实现目标尺度自适应更新,再由提取的正负样本低维图像特征训练朴素贝叶斯分类器,利用分类器输出置信度最大处目标样本完成目标跟踪,并依据当前目标置信度来自适应在线模型更新速率,减少了遮挡带来的目标错误更新。实验表明:该方法在尺度变化、局部和全局遮挡、光照变化等情况下均能完成鲁棒跟踪,平均跟踪成功率较原始压缩感知跟踪算法提高了20.3%。     

基于分水岭分割和尺度不变特征点的多目标全自主跟踪算法

该文针对多目标的鲁棒跟踪问题,设计了一种基于图像分水岭分割和尺度不变特征变换(SIFT)特征点的多目标全自主跟踪算法。为规避图像平坦区域,提出在原图上叠加规则坡度图的思想,并在浮点域进行一定尺度高斯模糊处理,将区域极小值点作为种子点完成分水岭分割,并将极值点作为目标特征点,通过前后帧分水岭映射生成特征点短时轨迹,自动检测运动目标。之后依据目标所处状态(是否发生遮挡)和分水岭分割图建立、更新目标SIFT特征池,结合分水岭映射、SIFT特征池匹配完成对目标的鲁棒跟踪。实验结果表明,该算法能有效完成视频中多目标的持续跟踪,并对目标遮挡有较好的鲁棒性。     

改进的KCF红外空中目标跟踪方法

针对红外空中目标跟踪中遮挡导致的跟丢问题,结合核相关滤波跟踪算法(KCF)无法跟踪尺度的缺点,提出一种基于KCF的红外空中目标跟踪方法。该方法借助KCF估计的目标位置,增加Sobel算子提取目标扩展区域的边缘信息,从而获取目标尺度并进行二次定位。然后,判断目标是否受遮挡或跟丢,采用帧差法重新检测目标,确保目标的持续跟踪。在7个视频序列上对所提的算法进行了实验,结果显示,所提算法能够有效计算尺度,验证了多种环境下跟踪的有效性。平均跟踪速度达到44 f/s,能够满足实时性要求。因此,本文提出的方法对于红外空中目标的跟踪具有一定的实用意义。     

Video object tracking using adaptive Kalman filter

In this paper, a new video moving object tracking method is proposed. In initialization, a moving object selected by the user is segmented and the dominant color is extracted from the segmented target. In tracking step, a motion model is constructed to set the system model of adaptive Kalman filter firstly. Then, the dominant color of the moving object in HSI color space will be used as feature to detect the moving object in the consecutive video frames. The detected result is fed back as the measurement of adaptive Kalman filter and the estimate parameters of adaptive Kalman filter are adjusted by occlusion ratio adaptively. The proposed method has the robust ability to track the moving object in the consecutive frames under some kinds of real-world complex situations such as the moving object disappearing totally or partially due to occlusion by other ones, fast moving object, changing lighting, changing the direction and orientation of the moving object, and changing the velocity of moving object suddenly. The proposed method is an efficient video object tracking algorithm.     

基于自适应响应融合的相关滤波红外目标跟踪

红外目标跟踪在军事和民用视频监控领域有重要的研究意义,但受热成像原理限制,红外目标分辨率低、对比度低、纹理信息缺失。针对红外目标特征信息量少导致跟踪性能较低的问题,提出一种基于自适应响应融合的相关滤波跟踪算法。该算法基于连续卷积运算的相关滤波跟踪框架,通过构造视觉显著性特征来增强目标外观描述,并结合对冲决策理论对由不同特征计算得到的多个滤波响应进行自适应融合,最终根据融合响应预测目标中心位置。此外,通过尺度滤波器来实现目标的尺度预测,得到完整的跟踪结果。在公开的红外视频数据集VOT-TIR2016进行测试,实验结果表明:与同类算法相比,该算法表现出更高的跟踪精确度和鲁棒性。     

Learning multiple instance deep representation for objects tracking

Object tracking has been widely used in various intelligent systems, such as pedestrian tracking, autonomous vehicles. To solve the problem that appearance changes and occlusion may lead to poor tracking performance, we propose a multiple instance learning (MIL) based method for object tracking. To achieve this task, we first manually label the first several frames of video stream in image level, which can indicate that whether a target object in the video stream. Then, we leverage a pre-trained convolutional neural network that has rich prior information to extract deep representation of target object. Since the location of the same object in adjacent frames is similar, we introduce a particle filter to predict the location of target object within a specific region. Comprehensive experiments have shown the effectiveness of our proposed method.     

引入显著特征空间的抗遮挡红外目标跟踪

针对红外目标跟踪过程中目标纹理信息缺乏,与背景灰度呈现强耦合性,特别是在遮挡情况下目标特征信息链断裂,特征信息无法延续的实际跟踪问题,提出了基于显著特征空间的抗遮挡跟踪算法。首先通过分析红外目标特性,利用多尺度显著性、对比度和信息熵等信息生成显著特征向量空间,结合超像素特征距离和空间距离对区域进行聚类融合,突出目标区域,生成显著图。然后融合显著区域和原图,生成多个目标候选区作为跟踪算法输入。最后通过目标的空间分布场矩阵对全局的候选区域进行匹配,同时建立遮挡检测机制,基于显著区连通区变化和特征相似度变化曲线对遮挡的起始进行判断,结合遮挡判定设置模型更新策略。在不同红外测试集上的实验结果表明:所提算法在遮挡情况下也能达到较好的跟踪效果,有效增强了跟踪算法的鲁棒性。     

基于双步相关滤波的目标跟踪算法

针对目标跟踪中因目标遮挡、目标出视野导致的跟踪失败问题,为提高相关滤波目标跟踪算法的鲁棒性,提出了一种基于双步相关滤波的目标跟踪算法。首先根据方向梯度直方图特征不同单元大小目标表征的特点,提出双步相关滤波目标跟踪框架,在提高目标跟踪精度的同时保证了跟踪速度;然后融合多种目标特征,来获得目标更加全面的特征表征,以提高目标跟踪的鲁棒性;最后提出基于目标跟踪置信度指标的目标模板自适应更新策略,来解决目标遮挡时目标模板被污染的问题。实验在OTB100标准目标跟踪数据集上进行验证,通过与其他跟踪算法进行比较结果表明,该算法与其中最优跟踪算法相比,目标跟踪精度提升6.0%,目标跟踪成功率提升5.5%,平均跟踪速度为27.4 fps,保证了目标跟踪的实时性。实际目标跟踪应用中,在目标严重遮挡等情况下,该算法仍然可以对目标进行稳定精确地跟踪。     

一种引入预测机制的时空上下文跟踪算法

针对时空上下文(STC)算法在抗遮挡目标跟踪中的不足,提出使用上下文模型相似度作为判别遮挡的条件和改进上下文模型更新方程的修正系数,同时采用预测算法修正搜索区域,构建了一种基于时空上下文跟踪的抗遮挡目标跟踪算法,并通过标准目标跟踪视频库对原算法和改进后算法的跟踪性能进行仿真和对比。实验证明,在原算法的基础上提高了抗遮挡跟踪的鲁棒性,在一些图像序列中跟踪成功率的提高最高可达30%。