采用RGB–D时空上下文模型的多目标遮挡跟踪算法

为了提高实时RGB–D目标遮挡跟踪精确度, 解决多目标遮挡跟踪容易发生模型漂移和跟踪丢失等问题, 本 文提出一种基于RGB–D时空上下文模型的多目标遮挡跟踪算法. 首先获取多目标检测定位区域, 再通过目标时空 上下文特征提取, 建立目标时间上下文模型、目标空间上下文模型构成目标RGB–D时空上下文模型; 然后在跟踪器 判别跟踪状态时通过计算时间一致性进行颜色和深度特征自适应融合确定目标在当前帧位置; 最后, 当跟踪器判 别多目标遮挡时引入深度概率, 利用深度概率信息特征进行约束, 通过最大后验概率(MAP)关联模型有效解决目标 遮挡跟踪问题. 在公用数据集clothing store dataset和princeton tracking benchmark dataset上进行定性对比实验和定量 结果分析表明, 本文提出的算法具有良好的遮挡跟踪性能, 能较好解决多目标遮挡跟踪问题, 提高目标遮挡跟踪的 精确性和鲁棒性.     

自适应目标变化的时空上下文抗遮挡跟踪算法

在传统时空上下文目标跟踪过程中,为了自适应目标尺度变化,以及解决目标跟踪失败的跟踪无法恢复问题,提出了一种自适应目标变化的时空上下文抗遮挡跟踪算法 STC ALD。首先,在初始框采取TLD中值流算法初始化跟踪点,并利用F B误差算法预测下一帧跟踪点位置。其次利用STC算法计算得到目标框并计算其保守相似度, 当超过设定阈值即跟踪有效,将跟踪点与目标框进行运动相似度计算以便进行窗口调整。相反,利用检测器进行检测,对单一聚类框直接输出,而对多个检测聚类框学习其时空上下文模型,利用当前空间模型逐个计算其置信度,输出置信值最大者。最后,进行在线学习更新分类器的相关参数。对不同的测试视频序列进行实验,结果表明,STC ALD算法能够适用于目标尺度变化、遮挡等复杂情景下的跟踪,具有一定的鲁棒性。     

采用RGB–D时空上下文模型的多目标遮挡跟踪算算法

为了提高实时RGB–D目标遮挡跟踪精确度,解决多目标遮挡跟踪容易发生模型漂移和跟踪丢失等问题,本文提出一种基于RGB–D时空上下文模型的多目标遮挡跟踪算法.首先获取多目标检测定位区域,再通过目标时空上下文特征提取,建立目标时间上下文模型、目标空间上下文模型构成目标RGB–D时空上下文模型;然后在跟踪器判别跟踪状态时通过计算时间一致性进行颜色和深度特征自适应融合确定目标在当前帧位置;最后,当跟踪器判别多目标遮挡时引入深度概率,利用深度概率信息特征进行约束,通过最大后验概率(MAP)关联模型有效解决目标遮挡跟踪问题.在公用数据集clothing store dataset和princeton tracking benchmark dataset上进行定性对比实验和定量结果分析表明,本文提出的算法具有良好的遮挡跟踪性能,能较好解决多目标遮挡跟踪问题,提高目标遮挡跟踪的精确性和鲁棒性.     

基于时空上下文的手势跟踪与识别

针对复杂背景下手势运动过程中出现的手势形态变化、遮挡、光照变化等问题,提出了一种基于时空上下文的手势跟踪与识别方法。使用机器学习方法离线训练手势样本分类器,实现对手势的检测和定位;利用时空上下文跟踪算法对动态手势进行跟踪,同时为了避免跟踪过程中出现的漂移、目标丢失等情况,使用手势检测算法对手势位置信息进行实时校准;根据手势运动轨迹对手势运动进行跟踪与识别。实验表明,提出的方法可以实现对手势运动快速、准确、连续识别,满足人机交互的要求。     

一种鲁棒的时空上下文快速跟踪算法

为解决时空上下文快速跟踪算法在目标处于复杂背景及被遮挡情况下容易产生漂移的问题,提出了一种鲁棒的时空上下文快速跟踪算法,通过引入Kalman滤波器,对当前帧中的目标在下一帧中的位置进行估计和预测,并将其作为下一帧时空上下文快速跟踪算法的迭代起点。对不同视频序列的跟踪结果表明,与时空上下文快速跟踪算法和多示例学习跟踪算法相比,提出的算法在目标被遮挡及复杂背景情况下能够更准确地跟踪到目标,并且满足实时性要求。     

基于局部敏感直方图的时空上下文跟踪

针对当前目标跟踪算法在目标区域光照剧烈变化、长时间遮挡或者平面内旋转时会发生偏移甚至跟丢这一现象,提出了基于局部敏感直方图的时空上下文跟踪算法.该算法以贝叶斯框架为基础,利用生物视觉特性,结合底层灰度特征,基于局部敏感直方图提取光照不变特征,建立目标与背景的统计相关模型来实现跟踪,使跟踪时偏移较小且不会跟丢目标.在对不同视频序列的实验表明:基于局部敏感直方图的时空上下文算法和多示例学习算法相比,在光照变化、平面内旋转或者遮挡时都表现出比较好的跟踪效果且中心误差较小,具有较强鲁棒性.     

基于视觉显著性的均值漂移跟踪算法

为解决突变运动下的目标跟踪问题,提出了一种基于视觉显著性的均值漂移跟踪算法,将视觉注意机制运用到均值漂移跟踪框架中,利用时空显著性算法对视频序列进行检测,生成视觉显著图,从视觉显著图对应的显著性区域中建立目标的颜色特征表示模型来实现运动目标跟踪.实验结果表明:该算法在摄像机摇晃等动态场景下可以较准确检测出时空均显著的目标,有效克服了在运动目标发生丢失和遮挡等情况下跟踪不稳定的问题,具有较强的鲁棒性,从而实现复杂场景下目标较准确的跟踪.     

时空上下文与CamShift相结合的目标跟踪算法

针对传统的时空上下文(STC)目标跟踪算法在完全遮挡或者遮挡面积过大时易导致跟踪失败的问题,提出了一种将STC与CamShift相结合的目标跟踪算法.通过设定一个阈值,来判断时空上下文算法何时进入目标遮挡.当进入遮挡时,利用CamShift算法得到的跟踪中心修正时空上下文模型计算出的跟踪中心,并用修正后的中心更新局部上下文区域.实验结果表明:提出的算法较原有的算法更加适合复杂的场景变化,具有更好的鲁棒性和稳定性.     

联合YOLO和Camshift的目标跟踪算法研究

为了解决传统目标跟踪算法在有遮挡后无法准确跟踪的问题,提出了将YOLO和Camshift算法相联合的目标跟踪算法.基于YOLO网络结构来构建目标检测的模型,在模型构建之前,采用图像增强的方法对视频帧进行预处理,在保留视频帧中足够图像信息的同时,提高图像质量,降低YOLO算法的时间复杂度.用YOLO算法确定出目标,完成对目标跟踪的初始化.根据目标的位置信息使用Camshift算法对后续的视频帧进行处理,并对每一帧的目标进行更新,从而可以保证不断调整跟踪窗口位置,适应目标的移动.实验结果表明,所提的方法能够有效地克服目标被遮挡后跟踪丢失的问题,具有很好的鲁棒性.     

标签一致K-SVD稀疏编码视频跟踪算法

稀疏编码视频目标跟踪算法对目标遮挡问题有一定的适应性,但当目标受背景杂波、光照变化等干扰时,跟踪结果将会出现漂移现象.为此,提出一种基于字典学习和模板更新的视频目标跟踪算法.该算法在构造字典时加入背景模板集,利用标签一致K-SVD方法进行字典学习,同时训练出低维字典和目标背景分类器;在稀疏编码过程中,借助粒子滤波技术,采用分类器分类结果和候选目标直方图构建整体似然模型;最后通过字典学习更新字典、分类器及目标直方图.采用标准数据库中具有挑战性的视频数据进行算法测试实验,结果表明,对于存在遮挡、背景杂波、光照变化、目标旋转和尺度变化等复杂跟踪环境下的目标跟踪,文中算法都能有效地降低跟踪结果存在的漂移现象,且具有较好的稳定性.     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

利用时空特征编码的单目标跟踪网络

目的 随着深度神经网络的出现,视觉跟踪快速发展,视觉跟踪任务中的视频时空特性,尤其是时序外观一致性(temporal appearance consistency)具有巨大探索空间。本文提出一种新颖简单实用的跟踪算法——时间感知网络(temporal-aware network, TAN),从视频角度出发,对序列的时间特征和空间特征同时编码。方法 TAN内部嵌入了一个新的时间聚合模块(temporal aggregation module, TAM)用来交换和融合多个历史帧的信息,无需任何模型更新策略也能适应目标的外观变化,如形变、旋转等。为了构建简单实用的跟踪算法框架,设计了一种目标估计策略,通过检测目标的4个角点,由对角构成两组候选框,结合目标框选择策略确定最终目标位置,能够有效应对遮挡等困难。通过离线训练,在没有任何模型更新的情况下,本文提出的跟踪器TAN通过完全前向推理(fully feed-forward)实现跟踪。结果 在OTB(online object tracking: a benchmark)50、OTB100、TrackingNet、LaSOT(a high-quality benchmark for large-scale single object tracking)和UAV(a benchmark and simulator for UAV tracking)123公开数据集上的效果达到了小网络模型的领先水平,并且同时保持高速处理速度(70帧/s)。与多个目前先进的跟踪器对比,TAN在性能和速度上达到了很好的平衡,即使部分跟踪器使用了复杂的模板更新策略或在线更新机制,TAN仍表现出优越的性能。消融实验进一步验证了提出的各个模块的有效性。结论 本文提出的跟踪器完全离线训练,前向推理不需任何在线模型更新策略,能够适应目标的外观变化,相比其他轻量级的跟踪器,具有更优的性能。     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

时空上下文抗遮挡视觉跟踪

目的 传统的视觉跟踪方法只考虑了目标本身的特征信息提取,忽略了目标周围稠密的上下文信息。一旦目标本身特征信息提取存在困难,很容易导致跟踪失败。为解决上述问题,提出一种时空上下文抗遮挡视觉跟踪算法（STC-PF）。方法 首先,利用目标与局部区域的时空关系学习时空上下文模型;然后,通过上下文先验模型和学习到的时空上下文模型计算置信图;最后,对时空上下文区域进行分块遮挡判别,若遮挡概率小于设定阈值,计算置信图所得最大概率位置即为目标位置;若遮挡概率大于设定阈值,则目标发生遮挡,通过子块匹配和粒子滤波估计目标位置以及运动轨迹,实现不同程度的抗遮挡跟踪。结果 对测试数据集中的图像序列进行实验,结果表明,STC-PF方法的跟踪成功率提高至80%以上;中心误差小于原算法;同时STC-PF算法在提高抗遮挡能力的前提下,运行速度与原算法相当,高于当前流行算法。结论 STC-PF算法能够适用于光照变化、目标旋转、遮挡等复杂情况下的视觉目标跟踪,具有一定的实时性和高效性,尤其是在目标发生遮挡情况下具有很好的抗遮挡能力和较快的运行速度。     

Robust object tracking via online dynamic spatial bias appearance models

This paper presents a robust object tracking method via a spatial bias appearance model learned dynamically in video. Motivated by the attention shifting among local regions of a human vision system during object tracking, we propose to partition an object into regions with different confidences and track the object using a dynamic spatial bias appearance model (DSBAM) estimated from region confidences. The confidence of a region is estimated to re ect the discriminative power of the region in a feature space, and the probability of occlusion. We propose a novel hierarchical Monte Carlo (HAMC) algorithm to learn region confidences dynamically in every frame. The algorithm consists of two levels of Monte Carlo processes implemented using two particle filtering procedures at each level and can efficiently extract high confidence regions through video frames by exploiting the temporal consistency of region confidences. A dynamic spatial bias map is then generated from the high confidence regions, and is employed to adapt the appearance model of the object and to guide a tracking algorithm in searching for correspondences in adjacent frames of video images. We demonstrate feasibility of the proposed method in video surveillance applications. The proposed method can be combined with many other existing tracking systems to enhance the robustness of these systems.     

视觉目标跟踪十年研究进展

视觉目标跟踪指在一个视频序列中,给定第一帧目标区域,在后续帧中自动匹配到该目标区域的任务。通常来说,由于场景遮挡、光照变化、物体本身形变等复杂因素,目标与场景的表观会发生剧烈的变化,这使得跟踪任务本身面临极大的挑战。在过去的十年中,随着深度学习在计算机视觉领域的广泛应用,目标跟踪领域也迅速发展,研究人员提出了一系列优秀算法。鉴于该领域处于快速发展的阶段,文中对视觉目标跟踪研究进行了综述,内容主要包括跟踪的基本框架改进、目标表示改进、空间上下文改进、时序上下文改进、数据集和评价指标改进等;另外,还综合分析了这些改进方法各自的优缺点,并提出了可能的未来的研究趋势。     

时空运动显著性的目标跟踪

目的 在目标跟踪过程中,运动信息可以预测目标位置,忽视目标的运动信息或者对其运动方式的建模与实际差异较大,均可能导致跟踪失败。针对此问题,考虑到视觉显著性具有将注意快速指向感兴趣目标的特点,将其引入目标跟踪中,提出一种基于时空运动显著性的目标跟踪算法。方法 首先,依据大脑视皮层对运动信息的层次处理机制,建立一种自底向上的时空运动显著性计算模型,即通过3D时空滤波器完成对运动信号的底层编码、最大化汇集算子完成运动特征的局部编码;利用视频前后帧之间的时间关联性,通过时空运动特征的差分完成运动信息的显著性度量,形成时空运动显著图。其次,在粒子滤波基本框架之下,将时空运动显著图与颜色直方图相结合,来衡量不同预测状态与观测状态之间的相关性,从而确定目标的状态,实现目标跟踪。结果 与其他跟踪方法相比,本文方法能够提高目标跟踪的中心位置误差、精度和成功率等指标;在光照变化、背景杂乱、运动模糊、部分遮挡及形变等干扰因素下,仍能够稳定地跟踪目标。此外,将时空运动显著性融入其他跟踪方法,能够改善跟踪效果,进一步验证了运动显著性对于运动目标跟踪的有效性。结论 时空运动显著性可以有效度量目标的运动信息,增强运动显著的目标区域,抑制干扰区域,从而提升跟踪性能。     

Modelling Spatio-Temporal Saliency to Predict Gaze Direction for Short Videos

This paper presents a spatio-temporal saliency model that predicts eye movement during video free viewing. This model is inspired by the biology of the first steps of the human visual system. The model extracts two signals from video stream corresponding to the two main outputs of the retina: parvocellular and magnocellular. Then, both signals are split into elementary feature maps by cortical-like filters. These feature maps are used to form two saliency maps: a static and a dynamic one. These maps are then fused into a spatio-temporal saliency map. The model is evaluated by comparing the salient areas of each frame predicted by the spatio-temporal saliency map to the eye positions of different subjects during a free video viewing experiment with a large database (17000 frames). In parallel, the static and the dynamic pathways are analyzed to understand what is more or less salient and for what type of videos our model is a good or a poor predictor of eye movement.     

Hybrid generative–discriminative hash tracking with spatio-temporal contextual cues

Visual object tracking is of a great application value in video monitoring systems. Recent work on video tracking has taken into account spatial relationship between the targeted object and its background. In this paper, the spatial relationship is combined with the temporal relationship between features on different video frames so that a real-time tracker is designed based on a hash algorithm with spatio-temporal cues. Different from most of the existing work on video tracking, which is regarded as a mechanism for image matching or image classification alone, we propose a hierarchical framework and conduct both matching and classification tasks to generate a coarse-to-fine tracking system. We develop a generative model under a modified particle filter with hash fingerprints for the coarse matching by the maximum a posteriori and a discriminative model for the fine classification by maximizing a confidence map based on a context model. The confidence map reveals the spatio-temporal dynamics of the target. Because hash fingerprint is merely a binary vector and the modified particle filter uses only a small number of particles, our tracker has a low computation cost. By conducting experiments on eight challenging video sequences from a public benchmark, we demonstrate that our tracker outperforms eight state-of-the-art trackers in terms of both accuracy and speed.