加强重识别的行人多目标跟踪算法

在多目标跟踪任务中,重识别（re-identification,Re-ID）效果通常依赖于检测性能的好坏,检测偏差会导致ReID特征模糊,从而降低重识别精度。特别是在尺度变化和频繁遮挡等复杂场景下,Re-ID鲁棒性不高,多目标跟踪效果较差。针对该问题,提出一种加强重识别的行人多目标跟踪算法。该算法以CenterNet为检测器,通过预测目标中心点热力图来检测目标位置,并设计检测偏差损失加强对预测热力图响应值的约束,以缓解因检测不准确导致的ReID特征模糊问题。为提高Re-ID鲁棒性,提出Re-ID可学习特征动态扩充策略。该策略通过自适应扩充目标中心的Re-ID可学习特征来提高特征质量,并减小Re-ID对中心点检测精度的依赖。在MOT16和MOT17测试集上进行验证,结果表明,算法能有效提升Re-ID性能,与主流算法相比具有更好的跟踪效果,且兼顾了实时性,达到25.6 FPS。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

基于自校准与异构网络的多目标跟踪算法

为解决多目标跟踪算法在遮挡场景下导致的身份切换等问题,提升算法跟踪精度,提出一种融合自校准与异构卷积的离线图跟踪网络(self-calibrated convolutions and asymmetric convolution track, SCAACTrack)。利用融合自校准卷积网络与非对称结构进行目标外观特征提取,提升算法行人重识别能力。通过采用不同帧之间目标外观特征、时间和空间3种维度进行图神经网络建模,引入基于时间感知的消息传递网络加强多目标跟踪流式守恒约束。实验结果表明,与传统的多目标跟踪算法MPNTrack、Tracktor、KCF等模型相比,该模型跟踪效果更有效。     

基于注意力特征融合的无人机多目标跟踪算法

随着无人机技术的不断发展,无人机多目标跟踪已成为无人机应用的关键技术之一.针对无人机视频中的复杂背景干扰、遮挡、视点高度和角度多变等问题,提出一种基于注意力特征融合的无人机多目标跟踪算法.首先,将改进的卷积注意力模块引入残差网络,建立三元组注意力特征提取网络;其次,在特征金字塔网络的结构上加入新的特征融合通道,设计多尺度特征融合模块,增强模型对多尺度目标的特征表达能力;最后,根据目标的重识别特征匹配与检测框匹配得到目标轨迹.仿真实验结果表明,该算法可有效提升无人机多目标跟踪的精度,具有较好的鲁棒性.     

基于广义关联聚类图的分层关联多目标跟踪

检测跟踪是近期多目标跟踪研究的热点方向之一.目前大部分方法都是基于相邻帧之间的双向匹配,对检测点进行数据融合.本文提出的方法是,给定一个滑动时间窗口,在窗口内对某个目标每帧出现的检测点进行一次性数据融合.我们把多目标跟踪看作图的分割问题,利用广义关联聚类（Generalized correlation clustering problem,GCCP）图优化文中提出的数据融合.吸取分层数据关联的思想,把多目标跟踪分成两个阶段.首先,在时间窗口内遵循检测点,利用广义关联聚类,得到自适应长度的轨迹片段,轨迹片段长度不受窗口宽度的限制.然后,基于轨迹片段进一步数据关联,得到目标的长轨迹.在公共数据集上的实验测试表明,本文方法能够有效地实现多目标跟踪,对于遮挡处理、身份转换处理以及轨迹的生成具有很好的鲁棒性,多目标跟踪准确率（Multiple object tracking accuracy,MOTA）超过当前水平.     

基于注意力机制与图网络的多目标跟踪

在基于检测的多目标跟踪算法中,为了获取更具鉴别性的特征以及解决复杂场景下目标的频繁带来的目标丢失以及身份切换问题,提出了一种基于注意力机制与图网络的多目标跟踪算法。算法利用Resnet-34-CBAM网络作为外观特征提取网络,分别将相邻帧的外观特征、位置信息利用特征融合网络进行融合,将获得的融合特征与运动特征分别使用不同更新策略的图网络进行更新,分别获得融合特征与运动特征相似度,使用超参数将两种相似度结合,进而获得相邻帧目标之间的相似度。最终使用匈牙利算法完成关联实现跟踪任务。最后在MOT17数据集进行实验,相较MOTDT算法,MOTA指标提升2.7%,MOTP指标提升6.4%,IDF1指标提升5.9%。实验结果证明,提出的基于图网络与注意力机制的多目标跟踪算法可以有效提高多目标跟踪的整体性能,并有效降低身份切换。     

基于ROI特征匹配融合的图像多目标跟踪算法

在图像多目标跟踪问题中,针对图像匹配无法辨别同类别目标以及状态滤波难以对目标突发机动建模两个难点,提出了一种多特征匹配融合跟踪算法。该算法在基于局部方差图(standard deviation map,STDM)的目标检测结果的基础上,首先利用目标感兴趣区域(region of interest,ROI)的图像匹配来克服目标状态匹配误差的影响;然后利用状态特征匹配消除图像匹配识别的模糊性;最后在关联代价全局最优化框架下,将两者匹配结果融合,以提高多目标跟踪的正确率。     

多任务金字塔重叠匹配的行人重识别方法

针对基于局部特征的行人重识别方法在行人错位和姿态变化时识别精度较低的问题,提出一种采用多任务金字塔重叠匹配特征的重识别方法。在训练阶段,使用改进的ResNes50作为主干网络提取特征图,将其切分组合形成金字塔重叠匹配网络,获得全局特征向量并经全局平均池化得到包含多尺度特征的多个局部特征向量,联合使用Softmax损失函数、三元组损失函数和中心损失函数学习全局和局部特征向量,并利用特征归一化层减少损失函数学习目标冲突的影响。在推理阶段,将多个局部特征向量融合为一个新特征向量进行相似性匹配,以获取更好的匹配结果。在Market1501、DukeMTMC-reID和CUHK03数据集上的实验结果表明,与PSE、MultiScale等主流重识别方法相比,该方法重识别精度更高,提取的特征具有较好的鲁棒性和识别度。     

面向跨域人群计数的头部感知密度适应网络

基于领域自适应技术的人群计数方法不依赖标注样本,是一种重要的无监督学习策略,但是现有方法易造成头部区域信息丢失和背景区域过度估计.针对以上问题,提出了一种面向跨域人群计数的头部感知密度适应网络.该方法由头部感知风格迁移模块和密度适应模块组成.其中,风格迁移模块利用源域密度图生成头部掩膜和背景掩膜,并以此设计了基于头部感知的风格迁移损失函数,以防止风格迁移后头部区域与背景区域的混淆.同时,密度适应模块利用鉴别器进一步将源域与目标域的特征映射到同一个隐空间,增强了源域密度图和目标域密度图分布的一致性.整个网络以端到端的方式同时训练风格迁移和密度适应模块,使模块相互迭代学习,共同受益.在合成数据集GCC和3个真实数据集上的实验结果表明,与现有几种跨域算法对比的结果表示,该方法的平均绝对误差降低9％,均方误差降低7％;在无标注的目标场景实现了鲁棒的跨域人群计数.     

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.     

基于基础颜色特征的自适应尺度的多目标跟踪算法

在多目标跟踪领域,多个相似目标间相互遮挡时,易产生误跟踪、漏跟踪等问题。针对上述问题,通过引入语言学中的基础颜色及自适应尺度因子来解决。采用颜色命名过程及主成分分析法,提取目标基础颜色特征,准确区分相似目标;同时引入自适应尺度因子,自动改变目标尺度,减少因尺度变化而引入的干扰信息,增强目标外观模型的鲁棒性。基于以上两点,在Structure Preserving Object Tracking（SPOT）算法基础上,提出了Basic Color Adaptive Scale SPOT（CSSPOT）算法。在对比实验中,CSSPOT算法在跟踪准确率及计算时间这两方面较原算法均有所提升,充分说明了基础颜色特征及自适应尺度因子的正确性及有效性。     

基于卡尔曼滤波的多目标跟踪方法

针对视频多目标跟踪中由于目标间的遮挡、交错或目标漂移而导致跟踪失败的情况,提出一种基于卡尔曼滤波以及空间颜色直方图的遮挡预测跟踪算法。利用空间颜色直方图对目标进行建模,可以对不同目标进行区分进而在目标之间出现交错或目标漂移时仍能跟踪到目标。通过卡尔曼滤波算法可以 预测 目标的状态,对预测位置之间存在交错的目标进行遮挡标记,以便在下一帧中仍然可以跟踪到被遮挡的目标。采用2D MOT 2015数据集进行实验,跟踪的平均精度达到了34.1%。实验结果表明,所提方法对多目标跟踪的效果有所提高。     

在线多类别逐点式多目标跟踪与分割

现有基于深度学习的多目标跟踪算法大多利用目标检测任务预测的边界框跟踪目标,当目标间存在遮挡时,边界框会产生重叠进而影响跟踪准确度,针对这个问题,提出了一种在线多类别逐点式多目标跟踪与分割（category-free point-wise multi-object tracking and segmentation,CPMOTS）算法。该算法摒弃了边界框的目标表征方式,利用实例分割的像素级掩码表征目标进行跟踪,网络采用并行结构同时分割与跟踪多类别目标,并保证了运行效率,这在真实场景中有很强的实用性。CPMOTS首先利用实例分割网络得到实例分割掩码,对其采样得到无序点集;然后将点集的特征输入跟踪网络得到判别性的实例级嵌入向量;最后将该嵌入向量通过直观高效的注意力模块以显式建模其通道间的依赖关系,自适应学习每个特征通道的重要程度,依照这个重要程度选择性地强化有用的特征,抑制无用的特征,实现通道特征重标定,从而提高算法的性能。在多目标跟踪与分割基准数据集KITTI MOTS的实验表明,CPMOTS跟踪的精度优于大部分其他对比方法,并达到了16 frame/s的近实时速度。     

基于改进的Transformer加Anchor-free网络的多目标跟踪算法

近年来,基于Anchor-free的多目标跟踪算法以其精度高、速度快、超参数少的特点被广泛研究.但是,实际场景中的目标遮挡使得此类算法仍然面临挑战,这类算法会对遮挡后重新出现的目标的身份信息进行错误切换.针对以上问题,提出了一种基于改进的Transformer加Anchor-free网络的多目标跟踪算法(Transfo...     

一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法

Egocentric视频具有目标运动剧烈、遮挡频繁、目标尺度差异明显及视角时变性强的特点，给目标跟踪任务造成了极大的困难。本文从重建不同视角Egocentric视频中各目标的运动轨迹出发，提出一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法，该方法基于多视角同步帧之间的单应性约束解决目标遮挡和丢失问题，然后根据多视角目标空间位置约束关系通过轨迹重建进一步优化目标定位，并采用卡尔曼滤波构建目标运动模型优化目标运动轨迹，在BJMOT、EPLF-campus4数据集上的对比实验验证了本文算法在解决Multi-Egocentric视频多目标跟踪轨迹不连续问题的有效性。     

Multi-object tracking via MHT with multiple information fusion in surveillance video

Tracking multiple objects is critical to automatic video content analysis and virtual reality. The major problem is how to solve data association problem when ambiguous measurements are caused by objects in close proximity. To tackle this problem, we propose a multiple information fusion-based multiple hypotheses tracking algorithm integrated with appearance feature, local motion pattern feature and repulsion–inertia model for multi-object tracking. Appearance model based on HSV–local binary patterns histogram and local motion pattern based on optical flow are adopted to describe objects. A likelihood calculation framework is proposed to incorporate the similarities of appearance, dynamic process and local motion pattern. To consider the changes in appearance and motion pattern over time, we make use of an effective template updating strategy for each object. In addition, a repulsion–inertia model is adopted to explore more useful information from ambiguous detections. Experimental results show that the proposed approach generates better trajectories with less missing objects and identity switches.     

基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

基于SIFT特征的抗遮挡目标跟踪算法

针对多目标跟踪过程中目标易丢失的问题,提出一种基于尺度不变特征变换(SIFT)特征的多目标跟踪算法。利用SIFT特征集,通过设置目标特征留存优先级,实时更新特征集,保存目标近几帧的稳定特征。对于半遮挡导致的物体丢失现象,提出一种根据匹配特征位置关系进行目标分离的方法,可有效标定遮挡发生时的各个目标。该算法无需目标的先验信息,通过留存优先级即可较稳定地跟踪多个目标。实验结果证明其对目标遮挡、尺度变化及形变具有较好的容错性和跟踪鲁棒性。     

Multi-object trajectory tracking

The majority of existing tracking algorithms are based on the maximum a posteriori solution of a probabilistic framework using a Hidden Markov Model, where the distribution of the object state at the current time instance is estimated based on current and previous observations. However, this approach is prone to errors caused by distractions such as occlusions, background clutters and multi-object confusions. In this paper, we propose a multiple object tracking algorithm that seeks the optimal state sequence that maximizes the joint multi-object state-observation probability. We call this algorithm trajectory tracking since it estimates the state sequence or “trajectory” instead of the current state. The algorithm is capable of tracking unknown time-varying number of multiple objects. We also introduce a novel observation model which is composed of the original image, the foreground mask given by background subtraction and the object detection map generated by an object detector. The image provides the object appearance information. The foreground mask enables the likelihood computation to consider the multi-object configuration in its entirety. The detection map consists of pixel-wise object detection scores, which drives the tracking algorithm to perform joint inference on both the number of objects and their configurations efficiently. The proposed algorithm has been implemented and tested extensively in a complete CCTV video surveillance system to monitor entries and detect tailgating and piggy-backing violations at access points for over six months. The system achieved 98.3% precision in event classification. The violation detection rate is 90.4% and the detection precision is 85.2%. The results clearly demonstrate the advantages of the proposed detection based trajectory tracking framework.