融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

视频序列中面向人的多目标跟踪算法

针对视频序列中人的跟踪问题，提出一种基于运动检测的多目标跟踪算法．跟踪系统由运动目标检测、关联矩阵建立、特殊情况判断及处理以及轨迹关联4部分构成．提出一种基于改进的c-均值聚类的自适应运动分割方法；不同情况下建立不同的关联矩阵，以准确判断实际场景状况；对遮挡问题作出处理，在两个目标遮挡不严重的情况下，分别采用均值漂移算法对其进行跟踪．实验结果表明，该算法具有较强的鲁棒性，能有效实现复杂场景下多目标跟踪．     

全局多极团的分层关联多目标跟踪

目的 由于背景的复杂性,光照的多变性以及目标的相关性等因素的影响,使得多目标跟踪算法的鲁棒性相对较差。目前,在多目标跟踪问题中面临的主要挑战包括：遮挡、误检、目标运动的复杂性以及由于目标具有相似的外观特征所引起的模糊性。针对以上问题,提出一种基于全局多极团的分层关联多目标跟踪算法。方法 该方法以数据关联中的全局关联为依托,基于分层和网络流思想,跟踪采用两层框架,每一层中均利用较短的轨迹片段形成更长的轨迹,根据网络流思想,首先构建网络的无向图,其中无向图的结点是由几个轨迹片段构成的,无向图权值的确定是利用目标的运动模型和外观模型的线性组合得到,然后借助聚合虚拟结点处理目标之间的遮挡问题,接着重点加入空间约束以解决身份转换的问题。最后利用最大二值整数规划在叠加片段上求解无向图,同时得到多个极大团。结果 实验在公共数据集上进行,通过在TUD-Stadmitte、TUD-Crossing、PETS2009、Parking Lot 1、Parking Lot 2、Town Center这6个数据集上验证,该方法对各个数据集跟踪准确度均有提高,其中针对数据集TUD-Stadmitte提高了5%以上,针对数据集Town Center处理的身份转换数量减少了12个。结论 本文依据数据关联思想,提出一种全局多极团的分层关联多目标跟踪算法,其中重点加入的空间约束能有效地处理多目标跟踪问题,尤其涉及遮挡问题,效果更佳。在智能视频监控领域中该方法具有实际应用价值。     

短道速滑运动中的轨迹建模

为探究在短道速滑比赛视频中检测、跟踪多个运动员目标并重建运动轨迹的问题, 针对目前的技术难以保证在遮挡频繁和位置交错的复杂运动视频中完整地跟踪各个目标并恢复 其运动轨迹,提出了一套完整的算法流程,能够快速并准确地检测、跟踪运动员目标并对其运 动轨迹进行建模。进一步地,提出了一种基于三次 B-样条曲线的轨迹重建算法,利用 B-样条曲 线的非均匀性和连续性,可以在缺失部分跟踪结果的情况下完整地拟合各个目标的光滑运动轨 迹。实验表明,该算法可以检测、跟踪多个运动员目标并重建其运动轨迹,所得结果可进一步 用于实际的技战术分析中。     

采用多组单应约束和马尔可夫随机场的运动目标检测算法

针对现有动态背景下目标检测算法的局限性,提出一种基于多组单应约束和马尔可夫随机场的运动目标检测算法.该算法以视频序列多帧跟踪的运动轨迹为基础,通过轨迹分离和像素标记2个阶段实现运动目标的检测:在轨迹分离阶段,利用多组单应约束对视频序列的背景运动进行建模,并基于该约束通过累积确认的策略实现背景轨迹和前景轨迹的准确分离;在像素标记阶段,以超像素为节点建立时空马尔可夫随机场模型,将轨迹分离信息以及超像素的时空邻域关系统一建模在马尔可夫随机场的能量函数中,并通过最小化能量函数得到每个像素的前背景标记结果.与现有基于运动轨迹的方法相比,文中算法不需要仿射摄像机模型的假设,有效地解决了运动轨迹等长带来的轨迹点区域缺失问题,并可同时处理静态背景和动态背景2种类型的视频;在多个公开数据集的测试结果表明,该算法在轨迹分离准确性、轨迹点密度以及像素标记准确率等方面均优于现有方法.     

基于轨迹聚类的超市顾客运动跟踪

针对超市等复杂应用环境下的运动目标轨迹跟踪问题,将轨迹聚类运用于目标跟踪中,提出了一种超市顾客运动跟踪方法。该方法对Kanade-Lucas-Tomasi(KLT)算法提取并跟踪得到的特征点轨迹进行预处理,滤除背景和短时特征点以分离出运动目标所在区域的关键特征点;进而采用均值漂移(meanshift)算法进行轨迹聚类,解决了单帧静态特征点聚类时的目标遮挡问题;最后采用运动跟踪匹配算法对前后帧的特征点进行最优匹配,解决了目标出入视频区域以及具有复杂路线时的稳定跟踪问题,得到顾客的完整运动轨迹。实验结果表明,该方法能够在超市入口、生鲜区以及收银台等各种典型超市区域中完成顾客轨迹的运动跟踪,并对顾客部分遮挡、复杂运动轨迹以及异步运动等多种特殊情况具有较高的鲁棒性。     

遮挡情况下的多目标跟踪算法*

在视频监控系统中,由于背景的复杂变化,运动目标经常会出现部分或全部被遮挡的情况。为了在遮挡条件下进行多目标跟踪,针对运动目标发生遮挡情况下的Mean Shift跟踪问题进行了研究,提出一种新的抗遮挡算法。利用卡尔曼滤波器来获得每帧Mean Shift算法的起始位置,再利用Mean Shift算法得到目标跟踪位置,通过目标遮挡判定机制和目标搜索机制来解决遮挡问题。实验表明,该算法较好地解决了运动目标的遮挡问题。     

协同运动状态估计的多目标跟踪算法

多目标跟踪在视频分析场景中有着广泛的应用,如人机交互、虚拟现实、自动驾驶、视频监控和机器人导航等。多目标跟踪问题可以表示为在已有的检测数据上进行目标轨迹关联,检测算法的准确性对跟踪性能起着关键性的作用。在基于检测的目标跟踪框架中,提出了一种协同运动状态估计的跟踪算法,该算法主要关注相邻帧之间的数据关联,从目标检测、目标运动状态估计和数据关联这3个方面来直接解决多目标跟踪面临的挑战。首先,对于目标检测,采用Multi Scale Convolutional Neural Network(MS-CNN)算法作为检测器,这是因为深度学习在检测的效益上优于传统的机器学习方法;其次,为了更好地预测目标的运动状态和处理目标间的遮挡,针对不同状态的目标采取不同的运动估计方法: 采用核相关滤波来评估处于跟踪状态的目标的运动状态,当目标处于遮挡状态时,采用卡尔曼滤波做运动估计;最后,采用Kuhn-Munkres算法对检测目标和跟踪轨迹做数据关联。通过大量的实验证实了算法的有效性,且实验结果表明算法的准确性很高。     

仿人机器人相似性阶梯行走约束与优化控制

针对基于运动相似性的仿人机器人动作规划中固定运动捕获轨迹难以适应可变目标环境的问题,以仿人机器人上阶梯为例,提出了一种基于运动相似性的行走约束与优化控制方法.首先,为相似性阶梯运动轨迹划分子相关键姿势,施加运动学约束;其次,对运动的稳定性、方向、落脚缓冲等施加动力学约束;再次,结合粒子群优化与分层强化学习方法,提出粒子群分层强化矢量位置择优算法,用于对机器人阶梯运动轨迹进行优化.实验证明了方法的有效性.     

足球场内球员多目标跟踪算法

为解决足球比赛场内球员的多目标跟踪任务中，因场外人员对跟踪的干扰，球员频繁地运动、互相遮挡，以及摄像镜头复杂地移动等情况，造成的跟踪准确度低、跟踪目标ID(identity)保持能力弱的问题，提出一种适用于足球场内球员跟踪的多目标跟踪数据集和多目标跟踪算法。通过条件生成对抗网络分割出球场区域，筛选出球场内的基于YOLOX框架的目标检测结果；在数据关联阶段，设计一种融合IoU(intersection over union)与欧式距离的代价矩阵进行目标间的相似性度量；利用足球比赛上场人数存在上限的先验条件，弹性约束跟踪目标ID的增长。实验结果表明，针对足球场内球员的跟踪问题，该算法能够在多目标跟踪准确度、跟踪目标ID保持能力上有极大提高。     

基于多视角视频的运动重建

为了更逼真地从视频图像序列中实现三维人体骨架动画形式的提取,以便进一步地对人体运动进行分析与研究,提出了一种基于多视角视频的运动重建的方法。该方法充分利用了标记点的信息,其核心步骤有标定摄像机,提取标记点,跟踪标记点和人体运动三维重建四个主要方面。其中,在跟踪标记点时,使用了基于多视觉的目标跟踪算法,该算法由结合了扩展卡尔曼滤波预测与标记点轨迹平滑性约束所构成的双目立体视觉跟踪与多目视觉数据融合两个方面。实验结果证明了所提方法的有效性与可行性。     

基于数据关联矩阵的多目标跟踪算法

针对视频中的多目标跟踪问题,提出一种改进的基于数据关联矩阵的多目标跟踪算法,实现视频场景复杂环境下的多个目标跟踪。使用区间分布模型获取图像的背景和前景,对前景目标建立相应的运动模型。根据运动模型和Kalman滤波器的位置预测,建立相关的匹配代价函数、关联矩阵和匹配链表。实验结果表明,该算法对目标在场景中的频繁出现和消失、交叉运动和短暂遮挡等均有较好的处理效果。     

基于视频的多目标车辆跟踪及轨迹优化

为了获取交通视频中车辆的运动轨迹,提供道路动态交通信息,提出一种基于Yolo3目标检测和KCF目标预测相结合,关联历史轨迹预测结果和检测结果的长时间多目标车辆跟踪算法;对采用机器视觉获取的车辆轨迹非平滑现象,提出通过Savitzky-Golay滤波器对原始的车辆轨迹进行平滑优化。对比测试场景中车辆轨迹优化前后,优化后的轨迹在保留原有车辆运动特征的前提下,改善了轨迹平滑性,提供的动态交通信息更能反映车辆真实运动状况。     

自适应在线判别外观学习的分层关联多目标跟踪

目的 复杂场景下目标频繁且长时间的遮挡、跟踪目标外观相似引起身份转换等问题给多目标跟踪带来许多挑战。针对多目标跟踪在复杂场景中因长时间遮挡引起身份转换和轨迹分段的问题,提出一种基于自适应在线判别外观学习的分层关联多目标跟踪算法。方法 利用轨迹置信度将多目标跟踪分为局部关联和全局关联两个层次。在局部关联中,置信度高的可靠轨迹利用外观、位置-大小相似度与当前帧检测点进行关联;在全局关联中,置信度低的不可靠轨迹引入运动模型和有效关联范围进一步关联分段的轨迹。在提取目标外观特征时引入增量线性可判别分析方法以解决身份转换问题,依据新增样本与目标样本均值的外观特征差异自适应地更新目标外观模型。结果 在公开数据集2D MOT2015中的PETS09-S2L1、TUD-Stadmitte、Town-Center 3个数据集中与当前10种多目标跟踪算法进行比较,该方法对各个数据集身份转换和轨迹分段都有减少,其中在Town-Center数据集中,身份转换减少了60个,轨迹分段减少了84个,跟踪准确度提高了5.2%以上。结论 本文多目标跟踪方法,能够在复杂场景中稳定有效地实现多目标跟踪,减少轨迹分段现象,其中引入的在线线性可判别外观学习对遮挡产生的身份转换具有良好的解决效果。     

基于运动目标轨迹优化的监控视频浓缩方法

视频浓缩是包含原视频有效信息的简短表示,以便于视频的存储、浏览和检索。然而,大部分视频浓缩方法得到的浓缩视频中会丢失少量目标,不能完整表达原始视频的全部内容。本文介绍了一种基于目标轨迹优化的视频浓缩方法。首先使用改进的目标轨迹提取算法提取原视频中目标的 轨迹,然后利用马尔可夫随机场模型和松弛线性规划算法得到每条轨迹的最优时间标签,将其与背景序列和目标轨迹结合生成浓缩视频。实验结果表明,与传统的视频浓缩方法相比,本文方法生成的浓缩视频具有较高的浓缩比,保证了信息的完整性又具有良好的视觉效果。     

Multi-object trajectory tracking

The majority of existing tracking algorithms are based on the maximum a posteriori solution of a probabilistic framework using a Hidden Markov Model, where the distribution of the object state at the current time instance is estimated based on current and previous observations. However, this approach is prone to errors caused by distractions such as occlusions, background clutters and multi-object confusions. In this paper, we propose a multiple object tracking algorithm that seeks the optimal state sequence that maximizes the joint multi-object state-observation probability. We call this algorithm trajectory tracking since it estimates the state sequence or “trajectory” instead of the current state. The algorithm is capable of tracking unknown time-varying number of multiple objects. We also introduce a novel observation model which is composed of the original image, the foreground mask given by background subtraction and the object detection map generated by an object detector. The image provides the object appearance information. The foreground mask enables the likelihood computation to consider the multi-object configuration in its entirety. The detection map consists of pixel-wise object detection scores, which drives the tracking algorithm to perform joint inference on both the number of objects and their configurations efficiently. The proposed algorithm has been implemented and tested extensively in a complete CCTV video surveillance system to monitor entries and detect tailgating and piggy-backing violations at access points for over six months. The system achieved 98.3% precision in event classification. The violation detection rate is 90.4% and the detection precision is 85.2%. The results clearly demonstrate the advantages of the proposed detection based trajectory tracking framework.     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

拥挤场景下基于密集轨迹对准及其运动影响描述符的异常活动检测

针对现有异常活动检测算法对拥挤场景下的目标跟踪和描述能力不足的问题,文中提出基于密集轨迹对准及其运动影响描述符的算法,捕捉视频目标运动的关键信息.密集轨迹保证对视频运动目标的有效提议,沿着轨迹的方向提取与轨迹对准的运动影响描述符.最后提出完整框架,准确检测全局和局部的异常活动.在UCSD公共数据集上的实验证明文中方法性能较优.     

Online multiple objects tracking with detection reliability prior constraint

Multi-object tracking (MOT) is one popular topic in computer vision. It remains a challenging problem in complex scenes, especially of objects with similar appearance. In this case, many existing data association strategies, which link detections among consecutive frames according appearance and motion cues, may fail to track due to unreliable detections or confused appearance and motion. To solve this problem, this paper proposed a novel online multi-object tracking method with detection reliability prior constraint. Our method integrates the trajectory estimation and detection-prediction association into a unified framework. The detection reliability prior constraint is built with the Hankel matrix from object motion model. When we build the Hankel matrix, we adaptively select a set of previous frames to predict object states and calculate the associated weights between detections and candidate objects. Data association in MOT then is estimated by maximum a posteriori (MAP) in a Bayesian framework, accompanied with both previous trajectory and the current detection reliability. Experimental results using synthetic dataset and four public challenging datasets demonstrate that, the proposed method has a good tracking performance compared with the state-of-the-art multi-object trackers.