Player target tracking and detection in football game video using edge computing and deep learning

The purpose is to explore the player detection and motion tracking in football game video based on edge computing and deep learning (DL), thus improving the detection effect of player trajectory in different scenes. First, the basic technology of player target tracking and detection task is analyzed based on the Histograms of Oriented Gradients feature. Then, the neural network structure in DL is combined with the target tracking method to improve the miss detection problem of the Faster R-CNN (FRCN) algorithm in detecting small targets. Edge computing places massive computing nodes close to the terminal devices to meet the high computing and low latency requirements of DL on edge devices. After the occlusion problem in the football game is analyzed, the optimized algorithm is applied to the public dataset OTB2013 and the football game dataset containing 80 motion trajectories. After testing, the target tracking accuracy of the improved FRCN is 89.1%, the target tracking success rate is 64.5%, and the running frame rate is still about 25 fps. The high confidence of FRCN algorithm also avoids template pollution. In the ordinary scene, the FRCN algorithm basically does not lose the target. The area under curve value of the proposed FRCN algorithm decreases slightly in the scene where the target is occluded. The FRCN algorithm based on DL technology can achieve the target tracking of players in football game video and has strong robustness to the situation of players occlusion. The designed target detection algorithm is applied to the football game video, which can better analyze the technical characteristics of players, promote the development of football technology, bring different viewing experiences to the audience, drive the development of economic products derived from football games, and promote the dissemination and promotion of football.

     

基于CamShift和Kalman组合的改进目标跟踪算法

针对应用CamShift算法进行目标跟踪过程中,当目标被严重遮挡、目标被与目标颜色相近的背景干扰时易丢失跟踪目标的问题,提出了一种基于CamShift和Kalman滤波组合的改进跟踪算法;为克服目标因严重遮挡而丢失的缺陷,利用自适应算法改进了传统的CamShift算法,扩大了搜索窗口,使运动目标位于搜索窗口内;为解决目标因颜色相近背景干扰而丢失的问题,改善跟踪准确率,利用卡尔曼滤波预测目标运动空间位置,作为下一帧搜索窗口的质心坐标;基于上述改进,利用C++语言,研发了改进的CamShift目标跟踪软件模块,给出了该模块的算法流程;实验结果表明,改进后的目标跟踪算法能有效地克服传统CamShift算法的缺陷,大大提高运动目标跟踪的准确性;所提的算法可以应用于运动小车跟踪,人脸识别等领域。     

Small target recognition method on weak features

For real time tracking the moving small target under complex backgrounds, this paper will present a tracking algorithm and a recognition method for small target based on the fusion filtering of single frame and multiple frames. For a case that the moving small target is masked or submersed easily by other objects or noise in complex background, this paper will present an opening and closing transform algorithm to eliminate or weaken background and noise; present a competitive model with adaptive neural network of online learning for the puniness characteristics of moving small target, use its competitive active unit to extract the multidimensional characteristic parameter of small target; consequently, present a tracking recognition method for moving small target based on a complex background. In conclusion, the significant novelty is the small target recognition method proposed, including the eliminating noise method, extraction method for weak small features, establishment of prediction model of motion target state, recognition method for small target. These researches development in this paper help to the personnel of target recognition and image processing understand the motion law, reduce expenditure, decrease unnecessary damage or injury, etc.

     

基于复杂特征融合的改进mean shift目标跟踪

提出一种融合Gabor小波纹理特征与颜色特征的改进mean shift目标跟踪算法.首先,提取移动目标的颜色特征和纹理特征直方图;其次,基于mean shift算法定义融合相似度系数,对特征空间进行融合并得出目标中心位置;再次,通过定义特征自适应系数来融合基于颜色和纹理特征的目标位置;最后,对上述结果进行处理,得到目标最终位置.实验结果表明,该算法在跟踪目标存在变形、噪声、遮挡时能够得到比较理想的跟踪效果.     

前景判别的局部模型匹配目标跟踪

目的 在复杂背景下,传统模型匹配的跟踪方法只考虑了目标自身特征,没有充分考虑与其所处图像的关系,尤其是目标发生遮挡时,易发生跟踪漂移,甚至丢失目标。针对上述问题,提出一种前景判别的局部模型匹配(FDLM)跟踪算法。方法 首先选取图像帧序列前m帧进行跟踪训练,将每帧图像分割成若干超像素块。然后,将所有的超像素块组建向量簇,利用判别外观模型建立包含超像素块的目标模型。最后,将建立的目标模型作为匹配模板,采用期望最大化(EM)估计图像的前景信息,通过前景判别进行局部模型匹配,确定跟踪目标。结果 本文算法在前景判别和模型匹配等方面能准确有效地适应视频场景中目标状态的复杂变化,较好地解决各种不确定因素干扰下的跟踪漂移问题,和一些优秀的跟踪算法相比,可以达到相同甚至更高的跟踪精度,在Girl、Lemming、Liquor、Shop、Woman、Bolt、CarDark、David以及Basketball视频序列下的平均中心误差分别为9.76、28.65、19.41、5.22、8.26、7.69、8.13、11.36、7.66,跟踪重叠率分别为0.69、0.61、0.77、0.74、0.80、0.79、0.79、0.75、0.69。结论 实验结果表明,本文算法能够自适应地实时更新噪声模型参数并较准确估计图像的前景信息,排除背景信息干扰,在部分遮挡、目标形变、光照变化、复杂背景等条件下具有跟踪准确、适应性强的特点。     

基于双模态输入的孪生网络目标跟踪算法

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.     

多站时差无源定位传感器网络优化

在可移动无源传感器网络中,观测器与目标的相对几何关系对定位精度有重要影响。为提高对运动目标的定位跟踪精度,提出一种基于时差无源定位几何稀释精度的移动平台实时布站方法。首先推导出二维时差无源定位方法下的带有基线长度和基线偏角的GDOP表达式,将其作为目标优化函数,使用加权离散搜索优化算法求解网内各观测器每一时刻的最佳观测位置,并在此最佳位置对目标进行量测,完成目标运动分析。该方法通估计和优化相结合实现移动平台无源传感器网络的实时优化部署,仿真证明该算法一定程度上解决了时差无源定位算法的定位模糊问题,提高了对运动目标的跟踪精度。     

OPTICS聚类与目标区域概率模型的多运动目标跟踪

目的 针对多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题,本文提出了一种基于OPTICS聚类与目标区域概率模型的方法。方法 首先引入了Harris-Sift特征点检测,完成相邻帧特征点匹配,提高了特征点跟踪精度和鲁棒性;再根据各运动目标与背景运动向量不同这一点,引入了改进后的OPTICS加注算法,在构建的光流图上聚类,从而准确的分离出背景,得到各运动目标的估计区域;对每个运动目标建立一个独立的目标区域概率模型(OPM),随着检测帧数的迭代更新,以得到运动目标的准确区域。结果 多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题通过本文方法得到了很好地解决,Harris-Sift特征点提取、匹配时间仅为Sift特征的17%。在室外复杂环境下,本文方法的平均准确率比传统背景补偿方法高出14%,本文方法能从移动背景中准确分离出运动目标。结论 实验结果表明,该算法能满足实时要求,能够准确分离出运动目标区域和背景区域,且对相机运动、旋转,场景亮度变化等影响因素具有较强的鲁棒性。     

改进扩展卡尔曼滤波算法的目标跟踪算法

为了获得更加理想的运动目标跟踪效果,提出了一种基于改进扩展卡尔曼滤波的目标跟踪算法。构建时间差和信号到达方向的观测方程,利用几何和代数关系化简得到伪线性模型,通过改进卡尔曼滤波算法对目标运动轨迹进行跟踪,采用仿真实验对算法性能进行测试。结果表明,相对于传统扩展卡尔曼滤波算法,在相同条件下,该算法不仅提高了目标跟踪精度,而且使目标跟踪结果更加稳定。     

Detection of passenger flow on and off buses based on video images and YOLO algorithm

Bus passenger flow information is very important as a reference data for bus company line optimization, schedule scheduling basis, and passenger travel mode arrangement. With the development of image processing technology, it has become a current research trend to count passenger flow with the help of surveillance video of passengers getting on and off the bus. The specific research contents of this paper based on video image detection and statistics of passengers are as follows:(1) Collect head target image samples through a variety of ways, including 3960 positive head target samples and 4150 negative head target samples, which together constitute the head target feature database. (2) Established a head target detection model based on deep learning. First, the labeling of the head target training data set is completed. Then, after 15,000 iterations of model training, the YOLOv3 head target detection network model was obtained, with a recall rate of 92.12% and an accuracy rate of 89.71%. (3) A multi-target matching tracking algorithm based on the combination of Cam-shift and YOLOv3 is proposed. First, the Cam-shift algorithm is used to track the head target. Secondly, the head target tracking data and the YOLOv3 detection data are combined to solve the problem of drift during the tracking of the Cam-shift algorithm through the data association matching method based on the minimum distance, and then combined with the time constraint, a passenger location information judgment rule is proposed. Optimize the error and missed detection in the process of head target detection and tracking, and improve the reliability of passenger trajectory tracking. (4) A statistical algorithm for the detection of passengers getting on and off the bus is proposed. First, the trajectory of passengers in the bus boarding and disembarking area is analyzed, and a process for judging passengers’ boarding and boarding behavior is proposed. At the same time, a passenger position information judgment rule is proposed according to the different situations of whether there are new passengers or missing passengers, so as to optimize the problem of wrong detection and missing detection in the process of head target detection and tracking. (5) Finally, experiments are carried out in actual bus scenes and simulation scenes. The experiment proves that the statistical algorithm for the detection of passengers getting on and off the bus proposed in this paper has good detection, tracking and statistics effects in bus scenes and simulation scenes.

     

模糊自适应运动目标跟踪算法

运动目标在跟踪过程中往往伴随着尺度、形状的变化,Mean shift跟踪算法由于采用固定的核窗宽度进行运动目标跟踪,因而它本身不能适应这种变化。针对Mean shift算法存在的缺点,提出一种基于模糊推理的自适应Mean shift跟踪算法,该算法利用卡尔曼滤波算法对目标当前位置进行预测;设计模糊判定准则在线调整目标尺度值,利用Mean shift迭代运算逐步逼近目标完成跟踪;利用相似度和置信度系数设计模型更新准则,以实现模板的自适应更新。实验结果证明,该算法能够适应目标尺度和背景的变化,较普通的Mean shift跟踪算法不仅跟踪精度提高,而且鲁棒性更强。     

一种改进的基于Camshift的粒子滤波实时目标跟踪算法

为了能够快速和准确地跟踪运动目标,提出了一种改进的基于Camshift的粒子滤波算法。在粒子滤波框架下,首先对传统目标模型进行改进,提出一种新的融合目标颜色信息和运动信息的模型,以增强目标跟踪的稳健性和准确性;同时为了提高跟踪的效率,将一种改进的Camshift算法嵌入到粒子滤波中,用来重新分配随机粒子样本,使之向目标状态的最大后验概率密度方向移动。实验结果表明,与传统的粒子滤波算法或Camshift算法相比,该方法能有效处理目标快速运动或背景存在强干扰等情况,实现对目标快速和稳健的跟踪。     

高斯混合模型结合加权似然的目标跟踪算法

鉴于高斯混合模型对背景变化快时无法精确检测出目标和目标跟踪的适应性差等瑕疵，提出了基于加权似然跟踪器来改进高斯混合模型实现运动目标跟踪算法。主要引入了自适应高斯混合模型来实时检测运动目标，然后空间加权似然来进行视频中的目标定位，引入加权似然期望值来改进高斯混合模型处理视频中的多尺度、多角度变化的目标跟踪不精准问题。通过VOT 2014 dataset对比实验结果表明提出的基于加权似然跟踪（Weighted Likelihood Tracking，WLT）和改进高斯混合模型（Improved Gaussian Mixture Model，IGMM）的目标跟踪算法较传统高斯混合模型跟踪算法在跟踪的精度有较大提高。在应对多尺度、多角度变化的目标跟踪表现出了较大的优势。     

基于AUPF的TDOA几何定位跟踪算法研究

使用无源时差（TDOA）定位技术确定无人机等小型辐射源目标的位置是当前研究的热点,针对时差定位算法较为复杂的实际情况,推导了时差双曲线的几何解,并提出了一种基于自适应无迹粒子滤波（AUPF）技术的移动目标定位跟踪方法。通过仿真对该方法在不同场景的应用效果进行了验证,进一步比较分析了算法的定位精度。结果表明,基于自适应无迹粒子滤波的时差几何定位跟踪算法可以在多种情况下较好地拟合出目标真实运动轨迹,实现对运动目标的定位跟踪,同时拥有更低的定位误差和更高的轨迹包容度,使用该方法可以显著提高对非合作移动辐射源目标的位置估计性能。     

基于最大似然准则Hausdorff距离的跟踪算法

针对视频处理中运动物体的检测和跟踪问题,提出一种基于最大似然准则Hausdorff距离的目标跟踪算法,首先利用基于GVF的Snake方法获得物体模型;然后采用基于最大似然准则的Hausdorff距离匹配后续帧中的目标,搜索策略采用类似于Rucklidge提出的多分辨率搜索方法,在不影响搜索成功率和目标定位精度的情况下, 可以显著地缩短搜索时间;最后使用Snake方法完成运动物体的轮廓更新.实验表明该方法可以较好地跟踪刚性和非刚性物体,同时对部分被遮挡的目标也有良好的跟踪效果.     

一种基于隐马尔可夫模型的目标轨迹跟踪算法

现有的定位算法只表现了目标的静态位置特征, 不能较好地在目标移动情况下跟踪获取目标的运行行为轨迹。针对这一问题, 设计了一种基于隐马尔可夫模型的目标轨迹跟踪算法。该算法根据小区覆盖范围内的地理位置信息和目标用户的移动速度, 建立隐马尔可夫模型; 然后, 基于维特比译码算法对最佳路径和最佳状态概率进行最优化求解, 实现对目标轨迹的跟踪。仿真结果表明, 该算法可以在基站小区分辨率下精确地获取目标轨迹。     

基于机器视觉的打磨工件跟踪方法研究

为克服在自动化生产中跟踪打磨工件时受尺度变化、部分遮挡等因素影响跟踪效果的问题,提出了一种基于机器视觉的打磨工件长时间目标跟踪算法。该算法对传统的KCF目标跟踪算法做了尺度估计、质心位置预测和质心修正重定位的改进,首先在与传统KCF算法结合的基础上,计算出运动目标质心位置的同时引进尺度金字塔来进行目标尺度估计;然后提出一种质心位置预测方法估计其质心运动;最后为了防止目标丢失使用质心修正重定位方法进行质心重定位,提高了跟踪的稳定性。实验证明,在工件发生尺度变化、部分遮挡等的情况下,本文方法具有良好的检测效果,并具有较强的鲁棒性。     

基于动态分簇的移动目标追踪方法

针对无线传感器网络（WSN）中目标追踪的准确性低、网络能耗过高和网络生命周期短等问题,提出基于动态分簇的移动目标追踪技术。首先,构建了双层环状动态分簇的拓扑模型（TRDC）,并提出了动态分簇的更新算法;其次,在质心定位算法基础上,考虑到节点的能量,提出了基于功率级别的质心定位（CLPL）算法;最后,为了进一步减小网络的能耗,改进CLPL算法,提出了随机性定位算法。在仿真实验中,与静态簇相比,网络周期延长了22.73%;与非环状簇相比,丢失率降低了40.79%;而追踪准确性与基于接受信号强度值（RSSI）算法相差不大。所提的追踪技术能够有效保证追踪准确度,同时降低网络能耗,减小目标丢失率。     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

基于失真激励式机会模糊控制的视频跟踪机制

为了提高目标跟踪精度和跟踪视频质量,研究了一种具有失真激励功能和基于机会模糊控制的视频跟踪机制及其系统架构。首先,针对目标行为空域和模糊集群,通过建立群内模糊集且依据目标移动速度构建了机会模糊控制系统。然后,在分析跟踪目标的差异性和目标移动速度的随机性的基础上,以激励模糊集群用户的机会逻辑控制为目标,提出了基于失真激励的视频跟踪机制及其系统架构。最后,实验结果表明,提出的算法在系统执行效率、视频传输时延和跟踪视频质量等方面具有明显优势。