Combining passive visual cameras and active IMU sensors for persistent pedestrian tracking

Vision based pedestrian tracking becomes a hard problem when long-term/heavy occlusion happens or pedestrian temporarily moves out of the visual field. In this paper, a novel persistent pedestrian tracking system is presented which combines visual signal from surveillance cameras and sensor signals from Inertial Measurement Unit (IMU) carried by pedestrians themselves. IMU tracking performs Dead Reckoning (DR) approach utilizing accelerometer, gyroscope and magnetometer. IMU tracking has nothing to do with visual occlusion, so it keeps working even when pedestrians are visually occluded. Meanwhile, visual tracking assists in calibrating IMU to avoid the bias drift during DR. The experimental results show that the IMU and visual tracking are complementary to each other and their combination performs robust pedestrian tracking in many challenging scenarios.     

语义增强引导特征重建的遮挡行人检测

行人被严重遮挡导致无法提取有效特征是行人检测中出现漏检的一个主要原因。为了解决该问题,提出一种语义增强引导特征重建的遮挡行人检测算法。首先,利用空间和通道之间的依赖性设计了语义特征增强模块,建立全局上下文信息用以增强遮挡行人特征。其次,为关注行人的可见区域,通过自适应特征重建模块生成语义分割图,自适应调整通道的有效权重,增强行人和背景的可判别性。最后,通过多层次级联语义特征增强和自适应特征重建两个模块得到多层次特征图,融合多特征用以最终的行人解析。实验结果表明,该方法在具有挑战性的行人检测基准CityPersons和Caltech上,对严重遮挡目标的漏检率分别实现了47.28%和44.04%,在遮挡行人的检测上相较于其他方法具有较好的鲁棒性。     

夜间复杂场景下红外图像行人检测算法研究

针对夜间红外图像中行人与背景灰度差异小且存在遮挡等问题,提出了一种夜间复杂场景下的红外行人检测算法。首先利用行人语义融合方法生成对目标全覆盖的显著图,与原图融合得到感兴趣区域,然后构造基于改进的方向梯度直方图特征的两分支分类器,同时提出一种遮挡判别算法,根据分类器模糊分数判断是否遮挡,设计一种头部模板实现最终的行人检测。在LSI远红外行人数据集和自主采集的冬、夏季节夜间行人数据上进行实验,结果表明:在不同环境下,所提出的方法均可快速鲁棒地检测出行人,可较显著地降低漏检率,检测率可达到94.20%。     

边界约束的核密度估计红外人体目标跟踪方法

基于核密度估计的均值漂移算法因其良好的实时性而被广泛地应用于目标跟踪,但传统的均值漂移算法极易因颜色等信息的缺乏而使跟踪不稳定,且目标尺度的变化也不利于目标位置的准确估计,为此,提出了一种具有边界约束的均值漂移红外人体目标跟踪新方法。该方法通过各向异性扩散,并联合红外图像的梯度与亮度信息来获取目标边界,自适应调整核窗宽,从而利用均值漂移策略进行红外人体目标跟踪。实验结果表明,该方法在红外人体目标尺度改变时仍能实现良好的跟踪。     

跟踪状态自适应的判别式行人单目标跟踪算法研究北大核心CSCD

本文针对在行人跟踪过程中遇到的背景相似物干扰、行人之间的相互遮挡和背景杂乱等导致跟踪状态不稳定的问题,基于DIMP(learning discriminative model prediction for tracking)跟踪算法,提出了一种跟踪状态自适应的判别式单目标行人跟踪算法。跟踪过程中由分类滤波器和搜索区域进行卷积操作得到响应图,通过响应图判断跟踪状态,跟踪状态分为弱响应状态、多峰强响应状态、单峰强响应状态。针对多峰强响应状态下的干扰物影响,提出在线更新策略,利用激励和抑制损失更新分类滤波器,提高分类滤波器的判别能力。针对多峰强响应和弱响应状态下目标预测不准确的问题,通过偏移量和增添候选框修正目标位置,提高跟踪精度。实验验证提出的算法在行人视频序列上跟踪结果,精度达到了0.978,成功率达到了0.740,在NVIDIA GTX 1650显卡下有30 fps的实时速度。     

基于图像感知哈希的行人跟踪算法

针对传统目标跟踪算法计算复杂度高,在发生遮挡、形状改变时,运动目标丢失的问题,提出了将图像感知哈希算法应用于目标跟踪问题上,并针对行人这一特定目标进行了改进。按照行人的特征,将其分成若干区域,给不同区域分配不同权重,计算跟踪目标的感知哈希值,计算待测区域的哈希值,选择合适的待测区域作为目标区域。该算法与MeanShift算法相比,能更好地处理目标遮挡,不易产生目标丢失,且具有较低的复杂度。     

基于YOLOv5算法的红外图像行人检测研究北大核心CSCD

目标检测是自动驾驶的重要前提,是与外界信息交互的重要环节。针对夜间远处行人检测识别精度低、漏检的问题,提出一种针对检测小尺寸行人的YOLOv5-p4的夜间行人识别模型。首先,通过增加更小目标的检测层,引入BiFPN特征融合机制,防止小目标被噪声淹没,使网络模型可以更聚焦于物体的细小特征;同时使用K-means先验框聚类出更小目标的锚框,并且使用了多尺度的数据增强方法,增加模型的鲁棒性。使用了MetaAcon-C激活函数与EIoU回归损失函数使模型收敛效果更好,提升了算法远距离行人的检测的准确率。最后在红外行人数据集FLIR上验证改进后的YOLOv5-p4模型对于行人的检测能力,实验结果表明该方法与传统方法相比,准确率从86.9%提升到90.3%,适合用于红外图像中的行人检测。     

复杂场景下的加权粒子滤波行人跟踪方法

针对粒子滤波跟踪算法在行人目标遮挡、光线干扰以及背景与行人相似等情形下,目标易发生漂移、跟踪精度不高的问题,本文提出一种加权粒子滤波行人跟踪方法。该方法联合遮挡模型和Online Boosting算法,利用在线学习实时更新强分类器,并结合跟踪时建立的遮挡模型,以及行人运动时与上一次目标位置的距离、相似度等影响因子,对粒子权重进行重新构造,实现了复杂变化场景下的行人自适应跟踪。通过对PETS-L2S1公共数据集和自有数据集分别进行实验,可以得到本文提出的方法能有效去除目标遮挡、相似背景以及光线突变的干扰,实现稳定、准确、实时的行人跟踪。      

红外交通场景下遮挡行人目标检测算法研究

针对交通十字路口等视野盲区往来行人间存在遮挡情况,如何高效准确地检测复杂道路中目标行人具有实际意义。为了实现夜间交汇路口场景行人检测,提出一种基于改进YOLOv5的行人目标检测算法,采用Non local和PSA模块对YOLOv5原网络的Bottleneck CSP进行改进,能够有效弥补遮挡中行人特征的帧间信息交互过程,增强长程范围通道特征依赖关系。设计更深的160×160检测层和自适应anthor,提升夜间行人检测的边界回归精确度。实验结果表明,针对夜间下交通路口场景,压缩改进后模型对行人检测鲁棒性高,相较于原始算法mAP_0.5和mAP_0.5:0.95值分别提升了14.2和12.7,说明所提算法对夜间行人检测的有效性。     

一种改进的Camshift视频目标跟踪算法

鉴于连续自适应均值漂移(Camshift)算法在光照变化,相似背景颜色干扰及目标遮挡时鲁棒性不高,易造成跟踪错误等问题,提出了一种联合多特征和最大类间方差法的视频运动目标跟踪算法。该算法将色度直方图、梯度方向直方图和LBP纹理特征进行巧妙的融合,构建了一种高效的联合直方图目标外观特征模型,并在Camshift算法中嵌入最大类间方差法,增强目标和背景的区分度。不同场景的视频跟踪结果表明,改进算法有效克服了传统Camshift算法应对光照变化、颜色干扰和目标遮挡的缺点,与同类算法相比,具有更高的准确度和鲁棒性。     

基于俯仰角修正的HOG特征快速行人检测算法

传统的HOG特征对正视或侧视行人有较好的识别率,但是对俯视行人的识别率仍有所欠缺。对检测图像的HOG特征根据不同的俯仰角进行了转换,同时优化了SVM分类器训练过程,提出了一种改进的快速行人检测算法。测试结果表明,该算法优于基于传统HOG特征的检测方法,有效提高了不同俯仰角视频中行人检测的准确性。     

基于惯性传感器的动态步长算法研究

行人步态参数的精确估计是行人自主导航系统和行人健康监测的关键技术之一。针对当前行人自主导航系统中步长估算算法精度低和弱适应性的问题,提出了一种计算行人动态步长算法。首先对行人的步态特征进行分解,利用改进的零速检测确定行人运动状态,采用卡尔曼滤波技术降低惯性传感器中累积误差的影响,再对进行滤波和坐标转换后的加速度进行双重积分,最终得到行人脚尖的运动轨迹。通过采用MTI-700惯性模块设计实验并进行实验验证。结果表明,该文提出的步长算法计算的步长与行人实际步长的误差低于3.0%。与现有的行人动态步长算法相比,该算法首次计算出行人脚尖的运动轨迹,精度较高且适应强,在行人自主导航及行人健康监测领域具有较大的应用价值。     

基于中值移位的粒子滤波多目标跟踪算法

针对传统粒子滤波多目标跟踪过程中的发散问题,提出了一种基于中值移位的粒子滤波多目标跟踪算法。该算法采用具有优良特性的中值移位方法对重要性重采样后的中间结果进行聚类分析,得到相应的粒子子群,从而获得各个目标的最优状态估计,提高滤波精度,并对目标的进出场景和遮挡问题进行有效处理。视频跟踪仿真试验表明该算法是稳健的,能够在复...     

基于线性预测和加权投票的分块Mean-Shift行人跟踪算法

行人目标跟踪对公共交通规划、服务改善以及对大客流量的预测具有极重要的意义。而广泛采用的Mean-Shift算法及其改进算法在抗遮挡性能方面仍有非常大的改进空间。对此,文章针对行人轨迹交错或发生互相遮挡时可能引起的漏检及错检问题,结合基于分块的色调直方图、线性预测,提出了一种自反馈的混合检测方法。测试结果表明,该方法在行人发生遮挡或行径路线交叠时能够一定程度上减少错跟和漏跟,从而提高算法的鲁棒性。     

Real-time 3D multi-pedestrian detection and tracking using 3D LiDAR point cloud for mobile robot

Mobile robots are used in modern life; however, object recognition is still insufficient to realize robot navigation in crowded environments. Mobile robots must rapidly and accurately recognize the movements and shapes of pedestrians to navigate safely in pedestrian-rich spaces. This study proposes real-time, accurate, three-dimensional (3D) multi-pedestrian detection and tracking using a 3D light detection and ranging (LiDAR) point cloud in crowded environments. The pedestrian detection quickly segments a sparse 3D point cloud into individual pedestrians using a lightweight convolutional autoencoder and connected-component algorithm. The multi-pedestrian tracking identifies the same pedestrians considering motion and appearance cues in continuing frames. In addition, it estimates pedestrians' dynamic movements with various patterns by adaptively mixing heterogeneous motion models. We evaluate the computational speed and accuracy of each module using the KITTI dataset. We demonstrate that our integrated system, which rapidly and accurately recognizes pedestrian movement and appearance using a sparse 3D LiDAR, is applicable for robot navigation in crowded spaces.     

基于特征通道和空间联合注意机制的遮挡行人检测方法

遮挡是行人检测任务中导致漏检发生的主要原因之一,对检测器性能造成了不利影响。为了增强检测器对于遮挡行人目标的检测能力,该文提出一种基于特征引导注意机制的单级行人检测方法。首先,设计一种特征引导注意模块,在保持特征通道间的关联性的同时保留了特征图的空间信息,引导模型关注遮挡目标可视区域;然后,通过注意模块融合浅层和深层特征,从而提取到行人的高层语义特征;最后,将行人检测作为一种高层语义特征检测问题,通过激活图的形式预测得到行人位置和尺度,并生成最终的预测边界框,避免了基于先验框的预测方式所带来的额外参数设置。所提方法在CityPersons数据集上进行了测试,并在Caltech数据集上进行了跨数据集实验。结果表明该方法对于遮挡目标检测准确度优于其他对比算法。同时该方法实现了较快的检测速度,取得了检测准确度和速度的平衡。     

基于改进的ViBe和YOLO v3算法的行人检测方法

针对传统视觉背景提取（visual background extractor,ViBe）算法在进行行人检测时会产生鬼影的缺点,本文提出了一种基于改进的ViBe和YOLO v3算法的行人检测方法。利用改进的YOLO v3算法YOLO v3-SPP(spatial pyramid pooling)对ViBe算法的初始化策略进行改进以消除鬼影。运用YOLO v3-SPP算法对首帧图像进行行人检测,使用本文提出的行人消除方法将检测出的行人进行消除,并将输出图像代替ViBe算法的首帧,从而达到消除鬼影的目的。经过分析和实验验证,结果表明该算法能够有效解决鬼影问题。     

基于Kalman滤波的均值漂移目标跟踪算法

为解决目标追踪中目标被遮挡的问题,文中设计了一种基于卡拉曼滤波的均值漂移目标跟踪算法。在选定目标的情况下,利用均值漂移算法迭代求得目标的位置,当目标被遮挡时,根据前一时刻目标的位置和速度等信息采用卡尔曼滤波预测,得到目标的位置。实验结果表明,该算法在有遮挡的情况下,准确性和实用性更强     

A novel method for tracking and counting pedestrians in real-timeusing a single camera

This paper presents a real-time system for pedestrian tracking in sequences of grayscale images acquired by a stationary camera. The objective is to integrate this system with a traffic control application such as a pedestrian control scheme at intersections. The proposed approach can also be used to detect and track humans in front of vehicles. Furthermore, the proposed schemes can be employed for the detection of several diverse traffic objects of interest (vehicles, bicycles, etc.) The system outputs the spatio-temporal coordinates of each pedestrian during the period the pedestrian is in the scene. Processing is done at three levels: raw images, blobs, and pedestrians. Blob tracking is modeled as a graph optimization problem. Pedestrians are modeled as rectangular patches with a certain dynamic behavior. Kalman filtering is used to estimate pedestrian parameters. The system was implemented on a Datacube MaxVideo 20 equipped with a Datacube Max860 and was able to achieve a peak performance of over 30 frames per second. Experimental results based on indoor and outdoor scenes demonstrated the system s robustness under many difficult situations such as partial or full occlusions of pedestrians     

基于特征增强模块的小尺度行人检测

行人检测中,小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率,该文提出一个特征增强模块。首先,考虑到小尺度行人随着网络加深特征逐渐减少的问题,特征融合策略突破特征金字塔层级结构的约束,融合深层、浅层特征图,保留了大量小尺度行人特征。然后,考虑到小尺度行人特征容易与背景信息发生混淆的问题,通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性,利用小尺度行人上下文信息和通道信息,增强了小尺度行人特征并且抑制了背景信息。最后,基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%,检测速度为22帧/s,在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。