基于深度学习的行人数量统计方法

为了实现对视频中的行人进行实时、准确的人数统计,提出了一种基于深度学习的计数方法。首先,通过K-means聚类方法优化检测模型的先验框;其次,使用实际场景下获取的行人图像对深度学习模型YOLO-v3进行训练;然后利用Deepsort在线多目标跟踪算法跟踪多个行人并分别获取其轨迹;最后通过计数线法判断行人数量。该方法计数准确率可达89.2%,每帧检测时间可达65ms,且场景适应性强,鲁棒性好,可满足实时行人计数要求。     

基于形状上下文和粒子滤波的多目标跟踪

目标跟踪是计算机视觉领域里研究的热点和难点。提出一种基于形状上下文和粒子滤波的多目标跟踪算法,通过在跟踪过程中融入目标检测信息来处理目标进入与离开场景问题和目标重叠与分离问题。首先,采用自适应增强检测算法对视频区域中的目标进行检测;然后,利用形状上下文特征来建立被跟踪目标的外观模型;最后,利用粒子滤波方法进行粒子的选择和目标的跟踪。实验证明,提出的算法能够有效处理目标进入与离开场景的问题和目标重合与分离的问题,在单一背景和复杂背景下都能进行较为准确的跟踪,还能一定程度上处理部分遮挡问题。     

基于自校准与异构网络的多目标跟踪算法

为解决多目标跟踪算法在遮挡场景下导致的身份切换等问题,提升算法跟踪精度,提出一种融合自校准与异构卷积的离线图跟踪网络(self-calibrated convolutions and asymmetric convolution track, SCAACTrack)。利用融合自校准卷积网络与非对称结构进行目标外观特征提取,提升算法行人重识别能力。通过采用不同帧之间目标外观特征、时间和空间3种维度进行图神经网络建模,引入基于时间感知的消息传递网络加强多目标跟踪流式守恒约束。实验结果表明,与传统的多目标跟踪算法MPNTrack、Tracktor、KCF等模型相比,该模型跟踪效果更有效。     

融合人体全身表观特征的行人头部跟踪模型

现有的行人多目标跟踪模型在密集场景下存在行人无法检出以及帧间关联混淆的问题。为了提高密集场景下行人跟踪的精确率，提出一种融合全身表观特征的行人头部跟踪模型HT-FF(Head Tracking with Full-body Features)。首先，使用行人头部检测器替代全身检测器，提高密集场景下行人的检出率；其次，利用人体姿态估计的信息为引导，获得去噪声的全身表观特征作为跟踪线索，大幅减少多帧之间关联时发生的混淆。HT-FF模型在密集场景下行人跟踪的基准数据集Head Tracking 21(HT21)上的MOTA(Multiple Object Tracking Accuracy)和IDF1(ID F1 Score)等多个指标上取得了最优的结果。HT-FF模型能有效缓解密集场景下行人跟踪丢失和混淆的问题，所提出的融合多线索的跟踪模型是行人跟踪任务的新范式。     

多目标检测与跟踪算法在智能交通监控系统中的研究进展

多目标跟踪的研究对于构建人、路、车、云协同一体化的智能交通监控系统具有广泛的应用价值,传统手工设计特征的方法对高层信息的表征能力有限,难以进行复杂场景下的多目标跟踪,随着深度学习的发展,多目标跟踪算法的性能取得较大进展.为了宏观把握基于深度学习的多目标跟踪算法的研究进展,首先比较基于检测的跟踪算法、基于联合检测与跟踪算法、基于单目标跟踪器的多目标跟踪算法的优缺点;然后介绍多目标跟踪算法在智能交通监控场景的应用;最后总结目前多目标跟踪存在的问题与挑战,对多目标跟踪算法未来在智能交通领域的发展进行思考和展望.     

融合人群密度的自适应深度多目标跟踪算法

多目标跟踪技术不能较好地解决目标严重遮挡场景下的多目标跟踪问题,因此文中提出融合人群密度的自适应深度多目标跟踪算法.首先,融合人群密度图和目标检测结果,利用人群密度图的位置和计数信息修正检测器结果,消除漏检、误检.然后,使用自适应三元组损失改进行人重识别模型的损失函数,提高对重识别特征的辨别能力.最后,使用外观和运动信息进行目标关联,得到最终的跟踪结果.实验验证文中算法可有效解决目标严重遮挡场景下的多目标跟踪问题.     

基于多信息融合的多目标跟踪方法研究

在线多目标跟踪作为计算机视觉和人工智能方面的一个研究热点,随着深度学习的发展取得了较大的进展。但是依然存在诸如复杂场景跟踪准确度低等亟待解决的问题。针对多目标跟踪研究中存在的行人特征信息较少、跟踪目标被遮挡等问题,提出了一种融合表观信息、轨迹历史信息和目标运动信息的多目标跟踪方法,通过专门设计的双分支网络结构和损失函数使模型在学习时将三种信息相互融合;改进相似性分数计算方法获得更多的特征信息,提取更为鲁棒的特征。多信息融合的多目标跟踪方法在计算方面开销较少,能够在测试时达到实时的效果。并且,通过相关实验验证,基于多信息融合的多目标跟踪方法能够在MOT16数据集上达到很好的性能,可以更好的处理目标遮挡、目标误检及目标丢失等情况。     

在线多目标视频跟踪算法综述

视频多目标跟踪是计算机视觉领域重要的研究课题之一,不论是在军用还是民用都有广泛应用。目前对单目标的跟踪算法研究已经相当成熟,但对于多目标跟踪的研究还处于发展阶段。重点研究了多目标跟踪过程中的四个重要阶段：特征提取、检测器、数据关联、跟踪器。特征提取阶段详细介绍了目前主流的特征提取方法以及各个方法之间的优缺点;检测器阶段首先详细介绍了目标外观模型在具体应用场景中的跟踪效果,接着对基于检测跟踪的多目标跟踪算法和基于深度学习的多跟踪算法进行了分析;跟踪器阶段分别介绍了目标运动模型的建立和利用不同跟踪器混合的多目标跟踪算法;数据关联阶段分别介绍了基于能量最小化的多目标跟踪以及常用的数据关联算法。接着,介绍了目前主流的数据集以及评测方法;最后对多目标跟踪未来的发展进行了思考和展望。     

Lie群下利用改进JPDA滤波器的智能车立体视觉多目标跟踪方法

提出基于改进联合概率数据关联滤波器的智能车立体视觉多目标跟踪方法。利用立体视觉摄像头采集车辆及行人图像、视频;在Lie群下对传感器的不确定性进行建模,并采用欧几里德群算法对预处理的图像进行状态滤波;在可能存在车辆的区域内利用双目视觉去除误检,并获得车辆的位置信息;通过卡尔曼滤波器对测量的不确定度和预测目标运动的轨迹进行确认;运用改进的联合概率数据关联滤波器对车辆及行人的跟踪结果进行优化修正。实验结果表明,提出的方法可以有效解决智能车多目标跟踪问题,大幅度提升驾驶系统的自动化和智能化水平。相比其他较新的目标跟踪方法,提出的方法在跟踪精度和速度上具有明显的优势,且在跟踪车辆时不会产生明显的偏移、不会遗漏对行人的跟踪。     

环境辅助的多任务混合声音事件检测方法

在混合声音事件检测任务中,不同事件的声音信号相互混杂,从混合语音信号中提取的全局特征无法很好地表达每种单独的事件,导致当声音事件数量增加或者环境变化时,声音事件检测性能急剧下降。目前已存在的方法尚未考虑环境变化对检测性能的影响。鉴于此,文中提出了一种基于多任务学习的环境辅助的声音事件检测模型(Environment-Assisted Multi-Task,EAMT),该模型主要包含场景分类器和事件检测器两大核心部分,其中场景分类器用于学习环境上下文特征,该特征作为事件检测的额外信息与声音事件特征融合,并通过多任务学习方式来辅助声音事件检测,以此提高模型对环境变化的鲁棒性及多目标事件检测的性能。基于声音事件检测领域的主流公开数据集Freesound以及通用性能评估指标F1分数,将所提模型与基准模型(Deep Neural Network,DNN)及主流模型(Convolutional Recurrent Neural Network,CRNN)进行对比,共设置了3组对比实验。实验结果表明:1)相比单一任务的模型,基于多任务学习的EAMT模型的场景分类效果和事件检测性能均有所提升,且环境上下文特征的引入进一步提升了声音事件检测的性能;2)EAMT模型对环境变化具有更强的鲁棒性,在环境发生变化时,EAMT模型事件检测的F1分数高出其他模型2%~5%;3)在目标声音事件数量增加时,相比其他模型,EAMT模型的表现依旧突出,在F1指标上取得了2%~10%的提升。     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

基于智能体的行人路径查找微观模型研究

已有的行人路径查找模型大多数只关心行人群体的行为,而对行人的个体行为和思维方式几乎没有研究。为了更能体现行人的个体行为、思维方式以及行人与环境的交互作用,本文采用智能体和分层路网的思想,首先对行人智能体所处的路网进行分类,其中对机动车路网采用路线轨迹法,对行人采用无轨迹的路网描述;其次赋予行人一些复杂的的规则,并加入吸引点效应、信号灯效应和行人的群效应等约束规则,分析行人与其它行人、机动车、路网以及信号灯等的交互模型,体现行人智能体的自主性、反应性和社会性等;最后初步描述行人智能体复杂的路径查找微观模型全过程。通过对比分析几种典型的行人路径查找模型,表明本文的行人路径查找微观模型更能反映现实生活中的行行人路径查找过程,更能体现行人的智能性。     

基于改进DSST的行人遮挡跟踪算法

为解决判别尺度空间跟踪(DSST)算法在行人处于长期完全遮挡后又重新出现的情况下无法跟踪的问题, 提出了一种改进的跟踪算法(DDSST). 在DSST框架下,首先对行人目标跟踪, 然后, 引入高置信度指标计算策略作为跟踪准确可信度反馈机制, 在跟踪丢失时利用可变部件模型(DPM)对跟踪目标重新定位. 最后, 通过评估在线目标跟踪基准(OTB)数据集和实际环境拍摄的视频序列对DDSST算法准确性进行验证, 并与其他跟踪算法进行比较. 实验分析表明, 改进算法相较DSST的距离精度与成功率提高了4.1% 和6%, 相比其他算法性能更优, 且在形变、遮挡、平面外旋转、运动模糊和尺度变换等条件下跟踪更稳定.     

使用单目摄像头的实时行人计数算法

为解决智能视频监控系统通道入口处的行人计数问题,设计在高斯背景建模下的行人检测计数算法。在该算法中,摄像头垂直放置在入口处的门顶上。为了降低计算复杂度,提高计算精度,设置一个感兴趣的检测区域,在该区域中通过对行人的检测及跟踪进行计数,并采用队列模型处理以提高检测效果。实验结果表明,该算法可以有效地对入口行人进行检测计数。     

基于粒子滤波的多特征融合视频行人跟踪算法

针对车载视频行人跟踪问题,提出一种基于粒子滤波框架下的多特征融合跟踪算法。为克服车载视频中行人运动与摄像机运动产生的非线性和非高斯性,采用基于蒙特卡罗抽样的粒子滤波跟踪算法,使用一阶自回归动态模型预测目标状态,观测模型自适应加权融合的4种互补性特征。实验结果表明,与没有粒子滤波和多特征融合的跟踪算法相比,在相同精确率水平上,该算法的召回率提高20%以上。     

融合多层特征的多尺度行人检测

目的 行人检测在自动驾驶、视频监控领域中有着广泛应用,是一个热门的研究话题。针对当前基于深度学习的行人检测算法在分辨率较低、行人尺度较小的情况下存在误检和漏检问题,提出一种融合多层特征的多尺度的行人检测算法。方法 首先,针对行人检测问题,删除了深度残差网络的一部分,仅采用深度残差网络的3个区域提取特征图,然后采用最邻近上采样法将最后一层提取的特征图放大两倍后再用相加法,将高层语义信息丰富的特征和低层细节信息丰富的特征进行融合;最后将融合后的3层特征分别输入区域候选网络中,经过softmax分类,得到带有行人的候选框,从而实现行人检测的目的。结果 实验结果表明,在Caltech行人检测数据集上,在每幅图像虚警率（FPPI）为10%的条件下,本文算法丢失率仅为57.88%,比最好的模型之一——多尺度卷积神经网络模型（MS-CNN）丢失率（60.95%）降低3.07%。结论 深层的特征具有高语义信息且感受野较大的特点,而浅层的特征具有位置信息且感受野较小的特点,融合两者特征可以达到增强深层特征的效果,让深层的特征具有较为丰富的目标位置信息。融合后的多层特征图具有不同程度的细节和语义信息,对检测不同尺度的行人有较好的效果。所以利用融合后的特征进行行人检测,能够提高行人检测性能。     

融合先验知识的自适应行人跟踪算法

在实际监控场合中,行人的运动有着诸多不确定性,这些会对现有的跟踪算法产生干扰,从而造成跟踪丢失.基于此,文中提出一种将行人检测的先验知识融入到跟踪模型自学习过程的行人跟踪算法.首先通过离线训练,得到具有较强区分能力的子分类器集,这些子分类器蕴含了对于行人的先验知识.在跟踪过程中,使用online boosting算法从离线训练的子分类器集中学习并更新强分类器,对被跟踪行人进行动态建模.实验结果表明,该算法有效缓解算法自适应性与"漂移"之间的矛盾,能够在真实监控场合下跟踪具有复杂运动的行人.     

基于人流量检测的改进CN算法

为实现在行人严重遮挡时人流量的精确统计,研究一种基于人流量检测的改进CN算法。结合背景差分与三帧差分提取运动目标前景;通过梯度方向直方图与支持向量机判断头肩特征;在Kalman滤波器预测下一帧图像中目标位置的周围选取检测窗口,利用融合HOG与CN(颜色名)特征的改进CN算法实现目标跟踪;以感兴趣区域计数线为准,结合目标运动轨迹实现人流量统计。实验结果表明,该算法在有行人严重遮挡的情况下具有较高的检测效率。     

基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法

为解决判别式相关滤波（DCF）跟踪算法在跟踪目标旋转或非刚性形变时的模型漂移、尺度粗糙、跟踪失败问题,提出一种基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法（DWOP-EFO）。首先,同时采用矩形框之间的重叠度和中心距离作为动态锚框质量评价的依据,能够缩小预测结果与目标区域之间的空间距离,缓解模型漂移问题;其次,为了进一步提高跟踪精度,采用轻量化的目标分割网络将目标从背景中分割出来,再利用椭圆拟合算法对分割轮廓进行优化并输出稳定的旋转矩形框,实现对目标尺度的精确估计;最后,通过尺度置信度优化策略对置信度高的尺度结果实现门控输出。所提算法能缓解模型漂移问题,同时有利于增强跟踪器的鲁棒性和提升跟踪精度。在两个最为流行的评测数据集VOT2018和OTB100上进行了实验,结果表明：在VOT2018数据集上,所提算法的期望平均重叠率（EAO）指标比基于重叠度最大化准确跟踪算法（ATOM）提高2.2个百分点,相较于基于可学习的判别模型跟踪器（DiMP）提高1.9个百分点;同时,所提算法在OTB100评测数据集上的成功率指标比ATOM高出1.3个百分点,特别是在非刚性形变属性上效果显著。所提算法在评测数据集上的平均运行速率均超过25 frame/s实现了实时跟踪。     

基于Codebook背景建模的视频行人检测

针对视频序列,Codebook背景建模算法能检测出其中的运动物体,但却无法识别行人.而大部分基于支持向量机(SVM)训练的行人分类器,需要通过滑动窗口遍历图像检测行人.为加快行人检测的速度,提出将传统的行人分类器融入到Codebook背景建模算法中,通过背景建模算法为行人检测提供候选区域,减少搜索范围,降低了行人误检率;并根据行人的特点,构建临时块模型定期将满足条件的前景区域更新到背景模型中,解决了Codebook背景建模算法不能应对光照突变的问题.实验结果表明:所提算法能应对光照突变所带来的干扰,实现视频行人实时检测.