基于无锚框的目标检测方法及其在复杂场景下的应用进展

基于深度学习的目标检测方法是目前计算机视觉领域的热点,在目标识别、跟踪等领域发挥了重要的作用.随着研究的深入开展,基于深度学习的目标检测方法主要分为有锚框的目标检测方法和无锚框的目标检测方法,其中无锚框的目标检测方法无需预定义大量锚框,具有更低的模型复杂度和更稳定的检测性能,是目前目标检测领域中较前沿的方法.在调研国内外相关文献的基础上,梳理基于无锚框的目标检测方法及各场景下的常用数据集,根据样本分配方式不同,分别从基于关键点组合、中心点回归、Transformer、锚框和无锚框融合等4个方面进行整体结构分析和总结,并结合COCO(Common objects in context)数据集上的性能指标进一步对比.在此基础上,介绍了无锚框目标检测方法在重叠目标、小目标和旋转目标等复杂场景情况下的应用,聚焦目标遮挡、尺寸过小和角度多等关键问题,综述现有方法的优缺点及难点.最后对无锚框目标检测方法中仍存在的问题进行总结并对未来发展的应用趋势进行展望.     

基于深度学习和Transformer的目标检测算法

目标检测是实现目标跟踪、实例分割等高级视觉任务的基础,在智慧交通、缺陷检测、智能安防等现实场景有着重要应用。现有高精度检测算法都是在深度学习的指导下实现,同时伴有锚框技术,但是锚框自身的不足对检测器性能有着较大影响,无锚点碰撞检测成为了近几年目标检测领域新的研究方向。与此同时,Transformer表现出的巨大潜力为视觉领域开辟了图像与Transformer结合这个新方向,基于Transformer的目标检测也成为一个新的研究热点。系统地总结了深度学习时代的目标检测算法,调查并研究了近五年目标检测的相关论文,重点从Anchorfree和Transformer两个角度对这些算法进行深入分析,介绍了这些算法在现实场景具体应用情况以及目标检测领域常用数据集,基于目前的研究现状对目标检测的未来可研究方向进行了展望。     

基于改进FCOS的拥挤行人检测算法

针对大规模拥挤场景视频中行人目标小、行人遮挡和行人交叠而导致的检测困难等问题,本文将逐像素预测目标检测框架—全卷积单阶段目标检测FCOS（fully convolutional one-stage object detection）应用于行人检测,提出一种改进的主干网络用于提取行人特征,通过增加尺度回归实现目标行人的多尺度检测,同时减少其他特征层检测的目标数量,进而提升行人检测的能力。在拥挤行人场景数据集CrowdHuman和小目标行人数据集Caltech上的大量实验结果表明,和目前先进的方法相比,本文的方法对行人的检测精度有所提升,特别是对于小目标行人检测。与原始FCOS算法相比,在CrowdHuman上平均精度提升接近15%,丢失率降低接近33.0%;在Caltech上的平均精度提升2%。在复杂拥挤场景下的实际应用也证明本文方法的有效性。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

基于注意力机制子网络的时空跌倒检测算法

近年来行人跌倒检测变得越来越重要,因为准确及时的跌倒检测可以帮助跌倒者获得紧急救援。针对复杂场景中由于光照变化、遮挡和尺度变化等导致检测性能下降的问题,提出一种实时、鲁棒的跌倒检测算法。首先采用YOLO v3目标检测模块完成行人检测;然后在跟踪模块中对每个跟踪的边界框提取深层特征后,运用数据增强和重检测技术提高光照变化下的检测精度,并引入注意力机制子网络应对被遮挡目标的检测;最后跌倒判断模块对行人姿态进行判断,完成实时跌倒检测和报警。在Cityperson数据集、Montreal fall数据集和自建数据集上的实验结果表明,行人检测算法的检测精度达到87.05%,跌倒算法的检测精度达到98.55%,时延在120 ms以内,且在光照变化和遮挡影响下依然能获得良好的性能。     

基于非对称沙漏网络结构的目标检测算法

基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度,然而其速度却远低于同层次的普通网络的速度,并且不同尺度目标间的特征会互相干扰。针对上述问题,提出了一种非对称沙漏网络结构的目标检测算法。该算法在融合不同网络层的特征时不受形状大小的约束,能够快速高效抽象出网络的语义信息,使模型更容易学习到各种尺度之间的差异。针对不同尺度目标检测问题,设计了一种多尺度输出的沙漏网络结构用来解决不同尺度目标间特征互相干扰的问题,并精细化输出的检测结果。另外,针对多尺度输出使用了一种特殊的非极大值抑制算法以提高检测算法的召回率。实验结果表明,所提算法在COCO数据集上的AP50指标达到61.3%,相较于无锚框网络CenterNet提升了4.2个百分点。所提算法在精度与时间的平衡上超越了原始算法,尤其适用于对工业场景的目标进行实时检测。     

深度学习及时空约束的行人跟踪算法研究

由于以往的行人跟踪方法大部分不能有效地解决目标被遮挡后以及目标尺寸变化再跟踪的问题,所以引入了深度学习的方法,但是经实验发现单纯使用深度学习行人跟踪会因行人检测部分的误差而出现整体的跟踪准确率不高的问题。提出了一种基于深度学习和时空约束后处理的行人跟踪方法,深度学习的行人检测部分采用了根据实际应用场景优化过的SSD算法,行人匹配部分采用了一种计算交叉输入领域差异然后进行块总结的方法,最后进行时空约束的后处理。在OTB数据集上做实验,与传统跟踪算法以及单纯深度学习算法进行了对比。     

基于无锚框关键点算法的工件表面缺陷检测

针对工件表面图像中划痕缺陷尺寸比例异常、尺度变换大、背景纹理复杂等问题,提出一种基于无锚框关键点的工件表面缺陷检测算法AFKPDD。为提高尺寸比例异常的细长划痕的检测精度,采用基于RepPoints Head的检测模块,更好拟合缺陷形态并提取有效特征。为改善尺度变换和背景复杂问题,使用可变形卷积多尺度网络提取图像特征。为提高模型泛化能力,设计随机遮挡数据增强方法和多任务学习策略。自建铝制工件内壁数据集,AFKPDD算法在该数据集上AP达到88.9%,优于其它主流目标检测算法。在公开钢材表面数据集上验证了模型的泛化能力和在划痕检测上的应用价值。     

XSSD-P：改进的SSD行人检测算法

SSD（single shot multi-box detector）是目前广泛应用于行人检测的神经网络算法,为了提高其检测精度和检测速度,对SSD算法进行了有效改进（改进后的算法称为XSSD-P）。选择Xception网络作为XSSD-P算法的骨干网络并重新选择用于预测的特征层;根据行人外形尺寸的特征设计了多尺度卷积核和基础锚框,并将二者耦合,基础锚框通过调节自身大小得到锚框（anchors）用于位置回归;再使用深度可分离卷积代替常规卷积在特征图上进行预测,实现了行人的有效检测。在INRIA数据集、VOC数据集和COCO数据集上进行检测精度对比测试,与SSD以及其他主流算法相比,XSSD-P算法在行人检测方面拥有更高的检测精度,并在Caltech行人数据集和MIT行人数据集中验证了XSSD-P算法的泛化性能。在检测速度方面,与SSD算法相比,XSSD-P算法的检测速度高出30?FPS,提高了42.86%。实验结果表明,XSSD-P的检测精度和检测速度均优于SSD算法。     

旋转目标检测算法在卫星影像中的应用

近年来,深度学习在卫星影像目标检测领域得到了快速的发展,如何精准高效定位目标物体是卫星影像目标检测研究中的主要难点。提出了一种基于旋转矩形空间的YOLOv3改进算法来精准定位卫星影像目标,对原有网络进行改进,增加角度变换的数据预处理过程,防止实例角度变化对网络训练造成影响。使用双旋转坐标进行回归训练,增加了角度锚点,提高了网络对卫星目标的检测有效性。提出了基于旋转矩形空间的非极大值抑制改进算法,可以有效去除多余的旋转预测框。实验结果表明,改进YOLOv3算法相较于原始YOLOv3算法拥有更好的可视化效果,可以有效准确地定位卫星影像的目标物体,有效避免了密集场景下预测框的遮挡问题,在保证实时性的前提下,将均值平均精度提高了0.8个百分点。     

基于多尺度上下文信息的遮挡行人检测

在遮挡场景下的行人检测一直是计算机视觉中的一个棘手问题,由于被遮挡的行人尺度差异大,可见率低,通常会给检测带来极大的挑战。针对这一问题,提出了一种针对行人遮挡检测的模型结构,对基于anchor-free的行人检测方法进行改进。设计了一种提取多尺度上下文信息的结构,通过级联多个不同扩张率的卷积层,使用密集连接实现多尺度特征共享,提取各个区域的上下文信息来解决遮挡问题。此外,为了提高特征的可分辨性,使用通道注意力机制对多尺度特征融合进行自适应的调整。实验结果表明,该方法在Caltech行人数据集的遮挡子集上实现了41.73%的MR?2,性能优于其他检测算法。     

夜间多场景的邻近感知实时行人检测算法

目的 行人检测是自动驾驶、监控安防等领域的关键技术，为了解决目标检测算法在夜间复杂场景以及遮挡情况下造成的行人检测精度降低的问题，本文提出将低光增强算法（low-light image enhancement）添加到夜间行人检测任务中进行联合训练，并引入邻近感知模块（nearby objects hallucinator,NOH），提出了一种改进的夜间监控场景下的邻近感知行人检测算法（nearby-aware surveillance pedestrian detection algorithm,NSPDet）。方法 为了提升夜间检测行人的准确率，在基线模型中加入低光增强模块（zero-reference deep curve estimation,Zero-DCE）。为了降低密集人群、遮挡造成的漏检、误检，利用NOH建模周围行人分布信息，提出了行人检测头（PedestrianHead）。为了减少模型参数，提升推理速度，本文利用深度可分离卷积将模型进行轻量化。结果 在NightSurveillance数据集上进行3组消融实验，相比基线模型YOLOX(exceeding YOLO (yo...     

融合密度和精细分数的行人检测

目的 行人检测是指使用矩形框和置信度找出图像或者视频中的所有行人。传统的图像行人检测方法对于姿态各异或者相互遮挡的行人无能为力。深度神经网络（deep neural networks,DNN）在目标检测领域表现出色,然而依然难以解决行人检测中一些问题。本文提出一种融合密度和精细分数的行人检测方法DC-CSP（density map and classifier modules with center and scale prediction）。方法 首先,在CSP（center and scale prediction）网络的基础上添加密度图模块（density map module,DMM）和分类器模块（classifier module,CM）,得到DC-CSP网络;然后,针对置信度不精确问题,利用不同模块对分数预测结果的互补性质,设计阶段分数融合（stage score fusion,SSF）规则对检测分数进行更新,使得行人置信度上升、背景置信度下降;最后,基于NMS（non-maximum suppression）,利用估计的行人密度图,设计改进的自适应NMS（improved adaptive NMS,IAN）后处理方法,能够进一步改善检测结果,对相互遮挡行人提高交并比（intersection over union,IOU）阈值从而减少漏检,对单个行人降低IOU阈值从而减少错检。结果 在公开数据集Citypersons和Caltech上进行定量和定性分析。定量分析中,与其他方法相比,本文方法在Citypersons数据集的Reasonable、Heavy、Partial以及Bare子集上,对数平均漏检率分别下降了0.8%、1.3%、1.0%和0.8%,在Caltech数据集的Reasonable和All子集上分别下降了0.3%和0.7%;在定性分析中,可视化结果表明,本文方法在一定程度上解决了各种不同场景下存在的相互遮挡行人漏检、单个行人错检以及置信度不精确等一系列问题。此外,消融实验证明了所设计模块及其对应规则的有效性。结论 本文方法使用联合多个模块的卷积神经网络（convolutional neural network,CNN）,针对密度特征、分类特征分别设计IAN方法和SSF规则,在一定程度上解决了相互遮挡行人漏检、单个行人错检以及置信度不精确的问题,在多个数据集上证明了方法的有效性和鲁棒性。     

基于深度学习的视觉目标检测技术综述

视觉目标检测旨在定位和识别图像中存在的物体,属于计算机视觉领域的经典任务之一,也是许多计算机视觉任务的前提与基础,在自动驾驶、视频监控等领域具有重要的应用价值,受到研究人员的广泛关注。随着深度学习技术的飞速发展,目标检测取得了巨大的进展。首先,本文总结了深度目标检测在训练和测试过程中的基本流程。训练阶段包括数据预处理、检测网络、标签分配与损失函数计算等过程,测试阶段使用经过训练的检测器生成检测结果并对检测结果进行后处理。然后,回顾基于单目相机的视觉目标检测方法,主要包括基于锚点框的方法、无锚点框的方法和端到端预测的方法等。同时,总结了目标检测中一些常见的子模块设计方法。在基于单目相机的视觉目标检测方法之后,介绍了基于双目相机的视觉目标检测方法。在此基础上,分别对比了单目目标检测和双目目标检测的国内外研究进展情况,并展望了视觉目标检测技术发展趋势。通过总结和分析,希望能够为相关研究人员进行视觉目标检测相关研究提供参考。     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

面向监视视频实时分析的快速行人检测方法

为解决监视视频实时分析应用中行人检测效率低的问题,提出一种快速行人检测方法。首先,采用运动侦测方法提取运动区域,并结合行人检测要求对运动区域进行尺寸扩展、归一化和拼接操作;然后,在拼接图像上结合积分图快速提取各运动区域的Haar特征,并采用双支持向量机实现快速的特征分类;最后,结合包围盒相交策略进行帧间滤波,降低行人误检现象。实验表明,本文方法不仅可以实时检测行人目标,而且检测错误率低于现有主流方法。     

Anchor-free的尺度自适应行人检测算法

Anchor作为行人检测算法中的初始框,可以解决行人平移问题和缓解行人尺度变化问题,目前的行人检测算法通常都基于anchor.然而,使用anchor就需要精心调整对检测性能影响非常大的anchor超参数,如anchor的尺度和高宽比等.为避免这一问题,提出一种基于anchor-free损失函数的行人检测算法,并通过融合特征金字塔网络(FPN)所有检测分支的特征,使anchor-free行人检测算法在训练过程中不需要为FPN的每个检测分支设置有效的训练尺度范围.另外,还提出一个尺度注意力(scale attention,SA)模块,用于融合FPN所有检测分支特征的过程,使网络在检测某个尺度的行人时,能够自适应地为行人所对应的不同尺度的感兴趣区域(ROI)特征赋予合适的权重.实验结果显示,所提出的行人检测算法不仅可以实现anchor-free,从而避免anchor的超参数调整问题,而且在性能上优于其他行人检测算法,在CityPersons数据集上取得了目前最好的效果9.19%MR^-2.     

多尺度目标检测的深度学习研究综述

目标检测一直以来都是计算机视觉领域的研究热点之一,其任务是返回给定图像中的单个或多个特定目标的类别与矩形包围框坐标.随着神经网络研究的飞速进展,R-CNN检测器的诞生标志着目标检测正式进入深度学习时代,速度和精度相较于传统算法均有了极大的提升.但是,目标检测的尺度问题对于深度学习算法而言也始终是一个难题,即检测器对于尺度极大或极小的目标的检测精度会显著下降,因此近年来有不少学者在研究如何才能更好地实现多尺度目标检测.过往虽然已经出现了一系列的综述文章从算法流程、网络结构、训练方式和数据集等方面对基于深度学习的目标检测算法进行了总结与分析,但是对多尺度目标检测的归纳和整理却鲜有人涉足.因此,本文首先对基于深度学习的目标检测的两个主要算法流派的奠基过程进行了回顾,包括以R-CNN系列为代表的两阶段算法和以YOLO、SSD为代表的一阶段算法;然后,以多尺度目标检测的实现为核心,重点讲解了图像金字塔、构建网络内的特征金字塔等典型策略;最后,对多尺度目标检测的现状进行总结,并针对未来的研究方向进行展望.     

融合多层特征的多尺度行人检测

目的 行人检测在自动驾驶、视频监控领域中有着广泛应用,是一个热门的研究话题。针对当前基于深度学习的行人检测算法在分辨率较低、行人尺度较小的情况下存在误检和漏检问题,提出一种融合多层特征的多尺度的行人检测算法。方法 首先,针对行人检测问题,删除了深度残差网络的一部分,仅采用深度残差网络的3个区域提取特征图,然后采用最邻近上采样法将最后一层提取的特征图放大两倍后再用相加法,将高层语义信息丰富的特征和低层细节信息丰富的特征进行融合;最后将融合后的3层特征分别输入区域候选网络中,经过softmax分类,得到带有行人的候选框,从而实现行人检测的目的。结果 实验结果表明,在Caltech行人检测数据集上,在每幅图像虚警率（FPPI）为10%的条件下,本文算法丢失率仅为57.88%,比最好的模型之一——多尺度卷积神经网络模型（MS-CNN）丢失率（60.95%）降低3.07%。结论 深层的特征具有高语义信息且感受野较大的特点,而浅层的特征具有位置信息且感受野较小的特点,融合两者特征可以达到增强深层特征的效果,让深层的特征具有较为丰富的目标位置信息。融合后的多层特征图具有不同程度的细节和语义信息,对检测不同尺度的行人有较好的效果。所以利用融合后的特征进行行人检测,能够提高行人检测性能。