一种改进聚合通道特征的行人检测方法

行人检测是计算机视觉和模式识别领域的研究热点与难点,针对聚合通道特征（Aggregate channel feature,ACF）算法应用于行人检测时,出现检测精度较低、平均对数漏检率（Log-average miss rate,LAMR）较高的情况,提出一种改进的ACF行人检测算法。首先结合objectness方法对ACF算法低得分区域进行进一步验证,可以在一定程度上减少算法的误检数;其次结合检测窗口的得分及位置信息,对非极大值抑制算法（Non-maximum suppression,Nms）进行改进,平均精度（Average precision,AP）提升了0.41%,LAMR降低了1.49%;最后采用星型可形变部件模型（Star-cascade DPM,casDPM）对一定阈值下的得分检测窗口进行级联检测,AP提升了0.65%,LAMR降低了2.06%。在INRIA数据集上实验表明,满足实时检测的条件下,极大地降低了误检数,具有较好的行人检测效果。     

结合网格密度聚类的行人检测候选域生成

目的 行人检测是计算机视觉领域中的重点研究问题。经典的可变形部件模型（DPM）算法在行人检测领域素有高检测精度的优点,但由于在构建特征金字塔前处理过多召回率低的候选区域,导致计算速度偏慢,严重影响系统的实时性。针对该问题,本文对模型中选取候选检测区域的流程进行了改进,提出一种结合网格密度聚类算法和选择性搜索算法的行人检测候选对象生成方法来改进DPM模型。方法 首先使用三帧差法和高斯混合模型收集固定数量的运动物体坐标点,然后结合基于网格密度的聚类算法构建网格坐标模型,生成目标频繁运动区域,同时进行动态掩层处理。随后引入改进的选择性搜索算法,结合支持向量机（SVM）训练得到的行人轮廓宽高比,提取该区域中高置信度的行人候选检测窗口,从而排除大量冗余的区域假设,完成对候选行人检测区域的精筛选,最后融合至DPM算法进行行人检测。结果 所提方法在PETS 2009 Bench-mark数据集上进行检测,实验结果表明,该方法对复杂背景下的检测有较强的稳定性,与传统DPM模型相比,精度提高了1.71%、平均对数漏检率降低2.2%、检测速度提高为3.7倍左右。结论 本文提出一种基于网格密度聚类的行人检测候选域生成算法,能够有效表达行人信息,与其他行人检测算法相比,有更好的精度和更快的速度,在检测率、检测时间方面均有提高,能够实现有效、快速的行人检测,具有实际意义。     

面向部件遮挡补偿的车辆检测模型

目的 复杂场景中多目标间的遮挡,会造成车辆视觉信息损失,致使车辆检测出现漏检问题。方法 为解决遮挡车辆漏检问题,提出一种遮挡补偿模型,分析车辆部件的单视点/多视点可见概率,弥补已有基于部件的车辆检测模型对遮挡区域信息描述的不足。首先,通过外观模型估计车辆候选区域,确定车辆各部件的位置和相似程度,判定车辆部件的遮挡情况,并获得外观项和结构项;其次,计算车辆区域的单视点可见概率和多视点可见概率,并获取被遮挡的部件中心点对应的单视点/多视点可见概率,作为车辆检测的补偿项,调整遮挡部分的检测得分;最后,将车辆检测的外观项、结构项和补偿项,统一到遮挡补偿模型中,实现对候选区域的车辆判断。结果 实验结果表明,对比于现有的车辆检测模型,本文算法在PASCAL、MSRC以及真实场景中车辆检测结果对应的P-R曲线性能更佳。结论 该遮挡补偿模型在保持虚警率的同时,能够有效提升遮挡车辆的检测准确性。     

融合密度和精细分数的行人检测

目的 行人检测是指使用矩形框和置信度找出图像或者视频中的所有行人。传统的图像行人检测方法对于姿态各异或者相互遮挡的行人无能为力。深度神经网络（deep neural networks,DNN）在目标检测领域表现出色,然而依然难以解决行人检测中一些问题。本文提出一种融合密度和精细分数的行人检测方法DC-CSP（density map and classifier modules with center and scale prediction）。方法 首先,在CSP（center and scale prediction）网络的基础上添加密度图模块（density map module,DMM）和分类器模块（classifier module,CM）,得到DC-CSP网络;然后,针对置信度不精确问题,利用不同模块对分数预测结果的互补性质,设计阶段分数融合（stage score fusion,SSF）规则对检测分数进行更新,使得行人置信度上升、背景置信度下降;最后,基于NMS（non-maximum suppression）,利用估计的行人密度图,设计改进的自适应NMS（improved adaptive NMS,IAN）后处理方法,能够进一步改善检测结果,对相互遮挡行人提高交并比（intersection over union,IOU）阈值从而减少漏检,对单个行人降低IOU阈值从而减少错检。结果 在公开数据集Citypersons和Caltech上进行定量和定性分析。定量分析中,与其他方法相比,本文方法在Citypersons数据集的Reasonable、Heavy、Partial以及Bare子集上,对数平均漏检率分别下降了0.8%、1.3%、1.0%和0.8%,在Caltech数据集的Reasonable和All子集上分别下降了0.3%和0.7%;在定性分析中,可视化结果表明,本文方法在一定程度上解决了各种不同场景下存在的相互遮挡行人漏检、单个行人错检以及置信度不精确等一系列问题。此外,消融实验证明了所设计模块及其对应规则的有效性。结论 本文方法使用联合多个模块的卷积神经网络（convolutional neural network,CNN）,针对密度特征、分类特征分别设计IAN方法和SSF规则,在一定程度上解决了相互遮挡行人漏检、单个行人错检以及置信度不精确的问题,在多个数据集上证明了方法的有效性和鲁棒性。     

基于注意力增强的行人与头肩级联检测算法

在监控视频中，行人会存在不同视角、不同程度的遮挡问题，导致当前行人检测器漏检率、错检率较高，于是提出了一种注意力增强下的行人整体与行人头肩区域级联检测的行人检测器。提出一种新的通道注意力机制，称为全卷积通道注意力机制；针对分类和回归任务分别融入相适应的注意力机制，来增强有效的检测特征，抑制背景特征信息；设计行人整体与行人头肩区域级联行人检测器，通过行人整体与行人头肩区域的匹配算法，级联地处理检测结果。该算法，尤其针对下半身严重遮挡的情况，极大降低了遮挡行人的漏检率。实验结果表明，在Caltech公开行人检测测试数据集Reasonable（合理子集）的对数平均漏检率降低到5.37%，尤其在Occ=heavy（严重遮挡子集）上的对数平均漏检率降低到23.33%，同时在ETH和CityPersons行人检测数据集上，该算法亦拥有较好的检测效果。     

融合多层特征的多尺度行人检测

目的 行人检测在自动驾驶、视频监控领域中有着广泛应用,是一个热门的研究话题。针对当前基于深度学习的行人检测算法在分辨率较低、行人尺度较小的情况下存在误检和漏检问题,提出一种融合多层特征的多尺度的行人检测算法。方法 首先,针对行人检测问题,删除了深度残差网络的一部分,仅采用深度残差网络的3个区域提取特征图,然后采用最邻近上采样法将最后一层提取的特征图放大两倍后再用相加法,将高层语义信息丰富的特征和低层细节信息丰富的特征进行融合;最后将融合后的3层特征分别输入区域候选网络中,经过softmax分类,得到带有行人的候选框,从而实现行人检测的目的。结果 实验结果表明,在Caltech行人检测数据集上,在每幅图像虚警率（FPPI）为10%的条件下,本文算法丢失率仅为57.88%,比最好的模型之一——多尺度卷积神经网络模型（MS-CNN）丢失率（60.95%）降低3.07%。结论 深层的特征具有高语义信息且感受野较大的特点,而浅层的特征具有位置信息且感受野较小的特点,融合两者特征可以达到增强深层特征的效果,让深层的特征具有较为丰富的目标位置信息。融合后的多层特征图具有不同程度的细节和语义信息,对检测不同尺度的行人有较好的效果。所以利用融合后的特征进行行人检测,能够提高行人检测性能。     

注意力机制改进轻量SSD模型的海面小目标检测

目的 海面目标检测图像中的小目标数量居多,而基于深度学习的目标检测方法通常针对通用目标数据集设计检测模型,对图像中的小目标检测效果并不理想。使用一般目标检测模型检测海面目标图像的特征时,通常会出现小目标漏检情况,而一些特定的小目标检测模型对海面目标的检测效果还有待验证。为此,在标准的SSD(single shot multiBox detector)目标检测模型基础上,结合Xception深度可分卷积,提出一种轻量SSD模型用于海面目标检测。方法 在标准的SSD目标检测模型基础上,使用基于Xception网络的深度可分卷积特征提取网络替换VGG-16(Visual Geometry Group network-16)骨干网络,通过控制变量来对比不同网络的检测效果;在特征提取网络中的exit flow层和Conv1层引入轻量级注意力机制模块来提高检测精度,并与在其他层引入轻量级注意力机制模块的模型进行检测效果对比;使用注意力机制改进的轻量SSD目标检测模型和其他几种模型分别对海面目标检测数据集中的小目标和正常目标进行测试。结果 为证明本文模型的有效性,进行了多组对比实验。实验结果表明,模型轻量化导致特征表达能力降低,从而影响检测精度。相对于标准的SSD目标检测模型,本文模型在参数量降低16.26%、浮点运算量降低15.65%的情况下,浮标的平均检测精度提高了1.1%,漏检率减小了3%,平均精度均值(mean average precision,mAP)提高了0.51%,同时,保证了船的平均检测精度,并保证其漏检率不升高,在对数据集中的小目标进行测试时,本文模型也表现出较好的检测效果。结论 本文提出的海面小目标检测模型,能够在压缩模型的同时,保证模型的检测速度和检测精度,达到网络轻量化的效果,并且降低了小目标的漏检率,可以有效实现对海面小目标的检测。     

级联型P-RBM神经网络的人脸检测

目的 针对非理想条件下快速准确的人脸检测问题,提出一种基于概率态多层受限玻尔兹曼机(RBM)级联神经网络的检测方法。方法 它采用RBM中神经元的概率态表征来模拟人脑神经元连续分布的激活状态,并且利用多层P-RBM(概率态RBM)级联来仿真人脑对视觉的层次学习模式,又以逐层递减隐藏层神经元数来控制网络规模,最后采用分层训练和整体优化的机制来缓解鲁棒性和准确性的矛盾。结果 在LFW、FERET、PKU-SVD-B以及CAS-PEAL数据集上的测试都实现了优于现有典型算法的检测性能。对于单人脸检测,相比于Adaboost算法,将漏检率降低了2.92%;对于多人脸检测,相比于结合肤色的Adaboost算法,将误检率降低了14.9%,同时漏检率降低了5.0%,检测时间降低了50%。结论 无论是静态单张人脸,还是复杂条件下视频多人脸检测,该方法不仅在误检率和漏检率上表现更好,而且具有较快的检测速度,同时对于旋转人脸检测具有较强的鲁棒性。针对基于肤色的多人脸检测研究,该方法能显著降低误检率。     

改进R-FCN模型的小尺度行人检测

目的 为了有效解决传统行人检测算法在分辨率低、行人尺寸较小等情境下检测精度低的问题,将基于区域全卷积网络（region-based fully convolutional networks,R-FCN）的目标检测算法引入到行人检测中,提出一种改进R-FCN模型的小尺度行人检测算法。方法 为了使特征提取更加准确,在ResNet-101的conv5阶段中嵌入可变形卷积层,扩大特征图的感受野;为提高小尺寸行人检测精度,在ResNet-101中增加另一条检测路径,对不同尺寸大小的特征图进行感兴趣区域池化;为解决小尺寸行人检测中的误检问题,利用自举策略的非极大值抑制算法代替传统的非极大值抑制算法。结果 在基准数据集Caltech上进行评估,实验表明,改进的R-FCN算法与具有代表性的单阶段检测器（single shot multiBox detector,SSD）算法和两阶段检测器中的Faster R-CNN（region convolutional neural network）算法相比,检测精度分别提高了3.29%和2.78%;在相同ResNet-101基础网络下,检测精度比原始R-FCN算法提高了12.10%。结论 本文提出的改进R-FCN模型,使小尺寸行人检测精度更加准确。相比原始模型,改进的R-FCN模型对行人检测的精确率和召回率有更好的平衡能力,在保证精确率的同时,具有更大的召回率。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

基于似物性的快速视觉目标识别算法

针对视觉目标识别算法实时性较差的问题,基于似物性提出一种面向视觉目标识别的可变部件模型改进算法。该算法首先对图像进行二进制归一化的似物性检测,并利用检测结果形成视觉目标候选框;然后使用目标识别算法对候选区域进行似然判决,比滑动窗口法缩短了搜索时间;最后通过一个快速扩大-缩小算法对检测目标进行尺度修正,提高目标框的准确度。在PASCAL 图像库上的识别结果表明:该识别方法在准确率上优于当前主流的检测模型,计算耗时较级联DPM算法减少约50%。     

基于运动特征及位置估计的行人检测算法

根据行人运动的特点和行人在图像中位置与身高的对应关系,提出了一种结合运动特征与位置估计的行人检测算法。提取运动特征和聚合通道特征（ACF）,将提取的特征放到Real Adaboost分类器里进行训练,并对行人可能存在的位置建立评估模型;在检测阶段,通过分类器确定行人的候选区域,然后采用非极大值抑制算法去除重叠窗口,最后对行人候选区域应用位置评估模型进一步判断,以此排除可能的非行人目标。实验采用Caltech数据集对算法进行仿真,该算法的平均对数漏检率为27.12%,与ACF算法的相比降低了5.9个百分点。实验表明运动特征在视频检测中能够与静态特征进行信息互补,同时行人的位置估计在摄像机固定的情况下,具有一定的判断能力。     

基于似物性和空时协方差特征的行人检测算法

针对行人检测算法中缺少空时信息融合、检测区域过大等问题,提出了一种联合似物性检测和基于通道协方差信息的改进算法。该算法首先对图像进行二进制梯度归一化的似物性检测,并形成行人检测候选区域,缩小检测区域;然后提取待测目标的空间和时间特征;最后基于协方差信息构造一种融合空时特征的检测器,以提高检测精度。在公开的数据集INRIA和Caltech上的实验结果表明:该算法的性能优于目前主流的行人检测算法。     

基于BING似物性检测的行人快速检测算法*

针对传统滑动窗行人检测速度慢、实时性差的问题,提出了一种基于似物性的行人快速检测算法。首先,算法通过提取正负训练样本的规范化二进制梯度特征,训练级联SVM分类器得到行人似物检测模型。然后利用尺寸调节和聚类算法对初始候选区域进行聚类融合,进一步优化行人候选窗口区域。最后,提取各候选区域的HOG特征并利用SVM分类器对其进行进一步行人检测。实验结果表明：本算法在保证行人检测率的同时在检测实时性上有明显提高。     

融合分支定界的可变形部件模型的行人检测

针对可变形部件模型（DPM）算法在行人检测领域中的检测精度高,但由于在特征提取和行人定位两步中的计算量过大,导致检测速度过慢而不能应用于实时行人检测的问题,提出了一种融合分支定界算法和级联检测算法的可变形部件模型（BBCDPM）算法。首先,选取梯度方向直方图（HOG）特征作为描述人体目标的特征,从而生成特征金字塔;然后,进行可变形部件模型的建模,并使用隐变量支持向量机（LSVM）对模型进行训练;同时,为了提高行人检测的准确度,将传统可变形部件模型算法中的5个部件模型增加到了8个;最后,在利用了级联检测算法简化检测模型的基础上,结合了分支定界算法寻找最大值,排除大量不可能的对象假设,完成对行人目标的定位和检测。在INRIA数据集上进行了实验,结果表明,与传统DPM算法相比,该算法将准确率提高了12个百分点,且大幅提高了行人检测与识别的速度。     

夜间多场景的邻近感知实时行人检测算法

目的 行人检测是自动驾驶、监控安防等领域的关键技术，为了解决目标检测算法在夜间复杂场景以及遮挡情况下造成的行人检测精度降低的问题，本文提出将低光增强算法（low-light image enhancement）添加到夜间行人检测任务中进行联合训练，并引入邻近感知模块（nearby objects hallucinator,NOH），提出了一种改进的夜间监控场景下的邻近感知行人检测算法（nearby-aware surveillance pedestrian detection algorithm,NSPDet）。方法 为了提升夜间检测行人的准确率，在基线模型中加入低光增强模块（zero-reference deep curve estimation,Zero-DCE）。为了降低密集人群、遮挡造成的漏检、误检，利用NOH建模周围行人分布信息，提出了行人检测头（PedestrianHead）。为了减少模型参数，提升推理速度，本文利用深度可分离卷积将模型进行轻量化。结果 在NightSurveillance数据集上进行3组消融实验，相比基线模型YOLOX(exceeding YOLO (yo...     

改进的非极大值抑制算法的目标检测

目的 作为目标检测的后置处理算法,非极大值抑制（NMS）算法被用于移除多余的检测框。然而,NMS算法在每轮迭代中抑制所有与预选取检测框Intersection-over-Union（IoU）值大于给定阈值的检测框,容易造成目标的漏检和误检。此外,阈值的选取对整个算法的效果有着至关重要的影响。针对这个问题,本文提出了改进的NMS算法,分别为分段比例惩罚因子NMS算法和连续比例惩罚因子NMS算法。在连续比例惩罚因子NMS算法中,阈值对算法的运行效果仅有轻微的影响。方法 改进的NMS算法首先根据检测框与预选取检测框的IoU值大小计算出检测框对应的比例惩罚因子;然后将检测框置信度分数乘以比例惩罚因子,通过比例惩罚因子逐轮降低检测框的分数;最后经过多轮迭代后移除分数低于阈值的检测框。结果 基于分段比例惩罚因子NMS算法和连续比例惩罚因子NMS算法的Faster RCNN目标检测模型在PASCAL VOC 2007数据集下,Faster RCNN的检测平均精度均值（mAP）相较于传统的NMS算法分别提高了1.5%和1.6%。其中,以火车类为例,当准确率和召回率均为80%时,火车类检测的漏检率和误检率分别降低了1.8%和1.2%。与传统的NMS算法相比,本文所提出改进的NMS算法可以有效地保留目标检测框和移除目标的假正例检测框,从而降低NMS算法的漏检率和误检率。结论 在时间复杂度相同和运行效率一致的情况下,与传统的NMS算法相比,本文所提出的改进NMS算法mAP值得到了显著的提升,同时本文算法为其他目标检测模型提供了一个通用的解决方法。