改进的卷积神经网络在行人检测中的应用

针对当前行人检测方法计算量大,行人特征提取复杂,检测结果易受复杂背景影响等问题,提出一种改进的卷积神经网络(convolutional neural network,CNN)模型。该模型在传统CNN基础上加入选择性注意层,模拟人眼的选择性注意功能,过滤复杂背景,突出行人特征。分别采用LBP(local binary pattern)纹理处理和梯度处理对选择性注意层进行训练,对比训练结果得到最优模型。分别在INRIA、NICTA和Daimler行人数据集上进行实验,结果表明,该模型在行人检测中准确率明显优于传统CNN、HOG+SVM、Haar+SVM、PCA+SVM,在INRIA、NICTA和Daimler行人数据集上的准确率分别达到了96.14%、96.64%和99.78%。     

改进的基于增强型HOG的行人检测算法

行人检测在人工智能系统、车辆辅助驾驶系统和智能监控等领域具有重要的应用,是当前的研究热点.针对HOG特征不明显、支持向量机（SVM）分类器计算复杂度高,导致识别率低和检测速度慢的问题,本文提出了一种改进的基于增强型HOG的行人检测算法.该算法首先预处理原始图像并提取其HOG特征,然后增强该特征生成增强型HOG,经XGBoost分类器进行行人检测.在INRIA数据集上进行测试,实验结果表明所提算法识别率高达95.49%,有效地提高了行人检测性能.     

使用聚合通道特征的嵌入式实时人体头肩检测

目的 头肩检测由于抗遮挡能力强、计算需求低,常用于复杂场景中的人体检测。针对嵌入式头肩检测中常用的运动检测和手工模型匹配方法检测精度较低、对不同姿态和人体外观适应性较差的问题,提出了使用聚合通道特征的嵌入式实时人体头肩检测方法。方法 首先分析多种行人检测与人体姿态数据集,从中生成多姿态、多视角的人体头肩样本集;然后基于图像的聚合通道特征,使用AdaBoost算法通过多个阶段的训练,得到基于增强决策树的头肩图像分类器;接下来,在快速特征金字塔算法的基础上,针对ARM-Linux平台,利用多核并行和单指令多数据流技术,加速图像特征金字塔的计算;最后,进行多线程的滑动窗口检测,利用头肩图像分类器识别每个检测窗口,并通过非极大值抑制（NMS）算法优化检测结果。结果 重新标注了INRIA验证数据集中的头肩样本,采用本文训练得到的头肩图像分类器进行检测,通过样本漏检率、每图片平均误检率以及ROC（receiver operating characteristic）曲线评估检测效果。对INRIA数据集中高度≥50像素的头肩目标的对数平均漏检率为16.61%。此外,采集了不同场景中多种姿态、视角下的头肩图像,以验证分类器的适应性,结果表明该分类器能够良好检测多姿态、多视角、受遮挡以及不同光照情况下的头肩目标。但由于检测器感受野局限于头肩区域,对少量疑似头肩样本的图像区域存在误检测。在嵌入式平台（树莓派3B）中,经过优化的头肩检测程序,对640×480像素分辨率的图像,特征计算耗时约213 ms;对单个包含正样本的检测窗口,分类耗时约2 ms。整体检测效率能够满足视频流实时检测的需求。结论 本文基于聚合通道特征进行人体头肩检测,采用种类丰富、标注准确的头肩训练样本,使用AdaBoost算法学习头肩图像的聚合通道特征,得到的头肩图像分类器适应性强,硬件性能要求低,能够良好检测多视角、多姿态的人体头肩图像,并具备在嵌入式平台上实时检测视频流的能力,应用场景广泛。     

多特征融合与交替方向乘子法的行人再识别

目的 由于行人图像分辨率差异、光照差异、行人姿态差异以及摄像机视角和成像质量差异等原因,导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来了巨大挑战。为提高行人再识别的准确率,针对以上问题,提出一种基于多特征融合与交替方向乘子法的行人再识别算法。方法 首先利用图像增强算法对所有行人图像进行处理,减少因光照变化产生的影响,然后把处理后的图像进行非均匀分割,同时使用特定区域均值法提取行人图像的HSV和LAB颜色特征以及SILTP（scale invariant local ternary pattern）纹理特征和HOG（histogram of oriented gradient）特征,融合多种特征得到行人图像对的整体与局部相似度度量函数并结合产生相似度函数,最后使用交替方向乘子优化算法更新出最优的测度矩阵实现行人再识别。结果 在VIPeR、CUHK01、CUHK03和GRID这4个数据集上进行实验,其中VIPeR、CUHK01和GRID 3个数据集Rank1（排名第1的搜索结果即为待查询人的比率）分别达到51.5%、48.7%和21.4%,CUHK03 手动裁剪和检测器检测数据集Rank1分别达到62.40%和55.05%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与交替方向乘子优化算法,能够很好地描述行人特征,迭代更新出来的测度矩阵能够很好地表达行人之间的距离信息,较大幅度地提高了识别率。该方法适用于大多数应用场景下的行人再识别。尤其是针对复杂场景下静态图像行人再识别问题,在存在局部遮挡、光照差异和姿态差异的情况下也能保持较高的识别正确率。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

离散小波变换Haar-LL的行人检测研究

提出一种基于二维离散Haar小波变换的局部二值模式(LBP)与局部梯度模式(LGP)的特征融合方法。对图像进行二维离散Haar小波变换,得到4个不同频率的子图像,对低频部分子图像提取LBP特征,对3个高频部分子图像提取LGP特征,将3个LGP特征并接融合后与LBP特征串接融合进行行人检测。在Matlab环境下利用支持向量机(SVM)对INRIA数据集进行5组实验,分别将该方法与梯度方向直方图(HOG)、金字塔梯度方向直方图(PHOG)、LBP、LGP进行检测率、检测时间、光照鲁棒性以及噪声鲁棒性对比。综合各项实验数据表明,该方法在光照鲁棒性以及噪声鲁棒性方面都能取得更好的效果。     

多尺度空间金字塔池化PCANet的行人检测

针对非理想条件下行人检测的性能和效率问题,提出多尺度空间金字塔PCANet。将空间金字塔作为网络的特征池化层,通过分层池化特征的方式获得图像的显著性特征,并将底层特征和高层特征级联以获得样本的多尺度特征的向量表示,输入SVM分类器。在INRIA和NICTA数据库中,与HOG、CNN等算法进行行人检测对比实验,结果表明,该算法有更高的正确检测率、更低的漏检率和误检率。     

结合纹理与轮廓特征的多通道行人检测算法

针对在复杂场景下,聚合通道特征（ACF）的行人检测算法存在检测精度较低、误检率较高的问题,提出一种结合纹理和轮廓特征的多通道行人检测算法。算法由训练分类器和检测两部分组成。在训练阶段,首先提取ACF特征、局部二值模式（LBP）纹理特征和ST（Sketch Tokens）轮廓特征,然后对提取的三类特征均采用Real AdaBoost分类器进行训练;在检测阶段,应用了级联检测的思想,初期使用ACF分类器处理所有实例,保留下来的少数实例应用复杂的LBP及ST分类器进行逐次筛选。实验采用INRIA数据集对算法进行仿真,该算法的平均对数漏检率为13.32%,与ACF算法相比平均对数漏检率降低了3.73个百分点。实验结果表明LBP特征与ST特征能有对ACF特征进行信息互补,从而在复杂场景下去掉部分误判,提高了行人检测的精度,同时应用级联检测保证了多特征算法的计算效率。     

融合密度和精细分数的行人检测

目的 行人检测是指使用矩形框和置信度找出图像或者视频中的所有行人。传统的图像行人检测方法对于姿态各异或者相互遮挡的行人无能为力。深度神经网络（deep neural networks,DNN）在目标检测领域表现出色,然而依然难以解决行人检测中一些问题。本文提出一种融合密度和精细分数的行人检测方法DC-CSP（density map and classifier modules with center and scale prediction）。方法 首先,在CSP（center and scale prediction）网络的基础上添加密度图模块（density map module,DMM）和分类器模块（classifier module,CM）,得到DC-CSP网络;然后,针对置信度不精确问题,利用不同模块对分数预测结果的互补性质,设计阶段分数融合（stage score fusion,SSF）规则对检测分数进行更新,使得行人置信度上升、背景置信度下降;最后,基于NMS（non-maximum suppression）,利用估计的行人密度图,设计改进的自适应NMS（improved adaptive NMS,IAN）后处理方法,能够进一步改善检测结果,对相互遮挡行人提高交并比（intersection over union,IOU）阈值从而减少漏检,对单个行人降低IOU阈值从而减少错检。结果 在公开数据集Citypersons和Caltech上进行定量和定性分析。定量分析中,与其他方法相比,本文方法在Citypersons数据集的Reasonable、Heavy、Partial以及Bare子集上,对数平均漏检率分别下降了0.8%、1.3%、1.0%和0.8%,在Caltech数据集的Reasonable和All子集上分别下降了0.3%和0.7%;在定性分析中,可视化结果表明,本文方法在一定程度上解决了各种不同场景下存在的相互遮挡行人漏检、单个行人错检以及置信度不精确等一系列问题。此外,消融实验证明了所设计模块及其对应规则的有效性。结论 本文方法使用联合多个模块的卷积神经网络（convolutional neural network,CNN）,针对密度特征、分类特征分别设计IAN方法和SSF规则,在一定程度上解决了相互遮挡行人漏检、单个行人错检以及置信度不精确的问题,在多个数据集上证明了方法的有效性和鲁棒性。     

结合聚合通道特征和双树复小波变换的手势识别

目的 针对目前手势识别方法受环境、光线、旋转、缩放、肤色等因素的影响,导致手势识别精度下降的问题,提出一种结合聚合通道特征（ACF）的手势检测和双树复小波变换（DTCWT）的复杂背景下手势识别方法。方法 在手势图像预处理过程中引入聚合通道特征,采用Adaboost分类器和非极大值抑制算法（NMS）进行目标手势的检测;利用DTCWT对目标手势图像进行多尺度多方向分解,对高低频系数的每一块分别提取方向梯度直方图（HOG）和局部二值模式（LBP）特征;最后融合各个方向上的高低频特征并通过支持向量机（SVM）进行分类识别。结果 选取多个场景、多个对象、不同角度和距离的图像作为训练集,并标注区分前背景,对20种手势进行识别实验,并与传统的肤色检测、HOG特征手势识别、类-Hausdorff距离的手势识别算法进行了实验对比。在任意可承受范围内的光照、距离等情况下,该方法能够更准确实时地实现手势识别,平均精度达到95.1%。结论 在图像预处理的情况下,聚合通道特征的引入能够准确检测手势,同时基于DTCWT的手势图像频域特征提取和再融合的方法有效地解决了传统普通图像的单特征识别方法在光线和复杂背景下识别精度不高的问题。     

浅层特征融合引导的深层网络行人检测

行人检测是目标检测中的一个重要研究方向。针对行人检测算法在复杂场景和目标太小情况下漏检的问题,在Faster R-CNN检测算法的基础上,提出一种基于浅层特征融合引导的深层网络行人检测。通过HOG特征、改进的LBP特征与深度网络特征融合获得准确的行人特征,在国际上广泛使用的行人数据集上进行一系列实验。结果表明,所提出的改进方法在检测准确率和速率方面都有所提高。     

Haar型LBP纹理特征的行人检测研究

针对行人检测中直接在灰度图像下提取局部二元模式（Local Binary Pattern,LBP）特征受噪声影响大导致检测率低的问题,提出了基于HSV颜色空间提取改进型Haar型LBP（IHLBP）特征的方法。首先将图像由RGB颜色空间转化到HVS颜色空间,然后对HSV图像的H、S、V空间分别提取IHLBP特征,最后将3个IHLBP特征归一化后串接为一个特征向量,得到最终的IHLBP特征。在INRIA Person数据集上采用支持向量机（Support Vector Machine,SVM）作为分类器进行测试。实验结果表明,该方法能有效地提高识别率,可达98.5%。相比于HOG特征、HPG-LBP特征和WLD-LBP特征具有更好的实验效果。     

基于分块特征收缩的行人检测方法

针对基于梯度方向直方图(Histogram of Oriented Gradient,HOG)特征和局部二值模式(Local Binary Patterns,LBP)特征的行人检测存在特征向量维度大、检测精度有待提高的问题,提出了一种分块特征收缩的行人检测方法。首先将样本图像划分成多个大小相同的重叠分块;然后提取各分块的HOG和LBP特征,并将两种特征融合作为分块的特征,通过该特征来训练分块分类器,根据分块分类器的行人检测精度对分块进行排序,选取检测精度较高的分块进行特征收缩;最后将特征收缩后的分块特征向量连接在一起作为最终用于行人检测的特征。在INRIA公共测试集合上的实验结果表明,该方法在降低了特征向量维度的同时提高了行人检测精度。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

基于边缘对称性和HOG的行人检测方法

传统基于HOG特征的行人检测方法存在检测速度慢的问题。为此,提出一种基于边缘对称性和HOG的行人检测方法。利用对称差分提取输入窗口的垂直边缘,根据垂直边缘的对称性快速检测出行人候选区,采用HOG特征和线性支持向量机对行人候选区进行验证。实验结果表明,该方法在保持传统方法检测率的同时,能提高检测速度。     

融合显著性因子的行人纹理提取

针对基于纹理信息的行人特征提取算法中存在特征信息冗余度大,无法刻画人眼视觉敏感性的不足,提出一种融合人类视觉感知特性的基于显著性局部二值模式(SF-LBP)的行人纹理特征提取算法.该算法首先采用显著性计算方法提取感兴趣区域得到各部分的显著性因子;然后将显著性因子权值与行人纹理特征根据核函数相融合,生成基于SF-LBP算子的特征向量;接着统计不同区域的特征向量,形成特征直方图;最后结合自适应AdaBoost分类器构建实验平台进行实验.INRIA数据集中的实验结果显示,SF-LBP特征在检测准确率上比梯度直方图(HOG)特征、Haar特征高出2%~3%,达到97%,召回率达到90%,提高了2%左右,表明SF-LBP算子能够准确描述行人的纹理特征,提高行人检测系统的准确率.     

融合分支定界的可变形部件模型的行人检测

针对可变形部件模型（DPM）算法在行人检测领域中的检测精度高,但由于在特征提取和行人定位两步中的计算量过大,导致检测速度过慢而不能应用于实时行人检测的问题,提出了一种融合分支定界算法和级联检测算法的可变形部件模型（BBCDPM）算法。首先,选取梯度方向直方图（HOG）特征作为描述人体目标的特征,从而生成特征金字塔;然后,进行可变形部件模型的建模,并使用隐变量支持向量机（LSVM）对模型进行训练;同时,为了提高行人检测的准确度,将传统可变形部件模型算法中的5个部件模型增加到了8个;最后,在利用了级联检测算法简化检测模型的基础上,结合了分支定界算法寻找最大值,排除大量不可能的对象假设,完成对行人目标的定位和检测。在INRIA数据集上进行了实验,结果表明,与传统DPM算法相比,该算法将准确率提高了12个百分点,且大幅提高了行人检测与识别的速度。     

Gabor特征结合快速HOG特征的行人检测

针对行人检测中HOG特征提取速度慢且易忽视细节特征的问题,提出了一种Gabor特征结合快速HOG特征的行人检测算法.首先对输入图像进行小波变换,并引入积分图思想和主成分分析算法快速提取图像HOG特征;其次融合Gabor小波变换得到的Gabor特征,最后采用混合特征训练分类器,实现行人的有效检测.测试集上的实验结果表明,在使用相同分类器的情况下,该混合特征提取方法比单一特征提取方法的检测正确率最多可提高7.37％,因此所提出的算法可以有效地提高行人检测的精度.     

基于特征融合的行人检测技术

首先研究了三种不同的特征算子在基于图像行人检测中的应用. 他们分别是: 梯度直方图(Histogram of Oriented Gradient, HOG)、局部三值模式特征(Local Ternary Patterns, LTP)以及改进了的局部三值模式特征(Sqrt Local Ternary Patterns, S-LTP). 对以上三种特征算子进行了实验比较, 最后将HOG和S-LTP算子融合得到HOG+S-LTP的基于多特征的行人检测算子, 利用SVM分离器在INRIA人体库上进行了实验, 实验表明, 融合后的特征显著地提高了行人检测率, 同时也满足实时性要求.