自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

对抗型长短期记忆网络的雷达回波外推算法

目的 雷达回波外推是进行短临降水预测的一种重要方法,相较于传统的数值天气预报方法能够实现更快、更准确的预测。基于卷积长短期记忆网络（convolutional long short-term memory network,ConvLSTM）的回波外推算法的效果优于其他的深度学习外推算法,但是忽略了普通卷积运算在面对局部变化特征时的局限性,并且在外推过程中将损失函数简单定义为均方误差（mean squared error,MSE）,忽略了外推图像与原始图像的分布相似性,容易导致信息丢失。为解决以上不足,提出了一种基于对抗型光流长短期记忆网络（deep convolutional generative adversarial flow based long short-term memory network,DCF-LSTM）的回波外推算法。方法 首先,采用光流追踪局部特征的方式改进ConvLSTM,突破了一般卷积核面对局部变化特征的限制。然后,以光流长短期记忆网络（flow based long short-term memory network, FLSTM）作为基本模块构建外推模型。最后,引入对抗网络,与外推模型组成端到端的博弈系统DCF-LSTM,两者交替训练实现外推图像分布向原图像分布的拟合。结果 在4种不同的反射率强度下进行了消融研究,并与3种主流的气象业务算法进行了对比。实验结果表明,DCF-LSTM在所有评价指标中表现最优,尤其在反射率为35 dBZ的条件下。结论 由实验结果可知,引入光流法能够使模型具有更好的抗畸变性,引入深度卷积生成对抗网络（deep convolutional generative adversarial network,DCGAN）判别模块能进一步增加结果的准确性。本文提出的DCF-LSTM回波外推算法相比于其他算法,雷达外推准确率获得了进一步提升。     

集成注意力机制和扩张卷积的道路提取模型

目的 为解决当前遥感影像道路提取方法普遍存在的自动化程度低、提取精度不高和由于样本数量不平衡导致的模型训练不稳定等问题,本文提出一种集成注意力机制和扩张卷积的道路提取模型（attention and dilated convolutional U-Net,A&D-UNet）。方法 A&D-UNet聚合网络模型以经典U-Net网络结构为基础,在编码部分引入残差学习单元（residual learning unit,RLU）,降低深度卷积神经网络在训练时的复杂度;应用卷积注意力模块（convolutional block attention module,CBAM）从通道和空间维度两个方面优化分配权重,突出道路特征信息;并使用扩张卷积单元（dilated convolutional unit,DCU）感受更大范围的特征区域,整合道路的上下文信息。采用二进制交叉熵（binary cross entropy,BCE）和Dice相结合的复合损失函数训练模型,减轻遥感影像中样本数量不平衡导致的模型不稳定。结果 在公开的美国马萨诸塞州和Deep Globe道路数据集上进行模型验证实验,并与传统的U-Net、LinkNet和D-LinkNet图像分割模型对比分析。在美国马萨诸塞州道路测试集上,本文构建的A&D-UNet模型的总体精度、F1分数和交并比等评价指标分别为95.27%、77.96%和79.89%,均优于对比算法,在测试集中对线性特征明显、标签遗漏标记以及存在树木遮挡的道路区域具有更好的识别效果;在Deep Globe道路测试集上,A&D-UNet模型的总体精度、F1分数和交并比分别为94.01%、77.06%和78.44%,且对线性特征明显的主干道路、标签未标记的狭窄道路以及阴影遮挡的城市道路都具有较好的提取效果。结论 本文提出的A&D-UNet道路提取模型,综合了残差学习、注意力机制和扩张卷积的优点,有效提升了目标分割的性能,是一种提取效果较好、值得推广的聚合网络模型。     

一种改进的基于R-FCN模型的人脸检测算法

基于区域的卷积神经网络在目标检测中有着广泛的应用,吸引了研究者的广泛兴趣。针对人脸检测问题,本文基于区域的全卷积网络（Region-based Fully Convolutional Networks, R-FCN）,提出一种改进的人脸检测算法。为了使模型训练更加充分,利用在线难例样本挖掘法放宽正负样本的约束,扩充训练集的范围,针对人脸目标存在重叠问题,采用线性非极大值抑制法避免漏检重叠人脸。在人脸检测数据库（FDDB）上的实验结果表明,改进的R-FCN模型比原始的R-FCN模型有着更高的精度。     

扩增感受野特征融合的小目标检测算法

为了解决小目标检测在实际应用中的高漏检率、低准确率、低召回率等问题,提出一种基于感受野扩增特征融合的小目标检测算法.首先,对全卷积单阶段目标检测算法(fully convolutional one-stage object detection, FCOS)基础网络特征提取部分增加感受野扩增模块,改善基础网络ResNet-50特征信息提取较少、浅层特征层信息利用率偏低等问题;其次,在特征金字塔部分利用门控思想筛选信息融合,降低无效信息融合的干扰;最后,对7个特征层增加注意力机制模块,提升目标定位精度和分类精度.在COCO2017数据集上的实验结果表明,该算法比传统FCOS算法的检测精度提升2.4%.其中,小目标检测精度提升3.2%,具有更好的检测效果.     

结合网格密度聚类的行人检测候选域生成

目的 行人检测是计算机视觉领域中的重点研究问题。经典的可变形部件模型（DPM）算法在行人检测领域素有高检测精度的优点,但由于在构建特征金字塔前处理过多召回率低的候选区域,导致计算速度偏慢,严重影响系统的实时性。针对该问题,本文对模型中选取候选检测区域的流程进行了改进,提出一种结合网格密度聚类算法和选择性搜索算法的行人检测候选对象生成方法来改进DPM模型。方法 首先使用三帧差法和高斯混合模型收集固定数量的运动物体坐标点,然后结合基于网格密度的聚类算法构建网格坐标模型,生成目标频繁运动区域,同时进行动态掩层处理。随后引入改进的选择性搜索算法,结合支持向量机（SVM）训练得到的行人轮廓宽高比,提取该区域中高置信度的行人候选检测窗口,从而排除大量冗余的区域假设,完成对候选行人检测区域的精筛选,最后融合至DPM算法进行行人检测。结果 所提方法在PETS 2009 Bench-mark数据集上进行检测,实验结果表明,该方法对复杂背景下的检测有较强的稳定性,与传统DPM模型相比,精度提高了1.71%、平均对数漏检率降低2.2%、检测速度提高为3.7倍左右。结论 本文提出一种基于网格密度聚类的行人检测候选域生成算法,能够有效表达行人信息,与其他行人检测算法相比,有更好的精度和更快的速度,在检测率、检测时间方面均有提高,能够实现有效、快速的行人检测,具有实际意义。     

采用卷积核金字塔和空洞卷积的单阶段目标检测

目的 在基于深度学习的目标检测模型中,浅层特征图包含更多细节但缺乏语义信息,深层特征图则相反,为了利用不同深度特征图的优势,并在此基础上解决检测目标的多尺度问题,本文提出基于卷积核金字塔和空洞卷积的单阶段目标检测模型。方法 所提模型采用多种方式融合特征信息,先使用逐像素相加方式融合多层不同大小的特征图信息,然后在通道维度拼接不同阶段的特征图,形成具有丰富语义信息和细节信息的信息融合特征层作为模型的预测层。模型在锚框机制中引入卷积核金字塔结构,以解决检测目标的多尺度问题,采用空洞卷积减少大尺寸卷积核增加的参数量,合理地降低锚框数量。结果 实验结果表明,在PASCAL VOC2007测试数据集上,所提检测框架在300×300像素的输入上检测精度达到79.3% mAP（mean average precision）,比SSD（single shot multibox detector）高1.8%,比DSSD（deconvolutional single shot detector）高0.9%。在UCAS-AOD遥感数据测试集上,所提模型的检测精度分别比SSD和DSSD高2.8%和1.9%。在检测速度上,所提模型在Titan X GPU上达到21帧/s,速度超过DSSD。结论 本文模型提出在两个阶段融合特征信息并改进锚框机制,不仅具有较快的检测速度和较高的精度,而且较好地解决了小目标以及重叠目标难以被检出的问题。     

融合密度和精细分数的行人检测

目的 行人检测是指使用矩形框和置信度找出图像或者视频中的所有行人。传统的图像行人检测方法对于姿态各异或者相互遮挡的行人无能为力。深度神经网络（deep neural networks,DNN）在目标检测领域表现出色,然而依然难以解决行人检测中一些问题。本文提出一种融合密度和精细分数的行人检测方法DC-CSP（density map and classifier modules with center and scale prediction）。方法 首先,在CSP（center and scale prediction）网络的基础上添加密度图模块（density map module,DMM）和分类器模块（classifier module,CM）,得到DC-CSP网络;然后,针对置信度不精确问题,利用不同模块对分数预测结果的互补性质,设计阶段分数融合（stage score fusion,SSF）规则对检测分数进行更新,使得行人置信度上升、背景置信度下降;最后,基于NMS（non-maximum suppression）,利用估计的行人密度图,设计改进的自适应NMS（improved adaptive NMS,IAN）后处理方法,能够进一步改善检测结果,对相互遮挡行人提高交并比（intersection over union,IOU）阈值从而减少漏检,对单个行人降低IOU阈值从而减少错检。结果 在公开数据集Citypersons和Caltech上进行定量和定性分析。定量分析中,与其他方法相比,本文方法在Citypersons数据集的Reasonable、Heavy、Partial以及Bare子集上,对数平均漏检率分别下降了0.8%、1.3%、1.0%和0.8%,在Caltech数据集的Reasonable和All子集上分别下降了0.3%和0.7%;在定性分析中,可视化结果表明,本文方法在一定程度上解决了各种不同场景下存在的相互遮挡行人漏检、单个行人错检以及置信度不精确等一系列问题。此外,消融实验证明了所设计模块及其对应规则的有效性。结论 本文方法使用联合多个模块的卷积神经网络（convolutional neural network,CNN）,针对密度特征、分类特征分别设计IAN方法和SSF规则,在一定程度上解决了相互遮挡行人漏检、单个行人错检以及置信度不精确的问题,在多个数据集上证明了方法的有效性和鲁棒性。     

基于深度卷积神经网络特征层融合的小尺度行人检测

针对目前行人检测算法计算量过大和对小尺度行人检测精度不高的问题,提出了一种基于深度卷积神经网络特征层融合的小尺度行人检测方法,设计了一种包含9个卷积层的深度神经网络架构.在进行行人检测时,首先,对输入图像进行分块预处理操作,避免损失原始图像的视觉信息;然后,将网络不同层的卷积特征进行融合,提升行人特征的区分能力和表达能力,进而提升行人检测的精度,在保证检测精度的同时有效降低网络的复杂度.在INRIA、Caltech等公共行人数据集上的实验结果表明,所提出的行人检测方法能够有效检测小尺度的行人,且网络架构的参数量更少,检测速度更快,能得到更高精度的行人检测结果.     

夜间多场景的邻近感知实时行人检测算法

目的 行人检测是自动驾驶、监控安防等领域的关键技术，为了解决目标检测算法在夜间复杂场景以及遮挡情况下造成的行人检测精度降低的问题，本文提出将低光增强算法（low-light image enhancement）添加到夜间行人检测任务中进行联合训练，并引入邻近感知模块（nearby objects hallucinator,NOH），提出了一种改进的夜间监控场景下的邻近感知行人检测算法（nearby-aware surveillance pedestrian detection algorithm,NSPDet）。方法 为了提升夜间检测行人的准确率，在基线模型中加入低光增强模块（zero-reference deep curve estimation,Zero-DCE）。为了降低密集人群、遮挡造成的漏检、误检，利用NOH建模周围行人分布信息，提出了行人检测头（PedestrianHead）。为了减少模型参数，提升推理速度，本文利用深度可分离卷积将模型进行轻量化。结果 在NightSurveillance数据集上进行3组消融实验，相比基线模型YOLOX(exceeding YOLO (yo...     

基于改进FCOS的拥挤行人检测算法

针对大规模拥挤场景视频中行人目标小、行人遮挡和行人交叠而导致的检测困难等问题,本文将逐像素预测目标检测框架—全卷积单阶段目标检测FCOS（fully convolutional one-stage object detection）应用于行人检测,提出一种改进的主干网络用于提取行人特征,通过增加尺度回归实现目标行人的多尺度检测,同时减少其他特征层检测的目标数量,进而提升行人检测的能力。在拥挤行人场景数据集CrowdHuman和小目标行人数据集Caltech上的大量实验结果表明,和目前先进的方法相比,本文的方法对行人的检测精度有所提升,特别是对于小目标行人检测。与原始FCOS算法相比,在CrowdHuman上平均精度提升接近15%,丢失率降低接近33.0%;在Caltech上的平均精度提升2%。在复杂拥挤场景下的实际应用也证明本文方法的有效性。     

基于融合FPN和Faster R-CNN的行人检测算法

针对多尺度行人检测的问题,本文提出一种基于融合特征金字塔网络（Feature pyramid networks,FPN）和Faster R-CNN(Faster region convolutional neural network)的行人检测算法。首先,对FPN和区域建议网络（Region proposal networks,RPN）进行融合;然后,对FPN和Fast R-CNN进行融合;最后,在Caltech数据集、KITTI数据集和ETC数据集上分别对融合FPN和Faster R-CNN的行人检测算法进行训练和测试。该算法在Caltech数据集、KITTI数据集和ETC数据集上的mAP (mean Average Precision)分别达到69.72%, 69.76%和89.74%。与Faster R-CNN相比,该算法不仅提高了行人检测精度,而且在多尺度行人检测的问题上也获得了较为满意的检测效果。     

复杂热红外监控场景下行人检测

目的 复杂热红外监控场景中的行人检测问题是计算机视觉领域的重要研究内容之一,是公共安全、灾难救援以及智慧城市等实际应用中的重要基础任务。现今的热红外行人检测算法大多依据图像中人体目标的灰度值高于场景环境这一假设,导致当环境温度升高热红外图像发生灰度值反转时行人检测率较低。为提高行人检测系统在不同场景中的鲁棒性以及行人目标检测率,提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法。方法 该算法首先对热红外图像进行基于频域的显著性检测,生成对行人目标全覆盖的显著图;然后结合热红外原图像生成感兴趣区域图作为输入,以行人目标概率图为输出,搭建全卷积网络;最后,对热红外行人检测系统进行端对端训练,获取网络输出的行人目标概率图,进而实现行人目标检测。结果 论文使用俄亥俄州立大学建立的红外视频数据集OTCBVS中的OSU热红外行人数据库对算法进行验证,与目前5种较为成熟的算法进行对比。实验结果表明,本文算法可以在各种场景中准确检测出行人目标,以MR-FP（丢失率—假阳率）为对比依据,本文算法7%的平均丢失率低于其他算法,具有更高的检测率,对热红外图像中的灰度值反转问题具有更好的鲁棒性。结论 本文提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法,在实现检测算法端对端训练的同时,提高了其对各种复杂场景的鲁棒性以及行人目标检测率,提升热红外监控系统中行人目标检测性能。     

基于HPLF的行人再识别

为了更好的挖掘局部特征,提升行人再识别的精度,本文提出了一种利用水平池化提取局部特征的HPLF(Horizontal Pooling for Local Feature)算法,在ResNet-50网络中对输入的联合数据集进行预处理,提取特征,对ResNet-50网络生成的特征图进行水平切割,通过分割的特征图计算两两特征之间的距离,再用难样本三元组损失(Triplet loss with Hard example mining, TriHard loss)来作为局部特征损失函数训练,通过特征图计算全局距离,通过难样本三元组损失来训练,将这两个损失函数加上一个Softmax交叉熵损失函数,联合起来作为总的损失函数进行参数修正.实验结果表明:在Market1501数据集中, mAP (mean Average Precision), Rank-1, Rank-5, Rank-10等性能指标上, HPLF算法比其他算法有3%左右的提升.     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

Norm-DP模型行人检测优化算法

传统深度金字塔模型作为一种有效的行人检测算法备受关注,融合可变形部件模型和卷积神经网络模型,但特征提取部分使用的算法像素区域的大小不同,导致模型之间不能完全融合,在行人数量多、姿势复杂和有遮挡情况时的检测效果不理想。因此,提出一种基于规范化函数的深度金字塔模型(Norm-DP)算法,使用规范化函数融合可变形部件模型和卷积神经网络模型,直接从金字塔特征中提取正负样本,使用隐变量支持向量机进行模型训练,结合柔性非最大抑制(soft-NMS)算法和边界框回归(BBR)算法对定位框进行优化。分别使用INRIA和MS COCO数据集进行实验验证,在行人数量多、姿势复杂和有遮挡情况时,检测精度高于最优的可变形部件模型算法、卷积神经网络算法、深度金字塔模型算法和结合区域选择的卷积神经网络算法。