融合改进FPN与关联网络的Faster R-CNN目标检测

在无人机场景下,目标检测存在样本数量不足、成像视角不同的问题,导致检测精度低。提出一种结合改进特征金字塔网络（FPN）与关联网络的Faster R-CNN目标检测算法。通过在传统FPN结构中以自下而上的特征融合方式提取特征图的语义信息和位置信息,最大程度地保留特征图的多尺度信息。同时利用候选区域之间的形状特征和位置特征构造区域之间的关联特征,并与深度特征相融合进行分类回归,从而充分提取特征图的整体信息,实现目标检测。在PASCAL VOC 2007和NWPU VHR-10数据集上的实验结果表明,相比FPN+Faster R-CNN算法,该算法的交并比和平均检测精度分别提高了10和2.7个百分点,具有较优的目标检测性能。     

基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法

针对目标检测中分类和定位子任务分别需要大感受野和高分辨率,难以在这两个相互矛盾的需求间取得平衡的问题,提出一种用于目标检测的基于注意力机制的特征金字塔网络算法。该算法能整合多个不同感受野来获取更丰富的语义信息,以一种更关注不同特征图重要性的方式融合多尺度特征图,并在注意力机制引导下进一步精练复杂融合后的特征图。首先,通过多尺度的空洞卷积获取多尺度感受野,在保留分辨率的同时增强语义信息;其次,通过多级特征融合（MLF）方式将多个不同尺度的特征图通过上采样或池化操作变为相同分辨率后融合;最后,利用注意力引导的特征精练模块（AFRM）对融合后的特征图作精练处理,丰富语义信息并消除融合带来的混叠效应。将所提特征金字塔替换Faster R-CNN中的特征金字塔网络（FPN）后在MS COCO 2017数据集上进行实验,结果表明当骨干网络为深度50和101的残差网络（ResNet）时,平均精度（AP）分别达到了39.2%和41.0%,与使用原FPN的Faster R-CNN相比,分别提高了1.4和1.0个百分点。可见,所提特征金字塔网络算法能替代原FPN,更好地应用在目标检测场景中。     

深度学习的多尺度多人目标检测方法研究

深度学习具有自主学习目标特征、识别率高、鲁棒性强等优点,当前基于深度学习的人体目标检测方法不能有效地适应目标的尺度变化。针对上述问题,提出多尺度多人的目标检测方法,将FPN特征金字塔分别与Faster R-CNN网络的两个阶段结合,同时,平衡RPN阶段产生的正负锚点的数量比例,并采用了更适合的锚点纵横比,对原始网络进行了一系列的优化。在标准数据集PETS 2009、Caltech和INRIA上的实验结果表明,提出的检测方法性能优于主流深度学习目标检测算法。     

提高图像篡改检测区域选取性能的FCR-CNN模型

图像篡改检测不同于目标检测,篡改检测更加关注篡改伪像这一目标而非图像内容本身,需要学习更加丰富的特征.为提高图像篡改检测区域选取性能,提出一种将特征金字塔网络(feature pyramid networks, FPN)模型与级联区域卷积神经网络(cascade region-convolutional neural networks, Cascade R-CNN)模型相结合的FCR-CNN模型.首先将FPN模型提取的多尺度篡改特征输入到区域建议网络(region proposal network, RPN),然后由RPN输出篡改分类分数和区域建议框,最后将区域建议框输入到3阶段Cascade R-CNN进行检测.此外,系统地对FCR-CNN模型的损失函数进行了分析.基于CASIA, Columbia和NC2016数据集,与其他算法进行对比实验,结果表明, FCR-CNN模型能够有效地检测与定位篡改区域;其中,在CASIA数据集上,其与FPN模型和Cascade R-CNN模型相比, F1分数分别提高了6.0%和7.5%.     

融合多模型和帧间信息的行人检测算法

行人检测在车辆辅助驾驶、视频监控、智能机器人等领域具有重要的应用价值.针对当前行人检测算法在视频分辨率低和背景复杂的情况下存在很多误检及漏检的问题,提出一种融合多模型和帧间信息的行人检测算法.首先融合Fast R-CNN和Faster R-CNN模型的互补检测结果获取精准的检测窗口;然后采用视频帧间上下文融合算法来弥补单帧图像检测算法存在的漏检和误检.实验结果表明,在Caltech行人检测数据库上,在每幅图像虚警率(FPPI)为10%的条件下,该算法丢失率仅为14.04%,比Faster R-CNN单模型丢失率(16.09%)降低2.05%;利用多模型和帧间信息融合对行人检测结果进行校正,能提高行人检测性能.     

迭代Faster R-CNN的密集行人检测

行人检测是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。针对行人检测在密集场景下普遍存在的行人间遮挡问题，提出基于迭代Faster R-CNN的密集行人检测模型，利用一种IterDet迭代方案对Faster R-CNN进行改进，有效解决非极大值抑制（NMS）算法及其改进在选择精确度和召回率之间平衡点的难题。同时利用递归金字塔结构（RFP）进一步增强模型提取特征能力。在具有挑战性的WiderPerson和CrowdHuman数据集上进行训练和验证，实验结果表明，该模型相比Faster R-CNN在精度和召回率显著提升的同时，漏检率也明显降低。尤其在WiderPerson数据集上召回率、精度、漏检率等性能指标分别达到了97.65%、91.29%、40.43%的SOTA结果。     

基于Faster R-CNN的密集人群检测算法

为提高拥挤场景下的人群检测准确率,提出一种基于改进Faster R-CNN的密集人群检测算法。首先,在特征提取阶段添加空间与通道注意力机制,使用加强的双向特征金字塔网络（S-BiFPN）替代原网络中的多尺度特征金字塔（FPN）,使网络对重要特征进行自主学习并加强对图像深层特征的提取;其次,引入多实例预测（MIP）算法对实例进行预测,以避免模型对拥挤场景下的目标造成漏检;最后,对模型中的非极大值抑制（NMS）进行优化,并额外增设一个交并比（IoU）阈值,以对检测结果的干扰项进行精确抑制。在开源的密集人群检测数据集上进行测试的结果显示,相较于原Faster R-CNN算法,所提算法的平均精度（AP）提升5.6%,Jaccard指数值提升3.2%。所提算法具有较高检测精度和稳定性,可以满足密集场景人群检测的需求。     

深度学习在手机数据接口缺陷检测中的应用

为了能更好地对手机数据接口的缺陷进行检测,提出一种基于Faster R-CNN的检测算法。将Faster R-CNN检测架构中的RoIPooling替换成RoIAlign,解决RoIPooling计算过程中2次量化造成的目标回归位置的偏差。使用ResNet50融合FPN的网络作为特征提取网络,提高模型对小型目标缺陷的检测效果。最后使用测试集进行预测,实验表明本文提出算法的均值平均精度（mAP）达到了91.17%,比使用VGG为特征提取网络时的mAP提高了24.72个百分点,比单独使用ResNet50为特征提取网络的mAP提高了2.58个百分点,因此,本文提出的算法对手机数据接口缺陷检测有显著的效果提升,为手机数据接口缺陷检测提供了一种更有效的检测方法。     

基于特征金字塔网络的肺结节检测

针对计算机断层扫描（CT）影像中肺结节尺寸变化较大、尺寸小且不规则等特点导致的检测敏感度较低的问题,提出了基于特征金字塔网络（FPN）的肺结节检测方法。首先,利用FPN提取结节的多尺度特征,并强化小目标及目标边界细节的特征;其次,在FPN的基础上设计语义分割网络（名为掩模特征金字塔网络（Mask FPN））用于快速准确地分割提取肺实质,作为目标候选区域定位图像;并且,在FPN顶层添加反卷积层,采用多尺度预测策略改进快速区域卷积神经网络（Faster R-CNN）以提高检测性能;最后,针对肺结节数据集的正负样本不平衡问题,在区域候选网络（RPN）模块采用焦点损失函数以提高结节的检出率。所提方法在公开数据集LUNA16上进行实验,结果表明,利用FPN和反卷积层改进的新网络对结节检测效果有一定的帮助,采用焦点损失函数也有一定效果。综合多种改进,当平均每个扫描件的候选结节数为46.7时,所提方法的肺结节检测敏感度指标为95.7%,与其他卷积神经网络方法如Faster R-CNN、UNet等相比,具有较高的敏感性。所提方法能够较好地提取不同尺度上的结节特征,提高CT图像肺结节检测的敏感度,同时对于较小的结节也能有效检测,能更有效地辅助肺癌的诊断治疗。     

基于特征金字塔网络的肺结节检测

针对计算机断层扫描（CT）影像中肺结节尺寸变化较大、尺寸小且不规则等特点导致的检测敏感度较低的问题，提出了基于特征金字塔网络（FPN）的肺结节检测方法。首先，利用FPN提取结节的多尺度特征，并强化小目标及目标边界细节的特征；其次，在FPN的基础上设计语义分割网络（名为掩模特征金字塔网络（Mask FPN））用于快速准确地分割提取肺实质，作为目标候选区域定位图像；并且，在FPN顶层添加反卷积层，采用多尺度预测策略改进快速区域卷积神经网络（Faster R-CNN）以提高检测性能；最后，针对肺结节数据集的正负样本不平衡问题，在区域候选网络（RPN）模块采用焦点损失函数以提高结节的检出率。所提方法在公开数据集LUNA16上进行实验，结果表明，利用FPN和反卷积层改进的新网络对结节检测效果有一定的帮助，采用焦点损失函数也有一定效果。综合多种改进，当平均每个扫描件的候选结节数为46.7时，所提方法的肺结节检测敏感度指标为95.7%，与其他卷积神经网络方法如Faster R-CNN、UNet等相比，具有较高的敏感性。所提方法能够较好地提取不同尺度上的结节特征，提高CT图像肺结节检测的敏感度，同时对于较小的结节也能有效检测，能更有效地辅助肺癌的诊断治疗。     

改进的Faster RCNN煤矿井下行人检测算法

针对煤矿井下环境恶劣、光照差、背景混杂、行人模糊、行人多尺度等问题，提出了一种改进的Faster RCNN煤矿井下行人检测方法，使用深度卷积神经网络代替传统的手工设计特征方式自动地从图片中提取特征。利用深度学习通用目标检测框架Faster RCNN，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结构进行了改进，提出了一种“金字塔RPN”结构，来解决井下行人存在的多尺度问题；同时算法中加入了特征融合技术，将不同卷积层输出的特征图进行融合，增强煤矿井下模糊、遮挡和小目标行人的检测性能。实验结果表明：改进的Faster RCNN可以有效解决井下行人检测问题，在井下行人数据集上获得了90%的检测准确率，并在公测数据集VOC 07上对改进算法进行了验证。     

基于改进Faster R-CNN的钢轨踏面块状伤损检测方法

针对钢轨踏面块状伤损存在的尺度变化大、样本数据集小的问题,提出了基于改进Faster R-CNN的钢轨踏面块状伤损检测方法。首先,基于ResNet-101基础网络结构来构建多尺度特征金字塔（FPN）,以实现深、浅层特征信息的融合,从而提高了小尺度伤损的检测精度;然后,采用广义交并比（GIoU）损失解决了Faster R-CNN中回归损失SmoothL1对预测边框位置不敏感问题;最后,提出引导锚定的区域提名网络（GA-RPN）方法,从而解决了区域生成网络（RPN）生成的锚点大量冗余而导致的检测网络训练中正负样本失衡问题。训练过程中,基于翻转、裁剪、噪声扰动等图像预处理方法对RSSDs数据集进行扩充,解决了钢轨踏面块状伤损训练样本不充足问题。实验结果表明,所提改进方法对钢轨踏面块状伤损检测的平均精度均值（mAP）可达到82.466%,相较于Faster R-CNN提高了13.201个百分点,能够更加准确地检测钢轨踏面块状伤损。     

Faster R-CNN模型在车辆检测中的应用

针对传统机器学习方法在车辆检测应用中易受光照、目标尺度和图像质量等因素影响,效率低下且泛化能力较差的问题,提出一种基于改进的较快的基于区域卷积神经网络（R-CNN）模型的车辆检测方法。该方法以Faster R-CNN模型为基础,通过对输入图像进行卷积和池化等操作提取车辆特征,结合多尺度训练和难负样本挖掘策略降低复杂环境的影响,利用KITTI数据集对深度神经网络模型进行训练,并采集实际场景中的图像进行测试。仿真实验中,在保证检测时间的情况下,相对原Faster R-CNN算法检测精确度提高了约8%。实验结果表明,所提方法能够自动地提取车辆特征,解决了传统方法提取特征费时费力的问题,同时提高了车辆检测精确度,具有良好的泛化能力和适用范围。     

基于双模型的输电线绝缘子自爆检测算法

针对输电线路无人机巡检图像中绝缘子自爆缺陷目标小而难以精准检测的问题,提出一种基于Faster R-CNN和改进的YOLO v3级联双模型的绝缘子自爆缺陷检测算法。首先,利用无人机巡检图像构建绝缘子串缺陷数据集,并对训练图像样本进行翻转预处理,增加样本数量,提高模型泛化能力,避免过拟合;然后,利用Faster R-CNN检测图像中的绝缘子串,再将检测到的绝缘子串图像送入改进的YOLO v3网络进行自爆缺陷的定位。改进的YOLO v3网络是在YOLO v3基础上借鉴FPN的思想,增加特征提取层并进行特征融合,充分利用深层特征和浅层特征;同时采用CIoU Loss函数作为损失函数,以解决边界框宽高比尺度信息。实验结果表明,本文算法在所构建的绝缘子缺陷数据集上的检测准确率达到91.2%,相比Faster R-CNN或YOLO v3等单模型检测算法提升了3.31个百分点以上,能有效实现无人机巡检中绝缘子自爆缺陷的检测,为输电线路智能化巡检故障诊断提供方法支持。     

基于DRN和FasterR-CNN融合模型的行为识别算法

针对传统单人行为识别算法易受行人形态多样性、背景和光照等影响的问题进行研究。基于扩张残差网络（DRN）的精准分类效果及目标检测网络Faster R-CNN在目标追踪方面的准确性,提出了一种DRN和Faster R-CNN的融合网络模型。该模型在Faster R-CNN中融入DRN的扩张卷积残差块代替原来的一般卷积层,并对融合模型进行了两方面的改进：在每一层前面添加一个batch normalization层;用三层扩张卷积残差块代替部分两层残差块。实验结果表明三种融合网络识别算法在Olympic sports dataset数据库上较其他行为识别算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型识别性能最好,mAP达到78.9%。