融合共现推理的Faster R-CNN输电线路金具检测

为促进目标检测模型与电力领域业务知识有机融合,缓解金具样本间长尾分布问题,有效提升输电线路金具的自动化检测效果,提出了融合共现推理的Faster R-CNN(faster region-based convolutional neural network)输电线路金具检测模型。首先,深入研究输电线路金具结构化组合规则,通过数据驱动的方式以条件概率对金具目标间的共现连接关系进行有效表达;然后,结合图学习方法,利用学习并映射的共现概率关联作为共现图邻接矩阵,使用基线模型(Faster R-CNN)提取的特征向量作为图推理输入特征,以自学习的变换矩阵作为共现图传播权重,完成图信息传播并实现有效的共现推理模型嵌入。实验证明,融合共现推理模块的Faster R-CNN模型较原始模型提升了6.56%的准确率,对于长尾分布样本中数量较少的金具性能提升尤其显著。     

基于Faster R-CNN的多任务增强裂缝图像检测方法

针对Faster R-CNN算法对多目标、小目标检测精度不高的问题,本文提出一种基于Faster R-CNN的多任务增强裂缝图像检测(Multitask Enhanced Dam Crack Image Detection Based on Faster R-CNN, ME-Faster R-CNN)方法。同时提出一种基于K-means的多源自适应平衡TrAdaBoost的迁移学习方法(multi-source adaptive balance TrAdaBoost based on K-means, K-MABtrA)辅助网络训练,解决样本不足问题。ME-Faster R-CNN将图片输入ResNet-50网络提取特征;然后将所得特征图输入多任务增强RPN模型,同时改善RPN模型的锚盒尺寸和大小以提高检测识别精度,生成候选区域;最后将特征图和候选区域发送到检测处理网络。K-MABtrA方法利用K-means聚类删除与目标源差别较大的图像,再在多元自适应平衡TrAdaBoost迁移学习方法下训练模型。实验结果表明:将ME-Faster R-CNN在K-MABtrA迁移学习的条件下应用于小数据集大坝裂缝图像集的平均IoU为82.52%,平均精度mAP值为80.02%,与相同参数设置下的Faster R-CNN检测算法相比,平均IoU和mAP值分别提高了1.06%和1.56%。     

嵌入遮挡关系模块的SSD模型的输电线路图像金具检测

为了提升深度学习目标检测模型在输电线路金具自动化检测任务中的准确率,针对金具检测数据集中金具目标标注框之间不可避免地广泛存在相交而导致金具目标检测定位不准确的问题,本文利用相交区域的相似性作为金具目标的上下文信息,提出目标间遮挡关系的描述方法,用于规则性描述图像中金具目标间的相互遮挡,设计遮挡关系模块,并将其嵌入到单次多框检测器(single shot multibox detector, SSD)模型中。为了验证嵌入遮挡关系模块的SSD模型的有效性,选择了8类目标标注框普遍存在相交的小目标金具进行实验,实验使用的金具检测数据集的训练集和测试集中金具目标数分别为6 271和1 713。实验证明,原始SSD模型的平均精度均值(mean average precision, mAP)为72.10%,嵌入遮挡关系模块的SSD模型的mAP为76.56%,性能提升了4.46%。     

迭代Faster R-CNN的密集行人检测

行人检测是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。针对行人检测在密集场景下普遍存在的行人间遮挡问题，提出基于迭代Faster R-CNN的密集行人检测模型，利用一种IterDet迭代方案对Faster R-CNN进行改进，有效解决非极大值抑制（NMS）算法及其改进在选择精确度和召回率之间平衡点的难题。同时利用递归金字塔结构（RFP）进一步增强模型提取特征能力。在具有挑战性的WiderPerson和CrowdHuman数据集上进行训练和验证，实验结果表明，该模型相比Faster R-CNN在精度和召回率显著提升的同时，漏检率也明显降低。尤其在WiderPerson数据集上召回率、精度、漏检率等性能指标分别达到了97.65%、91.29%、40.43%的SOTA结果。     

基于改进Faster R-CNN的小目标检测算法

针对图像纹理细节等高频特征在基于卷积神经网络模型的特征提取过程中丢失，从而导致小目标检测效果较差的问题，提出一种多层频域特征融合的目标检测算法。算法以Faster R-CNN为基础框架，使用高频增强后的图像和对比度增强后的图像作为算法输入样本，提高了待检测图像质量；针对总像素面积较小的目标，更改RPN网络中的锚点尺度，并利用多尺度卷积特征融合的方法，融合来自不同特征层的特征，解决了小目标在深层特征图中特征信息丢失的问题。实验结果表明，所提算法在DAGM 2007数据集上具有良好的性能，平均精度均值mAP达到了97.9%,在PASCAL VOC 2007测试集上对小目标的mAP也明显优于原始Faster R-CNN的。     

融合改进FPN与关联网络的Faster R-CNN目标检测

在无人机场景下,目标检测存在样本数量不足、成像视角不同的问题,导致检测精度低。提出一种结合改进特征金字塔网络（FPN）与关联网络的Faster R-CNN目标检测算法。通过在传统FPN结构中以自下而上的特征融合方式提取特征图的语义信息和位置信息,最大程度地保留特征图的多尺度信息。同时利用候选区域之间的形状特征和位置特征构造区域之间的关联特征,并与深度特征相融合进行分类回归,从而充分提取特征图的整体信息,实现目标检测。在PASCAL VOC 2007和NWPU VHR-10数据集上的实验结果表明,相比FPN+Faster R-CNN算法,该算法的交并比和平均检测精度分别提高了10和2.7个百分点,具有较优的目标检测性能。     

融合外部知识的输电线路多金具解耦检测方法

为了有效解决输电线路多金具检测过程中存在的目标密集和目标间相互遮挡的问题,提出了融合外部知识的多目标解耦检测方法(external knowledge decoupling R-CNN, EKD R-CNN)。首先通过深入分析金具数据集的领域规则和图像信息,提取出共现和空间知识;然后使用图神经网络方法建立共现和空间知识推理模型,将外部知识进行实例化表达;最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习。在实验阶段,对具有14类金具的数据集,进行多种定性和定量实验。对比实验表明,EKD R-CNN的检测效果优于其他先进目标检测模型,与原有基线模型相比,准确率提高6.6%;定性实验表明算法能够解决目标遮挡的问题,实现密集目标的检测;消融实验表明,每种模块对模型的检测效果均有一定的提升。     

基于优化候选区域的战场目标检测研究

针对Faster R-CNN算法对战场小型目标和遮挡目标的检测存在耗时且检测精度低的问题,提出基于优化候选区域的Faster R-CNN算法.算法使用改进的区域提取网络(Region Proposal Networks,RPN)提取候选区域并通过误差比较的方法优化候选区域,同时,引入排斥损失来优化遮挡目标的候选区域.优化后的候选区域和特征图进入检测网络,完成目标的分类和位置回归.在坦克装甲目标数据集上进行实验,结果表明:与传统检测算法相比,所提算法在检测速率和平均精度方面的性能更优.     

基于SENet改进的Faster R-CNN行人检测模型

随着无人驾驶和智能驾驶技术的发展,计算机视觉对视频图像检测的实时性和准确性要求也越来越高.现有的行人检测方法在检测速度和检测精度两个方面难以权衡.针对此问题,提出一种改进的Faster R-CNN模型,在Faster R-CNN的主体特征提取网络模块中加入SE网络单元,进行道路行人检测.这种方法不仅能达到相对较高的准确率,用于视频检测时还能达到一个较好的检测速率,其综合表现比Faster R-CNN模型更好.在INRIA数据集和私有数据集上的实验表明,模型的mAP最好成绩能达到93.76%,最高检测速度达到了13.79 f/s.     

复杂背景下远距离及小尺寸行人检测改进算法

针对远距离及小尺寸行人难以检测,极易受到复杂背景的干扰,且分辨率低、有效信息少等问题,提出一种在复杂背景下结合Faster R-CNN检测远距离及小尺寸行人的改进算法.运用混合高斯模型,解决复杂背景干扰的问题,及时去除视频的背景信息,提取视频图像的前景.为进一步解决分辨率低且有效信息少的问题,采用双线性二次插值方法增强图像的分辨率,采用多尺度特征融合弥补有效信息的不足.实验结果表明,不同场景下行人检测精度均有所提升,其中远距离及小尺寸行人的检测精度提升更为明显.     

基于深度学习的座舱开关状态识别研究

飞机飞行前为保证飞行安全,需要机务人员对座舱开关、安全销等状态进行检查确认,由于检查对象多、状态多,人为检查常常出现错检、漏检.因此,以飞机座舱开关为具体研究对象,提出了一种基于深度学习的座舱开关状态识别方法.在典型的目标检测算法Faster R-CNN的基础上,提出基于特征融合的多分支Faster R-CNN改进算法,既提升了小目标开关的检测精度,又兼顾了 一般大小目标物体的检测精度.多组对比实验表明,所提出的方法在座舱开关状态检测场景中的平均精度较原始的Faster R-CNN有明显提升.     

基于DRN和FasterR-CNN融合模型的行为识别算法

针对传统单人行为识别算法易受行人形态多样性、背景和光照等影响的问题进行研究。基于扩张残差网络（DRN）的精准分类效果及目标检测网络Faster R-CNN在目标追踪方面的准确性,提出了一种DRN和Faster R-CNN的融合网络模型。该模型在Faster R-CNN中融入DRN的扩张卷积残差块代替原来的一般卷积层,并对融合模型进行了两方面的改进：在每一层前面添加一个batch normalization层;用三层扩张卷积残差块代替部分两层残差块。实验结果表明三种融合网络识别算法在Olympic sports dataset数据库上较其他行为识别算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型识别性能最好,mAP达到78.9%。     

深度学习在手机数据接口缺陷检测中的应用

为了能更好地对手机数据接口的缺陷进行检测,提出一种基于Faster R-CNN的检测算法。将Faster R-CNN检测架构中的RoIPooling替换成RoIAlign,解决RoIPooling计算过程中2次量化造成的目标回归位置的偏差。使用ResNet50融合FPN的网络作为特征提取网络,提高模型对小型目标缺陷的检测效果。最后使用测试集进行预测,实验表明本文提出算法的均值平均精度（mAP）达到了91.17%,比使用VGG为特征提取网络时的mAP提高了24.72个百分点,比单独使用ResNet50为特征提取网络的mAP提高了2.58个百分点,因此,本文提出的算法对手机数据接口缺陷检测有显著的效果提升,为手机数据接口缺陷检测提供了一种更有效的检测方法。     

基于可变权重损失函数和难例挖掘模块的Faster R-CNN改进算法

基于深度卷积神经网络的目标检测算法已成为目标检测领域中的研究热点,它包括基于区域提议的两阶段目标检测算法和基于位置回归的一阶段目标检测算法。Faster R-CNN是两阶段目标检测的典型算法之一,但是,训练数据集中简单样本-〖KG-*8〗难分样本数量不平衡,以及样本数据的类间不平衡,都是影响Faster R-CNN检测精度的重要原因。本文提出一种基于可变权重损失函数Focal Loss和难例挖掘模块的改进Faster R-CNN算法。具体地,在网络的分类部分引入Focal Loss函数,通过权重调节样本数据的类间不平衡,改善简单样本-〖KG-*8〗难分样本的数量不平衡;同时,修改网络结构,引入难例挖掘模块,进一步平衡简单样本-〖KG-*8〗难分样本的数量,提高网络的检测性能。本文采用不同数据集,不同基础网络来测试提出的算法性能。实验结果表明,在VGG-16基础网络下,本文算法在Pascal VOC 2007数据集上平均检测精度较原算法提高了0.9个百分点,在Pascal VOC 07+12数据集上提高了1.7个百分点;在Res-101基础网络上,在Pascal VOC 2007数据集上平均检测精度较原算法提高了1.3个百分点,在Pascal VOC 07+12数据集上提高了1.5个百分点。     

基于改进Faster R-CNN的钢轨踏面块状伤损检测方法

针对钢轨踏面块状伤损存在的尺度变化大、样本数据集小的问题,提出了基于改进Faster R-CNN的钢轨踏面块状伤损检测方法。首先,基于ResNet-101基础网络结构来构建多尺度特征金字塔（FPN）,以实现深、浅层特征信息的融合,从而提高了小尺度伤损的检测精度;然后,采用广义交并比（GIoU）损失解决了Faster R-CNN中回归损失SmoothL1对预测边框位置不敏感问题;最后,提出引导锚定的区域提名网络（GA-RPN）方法,从而解决了区域生成网络（RPN）生成的锚点大量冗余而导致的检测网络训练中正负样本失衡问题。训练过程中,基于翻转、裁剪、噪声扰动等图像预处理方法对RSSDs数据集进行扩充,解决了钢轨踏面块状伤损训练样本不充足问题。实验结果表明,所提改进方法对钢轨踏面块状伤损检测的平均精度均值（mAP）可达到82.466%,相较于Faster R-CNN提高了13.201个百分点,能够更加准确地检测钢轨踏面块状伤损。