基于遮挡关系推理的输电线路图像金具检测

实现输电线路图像典型金具的精准检测是进行其缺陷检测的前提。针对通用目标检测模型对密集分布、遮挡严重的金具检测精度较低、易出现漏检等问题,提出了一种结合金具间遮挡结构信息和场景关联信息的典型金具检测方法。基于经典的Faster R-CNN模型提取金具特征作为节点,提取整张图像特征作为金具场景关联信息,学习金具标注框间相交区域信息作为金具遮挡关系信息,并采用图同时建模金具特征、场景关联信息和遮挡关系信息,通过门控循环单元信息传递机制构建结构推理模块完成金具类别和位置的联合推理检测。为了验证所提方法的有效性,选取了8类存在遮挡连接关系的金具进行实验,其中,原始Faster R-CNN模型的mAP值为81.30%,改进模型的mAP值为84.15%。实验结果表明,本文方法一定程度上提高了遮挡严重金具的检测精度,为后续的金具故障诊断奠定良好的基础。     

基于改进SSD的食物浪费行为识别方法

为更准确地识别现实生活中复杂环境下的食品浪费行为,提出一种改进单激发多盒检测器(SSD)算法,增强算法在检测遮挡对象时的鲁棒性。将SSD基础网络替换成Resnet,增强特征提取能力。以实际应用中数据集真实框大小为依据,重新设计SSD检测时默认框的生成比例。通过添加SE模块,使模型在训练过程中增强重要通道信息。利用双向融合特征金字塔网络(BiFPN)对不同检测层中的特征进行融合。实验结果表明,改进后的SSD目标检测算法在自制的浪费行为数据集中检测精度达到88.49%,相比原始SSD提高了5.09%。     

融合外部知识的输电线路多金具解耦检测方法

为了有效解决输电线路多金具检测过程中存在的目标密集和目标间相互遮挡的问题,提出了融合外部知识的多目标解耦检测方法(external knowledge decoupling R-CNN, EKD R-CNN)。首先通过深入分析金具数据集的领域规则和图像信息,提取出共现和空间知识;然后使用图神经网络方法建立共现和空间知识推理模型,将外部知识进行实例化表达;最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习。在实验阶段,对具有14类金具的数据集,进行多种定性和定量实验。对比实验表明,EKD R-CNN的检测效果优于其他先进目标检测模型,与原有基线模型相比,准确率提高6.6%;定性实验表明算法能够解决目标遮挡的问题,实现密集目标的检测;消融实验表明,每种模块对模型的检测效果均有一定的提升。     

融入特征融合与特征增强的SSD目标检测

针对SSD算法在目标检测过程中对小目标检测的不足,提出了一种基于SSD算法的一阶段目标检测器——FIENet（feature integration and feature enhancement network）。在FIENet中设计了两个模块,一是特征融合模块,该模块对SSD浅层的特征映射信息进行融合以提高小目标检测能力;二是特征增强模块,该模块采用了残差网络（Res2Net）以及注意力机制（attention）,对特征融合后的模块以及SSD中的深层特征映射进行增强。为了更好地检测小目标,还调整了浅层特征映射先验框的数量。为了评价FIENet的有效性,在PASCAL VOC2007以及MSCOCO数据集上进行了实验。实验结果表明,在PASCAL VOC2007数据集上检测精度（mAP）较SSD提高3.1个百分点,对小目标bird、bottle、chair、plant检测精度分别提升了3.6、9.5、5.4、5.5个百分点。在COCO数据集上达到29.4%的检测精度（mAP）。实验结果证明FIENet网络在保持实时性的同时可以达到较高的检测精度。     

跨层融合和感受野扩增的SSD目标检测算法

鉴于SSD(Single Shot Multibox Detector)不同层缺乏信息的交互以及模型感受野的限制，提出了一种改进的SSD目标检测算法——ESSD(Enhanced SSD),以提高目标检测的准确性。首先，使用SSD模型中原有的多尺度特征图，利用FPN(Feature Pyramid Networks)的思想，设计了一种跨层信息交互模块，在增强了不同层的语义信息能力的同时减小了不同层的信息差异。然后，为了提高模型的感受野和多尺度检测能力，设计了一种感受野扩增模块。最后，采用批处理归一化层缩短训练时间，以提高模型的收敛速度。为了评价ESSD的有效性，在PASCAL VOC2007测试集以及PASCAL VOC2012测试集上进行了实验。实验结果表明，在PASCAL VOC2007数据集上其mAP为82.1%且检测速度为15.7FPS,相比原有的SSD512,其mAP提升了2.3%;在PASCAL VOC2012测试集上其mAP达到了80.6%,也比SSD512高2.1%。实验证明了ESSD检测器在达到较高检测精度的情况下，仍然可以满足实时性。     

面向驾驶场景的多尺度特征融合目标检测方法

针对驾驶场景中目标检测卷积神经网络模型检测精度较低的问题,提出一种基于改进RefineDet网络结构的多尺度特征融合目标检测方法。在RefineDet网络结构中嵌入LFIP（Light-weight Featurized Image Pyramid,轻量级特征化的图像金字塔）网络,将LFIP网络生成的多尺度特征图与RefineDet中的ARM（Anchor Refinement Module,锚点框修正模块）输出的主特征图相融合,提升特征层中锚点框初步分类和回归的输出效果,为ODM（Object Detection Module,目标检测模块）模块提供修正的锚点框以便于进一步回归和多类别预测;在RefineDet网络结构中的ODM之后嵌入多分支结构RFB（Receptive Field Block,感受野模块）,在检测任务中获得不同尺度的感受野以改善主干网络中提取的特征。将模型中的激活函数替换为带有可学习参数的非线性激活函数PReLU（Parametric Rectified Linear Unit,参数化修正线性单元）,加快网络模型的收敛速度;将RefineDet的边界框回归损失函数替换为排斥力损失函数Repulsion Loss,使目标检测中的某预测框更靠近其对应的目标框,并使该预测框远离附近的目标框及预测框,可以提升遮挡情况下目标检测的精度;构建驾驶视觉下的目标检测数据集,共计48 260张,其中38 608张作为训练集,9 652张作为测试集,并在主流的GPU硬件平台进行验证。该方法的mAP为85.59%,优于RefineDet及其他改进算法;FPS为41.7 frame/s,满足驾驶场景目标检测的应用要求。实验结果表明,该方法在检测速度略微下降的情况,能够较好地提升驾驶视觉下的目标检测的精确度,并能够一定程度上解决驾驶视觉下的遮挡目标检测和小目标检测的问题。     

基于深度学习的实时车辆检测研究

针对城市交通复杂场景下车辆检测存在准确率低的问题,提出改进SSD(单发多箱探测器)目标检测算法。首先基于轻量化的PeleeNet(一种基于密集卷积网络的轻量化网络变体)网络结构改进SSD算法中VGG16(视觉几何群网络)特征提取网络,在保证提取丰富特征的前提下,有效地减少模型参数,提高模型的实时性;其次设计了多尺度特征融合模块和底层特征增强模块,提高特征的表达性能;最后根据数据集中目标的大小调整默认框的长宽比例,并在后三个特征层的每个单元上增加默认框。实验结果表明,改进后的目标检测算法的准确率mAP(平均精度)为79.83%,与原始SSD相比提高了2.25%,并验证了改进SSD算法的有效性。     

结合Cannikin’s Law的离线数据增广方法研究

数据增广是提升深度学习模型性能的有效方法之一。针对多类别目标检测任务中检测性能不平衡问题,提出一种针对“短板类别”（检测性能远低于模型平均检测性能的类别）的离线数据增广方法。受Cannikin’s Law的启发,采用基于复制粘贴（copy-paste）机制的场景多样性增广方法。随机采集训练集中“短板类别”实例区域,通过相似性度量机制选取训练集中增广目标样本进行随机粘贴。为了降低随机粘贴导致的遮挡问题,采用基于自遮挡（cut-replace）机制的增广方法提升模型遮挡表达能力。通过截取样本自身区域,对特征表达最显著区域进行遮挡。实验表明,FCOS目标检测框架在PASCAL VOC数据上的平均检测精度（mean average precision,mAP）从79.10%提升到83.90%,其中短板类别更为显著,提升了20.8个百分点。在MS-COCO数据上平均检测精度提升了0.9个百分点。     

基于RGB-D融合的密集遮挡抓取检测

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于RGB-D图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富RGB-D特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于RGB-D像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOD数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YODO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.     

基于生成对抗网络学习被遮挡特征的目标检测方法

实际生活中目标间存在的遮挡会造成待检测目标的特征缺失,进而使得检测准确度降低.鉴于此,提出一种用于被遮挡特征学习的生成对抗网络(generative adversarial networks for learning occluded features, GANLOF).被遮挡特征学习网络分为被遮挡特征生成器、鉴别器两个部分.首先对数据集生成随机遮挡,作为模型的输入;然后利用生成器恢复被遮挡图片的池化特征,通过鉴别器区分恢复后的被遮挡池化特征与无遮挡图片池化特征,同时使用检测损失监督生成器,使恢复的被遮挡特征更准确.所提出被遮挡特征学习网络可以作为组件插入到任意的两阶段检测网络中.与Faster RCNN等已有模型相比,所提出模型在PASCAL VOC2007和KITTI数据集上的mAP(mean average precision)指标均有不同程度的提升.     

面向车辆和行人检测的KM-SSD方法

传统SSD改进方法在提升SSD目标检测精度的同时会降低其检测速度。针对这一问题,本文以SSD为基础,提出改进的KM-SSD方法。该方法首先利用K-means+〖KG-*3〗+聚类算法自适应学习先验框的宽高比例;然后设计高效特征融合模块实现高低层特征信息融合;最后本文在具有挑战性的KITTI数据集上对KM-SSD方法进行验证。实验结果表明,SSD的mAP为62.7%,平均检测时间为0.162 s;KM-SSD的mAP为69.8%,平均检测时间为0.133 s。因此,KM-SSD不仅提升了SSD在车辆和行人检测下的准确度,更是提高了SSD的检测速度,从而验证了本文所使用的K-means+〖KG-*3〗+聚类算法的有效性和特征融合方法的高效性。     

注意力机制改进轻量SSD模型的海面小目标检测

目的 海面目标检测图像中的小目标数量居多,而基于深度学习的目标检测方法通常针对通用目标数据集设计检测模型,对图像中的小目标检测效果并不理想。使用一般目标检测模型检测海面目标图像的特征时,通常会出现小目标漏检情况,而一些特定的小目标检测模型对海面目标的检测效果还有待验证。为此,在标准的SSD(single shot multiBox detector)目标检测模型基础上,结合Xception深度可分卷积,提出一种轻量SSD模型用于海面目标检测。方法 在标准的SSD目标检测模型基础上,使用基于Xception网络的深度可分卷积特征提取网络替换VGG-16(Visual Geometry Group network-16)骨干网络,通过控制变量来对比不同网络的检测效果;在特征提取网络中的exit flow层和Conv1层引入轻量级注意力机制模块来提高检测精度,并与在其他层引入轻量级注意力机制模块的模型进行检测效果对比;使用注意力机制改进的轻量SSD目标检测模型和其他几种模型分别对海面目标检测数据集中的小目标和正常目标进行测试。结果 为证明本文模型的有效性,进行了多组对比实验。实验结果表明,模型轻量化导致特征表达能力降低,从而影响检测精度。相对于标准的SSD目标检测模型,本文模型在参数量降低16.26%、浮点运算量降低15.65%的情况下,浮标的平均检测精度提高了1.1%,漏检率减小了3%,平均精度均值(mean average precision,mAP)提高了0.51%,同时,保证了船的平均检测精度,并保证其漏检率不升高,在对数据集中的小目标进行测试时,本文模型也表现出较好的检测效果。结论 本文提出的海面小目标检测模型,能够在压缩模型的同时,保证模型的检测速度和检测精度,达到网络轻量化的效果,并且降低了小目标的漏检率,可以有效实现对海面小目标的检测。     

改进SSD的安全帽检测方法

施工人员佩戴安全帽是安全生产的重要一环,为保障工人生命安全,同时克服传统人工巡检费时费力的缺点,提出了一种基于Single Shot MultiBox Detector（SSD）改进的安全帽检测新方法。针对安全帽数据集内目标尺度偏小,尺度分布不均衡,对SSD模型结构进行改进,添加用以特征融合的分支网络,增强浅层特征图语义,引入该网络后SSD300的mAP-50（mean Average Precision）相应提升2.3个百分点,且SSD300实时检测速率仅降低1.3 frame/s,达到39.6 frame/s。为使SSD模型的先验框与有效感受野匹配,对SSD默认框设置方法进行改进,引入可变参数间接调节先验框大小,改进后的SSD300与SSD512的mAP分别达到74.6%与82.5%。安全帽数据集测试结果表明,改进后的SSD模型对安全帽佩戴检测具有优秀的准确性与良好的实时性,基本满足实际应用需求。     

一种基于SSD改进的目标检测算法

SSD(Single Shot MultiBox Detector)是一种基于深度学习的目标检测算法,它作为当前最为主流的检测算法之一,在极大地提高检测速度的同时,还能保证一定的检测精度,但是仍难以满足实际应用的需求。本文在SSD模型的基础上,引入注意力机制,提出一种基于SSD改进的目标检测算法。注意力机制能够有效地提高卷积神经网络对图片特征的提取能力,从而进一步提高算法的检测精度。改进后的算法在Pascal VOC数据集上进行对比试验。实验结果表明,改进后的模型在Pascal VOC2007测试集上的检测精度达到78.5% mAP（mean Average Precision）,比改进前提高4.2个百分点,在Pascal VOC2012测试集上的检测精度达到77.1% mAP,比改进前提高4.7个百分点。     

融合整体与局部信息的武夷岩茶叶片分类方法

针对武夷岩茶鲜茶叶叶片图像分类问题,提出一种融合整体与局部信息的分类方法。该方法使用两分支并行结构构建了一个整体与局部信息融合的卷积神经网络模型。实验表明,在9个品种共计7330张武夷岩茶鲜茶叶叶片图像数据集上,基于ResNet18构造的两分支并行卷积神经网络模型的分类准确率为96.68%,超过了其他CNN模型的分类准确率。这表明通过融合全局信息、边缘形状信息和纹理局部信息能有效提高分类准确率。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

基于可变形卷积的改进YOLO目标检测算法

针对YOLO目标检测算法存在边界框定位不准确及对小目标检测精度低的问题,提出一种改进的YOLO目标检测算法dcn-YOLO。使用k-means++算法聚类出更符合数据集尺寸的锚盒,以降低初始点对聚类结果的影响并加快网络训练收敛速度。构建残差可变形卷积模块res-dcn,分别采用将其嵌入YOLO第一特征提取头模块中和替换3个YOLO特征提取头模块的方式,构建两种改进的dcn-YOLO算法,使网络可以自适应地学习特征点的感受野,从而对不同尺寸和形状的目标提取更有效的特征,提高检测精度。在VOC数据集上的实验结果表明,该算法能有效提高目标检测精度,mAP达到82.6%,相比YOLO、SSD、Faster R-CNN,分别高出了2.1、5.2、9.4个百分点。     

基于转置卷积操作改进的单阶段多边框目标检测方法

针对单阶段多边框目标检测（SSD）模型在以高交并比（IoU）评估平均检测精度（mAP）时出现的精度下降问题,提出一种使用转置卷积操作构建的循环特征聚合模型。该模型以SSD模型为基础,使用ResNet 101作为特征提取网络。首先,利用转置卷积操作扩大网络结构中深层特征图的尺寸,为浅层特征图引入对目标的高层抽象和上下文信息;其次,使用全连接卷积层减少浅层特征图在进行特征聚合时出现偏差的可能性;最后,将浅层特征图与表示了上下文信息的深层特征图拼接,并使用1×1卷积操作恢复通道数。特征聚合过程可以循环进行多次。实验结果表明,使用KITTI数据集,以交并比（IoU）为0.7评估平均检测精度,与原始SSD模型相比,循环特征聚合模型的检测精度提高了5.1个百分点;与已有的精度最高Faster R-CNN相比,检测精度提高了2个百分点。循环特征聚合模型能有效提升平均目标检测精度,生成高质量的边界框。