结合Faster R-CNN的多类型火焰检测

目的 火焰检测可有效防止火灾的发生。针对目前火焰检测方法,传统图像处理技术的抗干扰能力差、泛化性不强,检测效果对数据波动比较敏感;机器学习方法需要根据不同的场景设定并提取合适火焰的特征,过程比较繁琐。为此提出一种基于Faster R-CNN的多类型火焰检测方法,避免复杂的人工特征提取工作,在面对复杂背景、光照强度变化和形态多样的火焰图像时依然保证较好的检测精度。方法 基于深度学习的思想,利用卷积神经网络自动学习获取图像特征。首先,利用自建数据集构建视觉任务。根据火焰的尖角特性、直观形态和烟雾量等,将火焰类数据划分为单尖角火焰、多尖角火焰和无规则火焰3类。此外,通过深度网络特征可视化实验发现,人造光源与火焰在轮廓上具有一定的相似性,为此建立了人造光源圆形和方形两个数据集作为干扰项来保证检测模型的稳定性;然后,细化训练参数并调整预训练的卷积神经网络结构,改动分类层以满足特定视觉任务。将经过深度卷积神经网络中卷积层和池化层抽象得到的图像特征送入区域生成网络进行回归计算,利用迁移学习的策略得到每一类目标物体相应的探测器;最后,得到与视觉任务相关的目标检测模型,保存权重和偏置参数。并联各类目标物体的子探测器作为整体探测器使用,检测时输出各类探测器的分数,得分最高的视为正确检测项。结果 首先,利用训练好的各探测器与相应测试集样本进行测试,然后,再利用各类目标物的测试集来测试其他类探测器的检测效果,以此证明各探测器之间的互异性。实验结果表明,各类探测器都具有较高的专一性,大大降低了误判的可能性,对于形变剧烈和复杂背景的火焰图像也具有良好的检测准确率。训练得到的检测模型在应对小目标、多目标、形态多样、复杂背景和光照变化等检测难度较大的情况时,均能获得很好的效果,测试集结果表明各类探测器的平均准确率提高了3.03% 8.78%不等。结论 本文提出的火焰检测方法,通过挖掘火焰的直观形态特征,细分火焰类别,再利用深度卷积神经网络代替手动特征设置和提取过程,结合自建数据集和根据视觉任务修改的网络模型训练得到了检测效果良好的多类型火焰检测模型。利用深度学习的思想,避免了繁琐的人工特征提取工作,在得到较好的检测效果的同时,也保证了模型具有较强的抗干扰能力。本文为解决火焰检测问题提供了更加泛化和简洁的解决思路。     

深度卷积神经网络的显著性检测

目的 显著性检测问题是近年来的研究热点之一,针对许多传统方法都存在着特征学习不足和鲁棒检测效果不好等问题,提出一种新的基于深度卷积神经网络的显著性检测模型.方法 首先,利用超像素的方法聚类相似特征的像素点,仿人脑视皮层细胞提取目标边缘,得到区域和边缘特征.然后,通过深度卷积神经网络学习图像的区域与边缘特征,获取相应的目标检测显著度置信图.最后,将深度卷积神经网络输出的置信度融入到条件随机场,求取能量最小化,实现显著性与非显著性判别,完成显著性检测任务.结果 在两个常用的视觉检测数据库上进行实验,本文算法的检测精度与当前最好的方法相比,在MSAR数据库上检测精度相对提升大约1.5%,在Berkeley数据库上提升效果更加明显,达到了5%.此外,无论是自然场景还是人工建筑场景、大目标与小目标,检测的效果都是最好的.结论 本文融合多特征的深度学习方法与单一浅层人工特征的方法相比更有优势,它避免了手工标定特征所带来的不确定性,具有更好的鲁棒性与普适性,从主观视觉愉悦度和客观检测准确度两方面说明了算法的有效性.     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

深度卷积网络卫星图像水泥厂目标检测

目的 水泥厂作为重要的污染源企业需要对其进行统计和监管,近几年随着卫星遥感技术的发展和遥感影像分辨率的提高,使得基于卫星影像进行水泥厂目标检测成为可能。但是由于遥感图像中建筑目标的环境复杂多变,同时各个水泥厂在生产规模、设备构成、厂区结构、坐落方位上存在较大差异,图像表观上的形态各异和复杂环境干扰使得传统图像识别方法难以设计和提取有效特征。鉴于深度学习在视觉目标检测领域的成功应用,本文将研究应用深度卷积神经网络方法,实现在卫星图像上识别与定位水泥厂目标,为环保部门提供一种高效便捷的水泥厂目标检测和统计方法。方法 基于面向目标检测与定位的Faster R-CNN深度学习框架,以准确检测与定位水泥厂区域为目的,以京津冀地区的水泥厂位置作为训练和测试数据集,选用3种结构不同的提取特征卷积神经网络模型进行了对比实验。并针对小样本训练容易出现的过拟合和误检问题,采用图像去雾预处理、数据扩充、引入负样本等技术进一步提升模型能力。结果 测试集实验结果表明ResNet特征提取网络效果最好,准确率达到74%。为了进一步提高检出率并降低误检率,引入3种模型能力提升方法,在扩充检测数据集中的检出率达到94%,误检率降低到14%;在全球水泥厂数据集中的图像检出率达到96%,万幅随机图像的误检数量为30幅（0.3%）。对上海地区的卫星图像进行扫描检测,结果检测出11个已登记的水泥厂（共登记16个）,另外还检测出17个未登记的水泥厂。结论 对于卫星地图上水泥厂这种具有特殊建筑构造但也存在厂区几何形状各异、所处地理环境复杂、随季节性变化等特点,本文提出的基于深度卷积网络的卫星图像水泥厂检测方法,能够自动学习提取有效的图像特征并对目标进行准确检测。针对小样本训练问题,引入3种方法显著提高了模型的检测精度。在模型泛化能力测试中,经过优化后的模型在水泥厂建筑目标检测任务中表现良好,具有重要的应用价值。     

面向SAR目标识别的深度卷积神经网络结构设计

目的 针对用于SAR （synthetic aperture radar） 目标识别的深度卷积神经网络模型结构的优化设计难题,在分析卷积核宽度对分类性能影响基础上,设计了一种适用于SAR目标识别的深度卷积神经网络结构。方法 首先基于二维随机卷积特征和具有单个隐层的神经网络模型-超限学习机分析了卷积核宽度对SAR图像目标分类性能的影响;然后,基于上述分析结果,在实现空间特征提取的卷积层中采用多个具有不同宽度的卷积核提取目标的多尺度局部特征,设计了一种适用于SAR图像目标识别的深度模型结构;最后,在对MSTAR （moving and stationary target acquisition and recognition） 数据集中的训练样本进行样本扩充基础上,设定了深度模型训练的超参数,进行了深度模型参数训练与分类性能验证。结果 实验结果表明,对于具有较强相干斑噪声的SAR图像而言,采用宽度更大的卷积核能够提取目标的局部特征,提出的模型因能从输入图像提取目标的多尺度局部特征,对于10类目标的分类结果（包含非变形目标和变形目标两种情况）接近或优于已知文献的最优分类结果,目标总体分类精度分别达到了98.39%和97.69%,验证了提出模型结构的有效性。结论 对于SAR图像目标识别,由于与可见光图像具有不同的成像机理,应采用更大的卷积核来提取目标的空间特征用于分类,通过对深度模型进行优化设计能够提高SAR图像目标识别的精度。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

区域建议网络的细粒度车型识别

目的 细粒度车型识别旨在通过任意角度及场景下的车辆外观图像识别出其生产厂家、品牌型号、年款等信息,在智慧交通、安防等领域具有重要意义。针对该问题,目前主流方法已由手工特征提取向卷积神经网络为代表的深度学习方法过渡。但该类方法仍存在弊端,首先是识别时须指定车辆的具体位置,其次是无法充分利用细粒度目标识别其视觉差异主要集中在关键的目标局部的特点。为解决这些问题,提出基于区域建议网络的细粒度识别方法,并成功应用于车型识别。方法 区域建议网络是一种全卷积神经网络,该方法首先通过卷积神经网络提取图像深层卷积特征,然后在卷积特征上滑窗产生区域候选,之后将区域候选的特征经分类层及回归层得到其为目标的概率及目标的位置,最后将这些区域候选通过目标检测网络获取其具体类别及目标的精确位置,并通过非极大值抑制算法得到最终识别结果。结果 该方法在斯坦福BMW-10数据集的识别准确率为76.38%,在斯坦福Cars-196数据集识别准确率为91.48%,不仅大幅领先于传统手工特征方法,也取得了与目前最优的方法相当的识别性能。该方法同时在真实自然场景中取得了优异的识别效果。结论 区域建议网络不仅为目标检测提供了目标的具体位置,而且提供了具有区分度的局部区域,为细粒度目标识别提供了一种新的思路。该方法克服了传统目标识别对于目标位置的依赖,并且能够实现一图多车等复杂场景下的车型细粒度识别,具有更好的鲁棒性及实用性。     

Faster R-CNN模型在车辆检测中的应用

针对传统机器学习方法在车辆检测应用中易受光照、目标尺度和图像质量等因素影响,效率低下且泛化能力较差的问题,提出一种基于改进的较快的基于区域卷积神经网络（R-CNN）模型的车辆检测方法。该方法以Faster R-CNN模型为基础,通过对输入图像进行卷积和池化等操作提取车辆特征,结合多尺度训练和难负样本挖掘策略降低复杂环境的影响,利用KITTI数据集对深度神经网络模型进行训练,并采集实际场景中的图像进行测试。仿真实验中,在保证检测时间的情况下,相对原Faster R-CNN算法检测精确度提高了约8%。实验结果表明,所提方法能够自动地提取车辆特征,解决了传统方法提取特征费时费力的问题,同时提高了车辆检测精确度,具有良好的泛化能力和适用范围。     

一种深度学习的非机动车辆目标检测算法

针对道路交通场景目标检测问题,提出采用EdgeBoxes算法和深度学习融合的非机动车辆目标检测方法,利用深度学习目标分类算法Fast R-CNN,结合VOC格式的非机动车辆数据样本,把道路交通场景中的目标检测问题实化为自行车（bicycle）和电动车（evbike）的分类问题。利用EdgeBoxes算法提取样本的目标建议构建适量的感兴趣区域,和样本一起输入网络进行迭代训练,同时引入正则化思想和微调策略进行网络优化,降低网络复杂度并避免过拟合现象;网络训练后得到非机动车辆目标检测模型,对模型进行新样本测试并分析测试效果。在道路交通场景目标检测中,基于EdgeBoxes算法和优化Fast R-CNN融合的方法与传统方法相比,检测准确度稍有提高,运算量明显降低,检测速度加快近一倍。     

基于改进YOLOv3的快速车辆检测方法

对图像或视频数据中的车辆进行检测是城市交通监控中非常重要并且具有挑战性的任务。该任务的难度在于对复杂场景中相对较小的车辆进行精准地定位和分类。针对这些问题，提出了一个单阶段的深度神经网络（DF-YOLOv3），实现城市交通监控中不同类型车辆的实时检测。DF-YOLOv3对传统的YOLOv3算法进行改进，首先增强深度残差网络提取车辆特征，然后设计6个不同尺度的卷积特征图，并与残差网络中相应尺度的特征图进行融合，形成最终的特征金字塔执行车辆预测任务。在KITTI数据集上的实验表明，提出的DF-YOLOv3方法在精度和速度上均能获得较高的检测性能。具体地，对于512×512分辨率的输入模型，基于英伟达1080Ti GPU，DF-YOLOv3获得93.61%的mAP（均值平均精度），速度达到45.48 f/s（每秒传输帧数）。特别地，对于精度，DF-YOLOv3比Fast R-CNN、Faster R-CNN、DAVE、YOLO、SSD、YOLOv2、YOLOv3与SINet表现更好。     

提取全局语义信息的场景图生成算法

目的 场景图能够简洁且结构化地描述图像。现有场景图生成方法重点关注图像的视觉特征,忽视了数据集中丰富的语义信息。同时,受到数据集长尾分布的影响,大多数方法不能很好地对出现概率较小的三元组进行推理,而是趋于得到高频三元组。另外,现有大多数方法都采用相同的网络结构来推理目标和关系类别,不具有针对性。为了解决上述问题,本文提出一种提取全局语义信息的场景图生成算法。方法 网络由语义编码、特征编码、目标推断以及关系推理等4个模块组成。语义编码模块从图像区域描述中提取语义信息并计算全局统计知识,融合得到鲁棒的全局语义信息来辅助不常见三元组的推理。目标编码模块提取图像的视觉特征。目标推断和关系推理模块采用不同的特征融合方法,分别利用门控图神经网络和门控循环单元进行特征学习。在此基础上,在全局统计知识的辅助下进行目标类别和关系类别推理。最后利用解析器构造场景图,进而结构化地描述图像。结果 在公开的视觉基因组数据集上与其他10种方法进行比较,分别实现关系分类、场景图元素分类和场景图生成这3个任务,在限制和不限制每对目标只有一种关系的条件下,平均召回率分别达到了44.2%和55.3%。在可视化实验中,相比性能第2的方法,本文方法增强了不常见关系类别的推理能力,同时改善了目标类别与常见关系的推理能力。结论 本文算法能够提高不常见三元组的推理能力,同时对于常见的三元组也具有较好的推理能力,能够有效地生成场景图。     

基于深度学习的齿轮视觉微小缺陷检测

针对齿轮视觉微小缺陷,采用一种基于深度学习算法的Mask R-CNN网络进行检测,并对网络进行相应地优化调整.首先,通过比较5种残差神经网络检测效果,选择resnet-101作为图像共享特征提取网络.然后,剔除特征金子塔网络中对特征图P₅进行的不合理的3×3卷积,缺齿检出率指标相应得到提升.最后,为了对候选区域网络进行有效的训练,根据设计的样本标注方案中小范围波动的标注尺寸,设置合适的anchors大小以及宽高比.最终,经过优化的Mask R-CNN网络达到了98.2%缺齿检出率.     

基于Faster R-CNN的办公用品目标检测

RCNN网络与全卷积网络框架等技术使得目标检测技术能够快速发展。RCNN网络与全卷积网络框架不仅训练速度快，推断速度也十分的迅速，此外还具有良好的鲁棒性以及灵活性。在人工智能领域的发展中，提高目标检测效率的关键在于好的技术，以及得到更加有效的、深层的特征表示，通过使用深层网络的多层结构来简洁地表达复杂函数。本文用到的目标检测方法先要用区域建议网络得到建议位置再进行检测，因为Fast R-CNN和R-CNN等目标检测算法已经在运行时间方面有了很大的提高，所以计算区域建议成为目标检测的一个计算瓶颈。本文通过在算法中加入特征融合技术，将每一卷积层提取的特征进行融合，使用区域建议网络来进行候选区域提取。区域建议网络和检测网络共享全图的卷积特征，从而很大程度地缩短候选区域的提取时间，提高目标检测的精度。     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

复杂背景下全景视频运动小目标检测算法

为解决复杂背景下全景视频中运动小目标检测精度低的问题,提出一种基于复杂背景下全景视频运动小目标检测算法.首先,为降低复杂背景信息的干扰,提高目标检测的精度,采用快速鲁棒性主成分分析(Fast RPCA)算法将全景视频图像的前景背景信息分离,并提取出前景信息作为有效的图像特征;然后,改进更快的基于区域的卷积神经网络(Faster R-CNN)中的区域生成网络(RPN)的候选框尺度大小,使之适应全景图像中的目标尺寸,再对前景特征图进行训练;最后,通过RPN网络和Fast R-CNN网络共享卷积层输出检测模型,实现对全景视频图像中小目标的精准检测.实验结果表明,所提出算法可以有效抑制复杂的背景信息对目标检测精度的影响,并对全景视频图像中的运动小目标具有较高的检测精度.     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。