基于RCNN的无人机巡检图像电力小部件识别研究

随着无人机（UAV)在电力巡线作业中的应用推广,对无人机巡检图像的信息挖掘或目标识别需求也越来越强烈。传统的电力部件识别流程常使用经典的机器学习算法,如支持向量机（SVM）、随机森林或adaboost,结合梯度、颜色或纹理等浅层特征来对电力部件进行识别,难以充分利用无人机巡检图像的信息,并且难以达到较高的准确率。卷积神经网络（CNN）在目标识别中表现优异,在很多目标识别场景之中成为首选算法。基于区域的卷积神经网络（RCNN）通过使用CNN从图像中提取可能含有目标的区域来检测并识别目标,但是计算复杂,难以满足识别海量电力巡检图片的需求。Fast R-CNN和Faster R-CNN利用CNN网络提取图像特征,后接一个区域提议层,优化了提取可能含有目标区域的方式并改进识别目标的分类器,使目标的检测和识别几乎实时。本文详细描述了Faster R-CNN算法流程,并在无人机电力线巡检图像部件检测中使用,然后分别对DPM、SPPnet和Faster R-CNN识别方法进行了对比分析,利用实际采集的电力小部件巡检数据构建的数据集对3种方法进行测试验证,并讨论了不同参数对识别结果的影响。实验结果表明,基于深度学习的识别方法实现电力小部件的识别是可行的,而且利用Faster R-CNN进行多种类别的电力小部件识别定位可以达到每张近80 ms的识别速度和92.7%的准确率。     

设施农业典型地物改进Faster R-CNN识别方法

深度学习方法可有效提高传统基于遥感影像的设施农业典型地物识别与提取方法的结果精度,对传统农业的转型和发展意义重大。本文针对遥感影像大背景小目标的特点,以及设施农业典型地物的图像特征,结合深度残差思想和Faster R-CNN提出DRTOMA算法：首先,使用深度残差网络作为其基础特征提取网络,以此获得更深层次的图像特征,并抑制网络退化和衰退问题;然后在残差单元和全连接层之间加入改进的空间金字塔池化层,从而去除输入图像固定大小的限制,增加网络对图像尺度的敏感度;最后,在全连接层间添加dropout层,减少网络计算的复杂度,提升抗过拟合效果。仿真结果表明：同部分已有的检测算法相比,DRTOMA算法的平均识别准确率和召回率均取为最优,分别为91.87%和90.63%;在最优识别精度近似的情况下,DRTOMA算法比Faster R-CNN算法的召回率高约2%,网络更易收敛,训练难度较低。综上所述,DRTOMA算法是一种有效可行的设施农业典型地物检测方法。     

基于深度学习的遥感影像地类信息获取技术现状研究

基于图像特征的地类识别技术精度低且复杂度高,难以满足土地利用动态监测的实时性要求。而基于深度学习的遥感影像地类识别技术数据处理及特征提取能力较强,能够有效提升识别精度,使地类信息获取更加智能化,因而被广泛应用于遥感影像地类处理。根据地类识别技术不同,可以分为遥感影像分割、遥感影像分类以及目标监测三种方式。每类识别技术根据训练数据是否有标注可以分为有监督学习、半监督学习以及无监督学习三种类型。通过对相关技术和文献的调研和分析,介绍各种深度学习模型的理论基础与基本结构,总结国内外基于深度学习的遥感影像地类识别方法的优缺点,并指出未来的发展方向。     

高分辨率遥感影像目标分类与识别研究进展

高分辨率遥感影像的目标分类与识别,是对地观测系统进行图像分析理解,以及自动目标识别系统提取目标信息的重要手段。本文综述了当前国内外在可见光、红外、合成孔径雷达和合成孔径声纳等遥感影像的目标分类与识别的关键技术和最新研究进展。首先,讨论了高分辨率遥感影像的目标分类与识别问题的主要研究层次和内容;其次,深入分析了高分辨率遥感影像目标分类与识别,在滤波降噪、特征提取、目标检测、场景分类、目标分类和目标识别的关键技术及其所存在的问题;最后,结合并行计算、神经计算和认知计算等技术,讨论了目标分类与识别的可行性方案。具体包括：（1）高性能并行计算在高分辨率遥感图像处理的主流技术,并给出了基于Hadoop+OpenMP+CUDA的高分辨率遥感影像混合并行处理架构;（2）深度学习对于提升目标分类和识别精度的应用前景,以及基于深度神经网络的多层次遥感影像目标识别方法;（3）认知计算在解决遥感影像大数据不确定性分析的模型与算法,并讨论了层次主题模型的多尺度遥感影像场景描述方案。此外,根据媒体神经认知计算的相关研究,探讨了遥感影像大数据的目标分类和识别的发展趋势和研究方向。     

一种基于深度传递迁移学习的遥感影像分类方法

面对实际的遥感影像分类任务,采用深度神经网络的方法存在的最大问题是缺乏充足的标注样本,如何使用较少的标注样本实现较高精度的遥感影像分类,是目前需要解决的问题。ImageNet作为世界上最大的图像识别数据集,在其上训练出的模型有着丰富的底层特征。对ImageNet预训练模型进行微调是最常见的迁移学习方法,能够一定程度利用其丰富的底层特征,提高分类精度。但ImageNet影像特征与遥感影像差距较大,对分类效果提升有限。为了解决上述问题,本文基于传递迁移学习思想,结合深度神经网络,提出一种基于深度传递迁移学习的遥感影像分类方法。该方法通过构建以开源遥感场景识别数据集为源域的中间域,并以ImageNet预训练权重为源域、待分类遥感影像为目标域进行迁移学习,提高遥感影像分类精度。首先,以ImageNet预训练VGG16网络为基础,为加速卷积层权重更新而将全连接层替换为全局平均池化层,构建GAP-VGG16,使用中间域数据集训练ImageNet预训练GAP-VGG16以获取权重;然后,以SegNet网络为基础,在SegNet中加入卷积层设计了T-SegNet,以对获取的权重进一步地提取。最后,将获取的权重迁移到T-SegNet中,使用目标域数据集训练,实现遥感影像分类。本文选取Aerial Image Dataset和UC Merced Land-Use DataSet作为中间域数据集的数据源,资源三号盘锦地区影像为目标域影像,并分别选取了50%和25%数量的训练样本进行实验。实验结果表明,在50%和25%数量的训练样本下,本文方法分类结果相比SegNet的Kappa系数分别提高了0.0459和0.0545,相比ImageNet预训练SegNet的Kappa系数分别提高了0.0377和0.0346,且在样本数较少的类别上,本文方法分类精度提升更明显。     

基于多任务学习的高分辨率遥感影像建筑提取

建筑物的自动提取对城市发展与规划、防灾预警等意义重大。当前的建筑物提取研究取得了很好的成果,但现有研究多把建筑提取当成语义分割问题来处理,不能区分不同的建筑个体,且在提取精度方面仍然存在提升的空间。近年来,基于多任务学习的深度学习方法已在计算机视觉领域得到广泛应用,但其在高分辨率遥感影像自动解译任务上的应用还有待进一步发展。本研究借鉴经典的实例分割算法Mask R-CNN和语义分割算法U-Net的思想,设计了一种将语义分割模块植入实例分割框架的深度神经网络结构,利用多种任务之间的信息互补性来提升模型的泛化性能。自底向上的路径增强结构缩短了低层细节信息向上传递的路径。自适应的特征池化使得实例分割网络可以充分利用多尺度信息。在多任务训练模式下完成了对遥感影像中建筑物的自动分割,并在经典的遥感影像数据集SpaceNet上对该方法进行验证。结果表明,本文提出的基于多任务学习的建筑提取方法在巴黎数据集上建筑实例分割精度达到58.8%,在喀土穆数据集上建筑实例分割精度达到60.7%,相比Mask R-CNN和U-Net提升1%~2%。     

基于特征分离机制的深度学习植被自动提取方法

随着遥感影像分辨率的提高,植被信息的高精度提取对于了解地表植被变化规律、评价生态区域具有重要意义。针对传统方法跨季节植被提取不完整问题,本文基于高分2号(GF-2)卫星数据,提出一种基于特征分离机制的深度学习语义分割网络植被提取方法。该网络在Densenet的基础增加可分离卷积和空间金字塔结合的特征分离机制来增大感受野,更有效利用植被的特征信息,提升了模型的精度。本文通过构建高精细跨季节植被样本库,使用本文所提方法,完成了遥感影像植被信息提取,并选取总体准确度、F1值和交并比作为评价指标,对不同的传统方法和深度学习方法进行精度对比与分析。实验结果表明,本文方法提取植被的效果较好,其中F1分数达到91.91%,总体准确度达到92.79%,交并比达到85.10%。对高分1号、高分6号和高景1号遥感影像进行植被提取通用性验证,结果表明本文方法具有一定的通用能力,可以从高分辨率遥感影像中准确地、自动地提取植被。本文研究成果可为城市生态环境评价和植被的应用研究提供数据参考。     

基于全卷积神经网络的建筑物屋顶自动提取

高分辨率遥感影像在地面自动目标提取中得到了广泛应用,然而利用传统算法,很难高精度地进行实时的建筑物屋顶绘图。本文使用深度学习方法探讨建筑物屋顶分割,由于卷积运算对形变、旋转、光照条件的不敏感,设计了一种用于建筑物屋顶提取的深度卷积神经网络,提出的网络为级联式全卷积神经网络,在深度卷积神经网络的设计中使用了特征复用和特征增强,实现建筑物的自动精确提取。以美国马萨诸塞州建筑物数据集为基础的实验结果表明,本文提出的网络结构取得了92.3%的总体预测精度,和其他方法相比,本文提出的方法具有更高的精度     

基于RDN卷积神经网络的遥感影像超分辨率重建方法研究

光学遥感影像在资源、环境、灾害、交通和城市等领域有着非常重要的应用价值,但高分光学遥感影像获取成本高,在一定程度上限制了推广和普及.自基于卷积神经网络的超分辨率重建模型(SRCNN)被提出后,深度学习在图像超分辨率重建技术方面迅速应用.本文提出了基于RDN卷积神经网络的遥感影像超分重建方法,使用AID、NWPU-RES...     

基于多源数据和船舶停留轨迹语义建模的港口目标识别

港口目标识别是海事船舶监管的重中之重,船舶自动识别系统（Automatic Identification System,AIS）所获取的船舶活动信息,可为港口目标识别提供高时相和高精度的船舶航行数据。为了探究AIS数据在港口目标识别中的应用,提出一种基于多源数据和船舶停留轨迹语义建模的港口目标识别方法。通过数据挖掘和语义信息增强构建船舶停留轨迹语义模型,识别船舶港口停留轨迹;建立基于随机森林的船舶停留方式分类模型,分类船舶泊位停留轨迹和船舶锚地停留轨迹,并利用空间逐级合并方法提取港口泊位和港口锚地;综合船舶泊位停留轨迹、道路、海岸线、水深、土地利用与土地覆盖等数据,顾及情景-领域知识实现港口目标识别。基于2017年96 790艘船舶的超8300万条AIS轨迹记录,应用本文方法识别南海研究区的港口目标。实验结果表明,本文方法对于船舶轨迹停留行为总体分类精度为0.9477, Kappa系数为0.8948。提取出南海研究区447个港口区域,与Google Earth影像叠加验证结果表明,提取结果均位于真实的港口影像内,相较于Natural Earth数据集中包含的南海区域24个港口点位,提取结果的完整性大大增强。因此,基于多源数据和船舶停留语义建模的港口目标识别方法对于港口目标识别具有较高的准确性和完整性。此外,该方法提取的港口区域可为基于遥感影像的港口目标识别提供靶区,从而提高大区域甚至全球范围内港口目标动态识别的效率。     

基于深度卷积网络和分水岭分割的耕地地块识别方法

耕地地块作为精准农业的重要支撑,现有地块边界大多依靠人工勾绘。随着遥感技术的发展,基于遥感影像自动提取耕地地块成为研究主要方向,其中基于深度学习的方法能够克服传统检测方法难以适应复杂场景的局限而被广泛使用,但现有检测方法仍存在问题,基于深度卷积模型直接识别耕地区域会丢失内部边界、而基于边缘检测模型识别耕地边界时则会同时得到大量无关边界;此外,现有的基于阈值提取地块的策略所提取的地块不够规整,存在内陷的问题。针对上述问题,本研究提出一种基于深度卷积网络和分水岭分割的耕地地块提取方法,从信息检测和地块提取两方面进行改进：① 将耕地边界视作一种地物类别,在深度卷积网络中进行类别概率检测,帮助实现对耕地边界的语义识别。② 基于改进后的D-LinknetXt网络进行检测,其网络架构适合于对耕地边界这类线性目标的提取,同时更换原始D-Linknet网络的残差单元,帮助提高了网络的特征提取能力。③ 基于分水岭分割对耕地地块进行提取,利用了区域分割方法获取边界的封闭性,并且这种以区域为单元进行分割并合并的方式,解决了原有方法在像元尺度上基于阈值提取所遇到的提取地块存在内陷的问题,使地块更规整准确。在一景高分二号影像上进行检验,并设计两类精度指标,从全局边界精度和地块几何精度两方面进行方法性能评估。实验结果表明,本方法的精度优于3种对比方法,在代表边界精度的F1分数上达到了0.933,地块几何精度为0.829。本研究所提出的方法能够更加准确的对耕地地块进行提取,并适用于实际应用中。     

基于卷积神经网络的遥感影像地表覆盖分类

遥感影像地表覆盖分类是地理国情监测和地理信息资源建设中至关重要的环节,利用卷积神经网络对遥感影像进行特征提取和分类,具有十分重要的科研和应用价值。为提高遥感影像的地表覆盖分类精度,在深度卷积神经网络VGGNet的基础上,采用SeLU函数作为激活函数,并将激活函数中的λ、α作为训练参数,得到改进的VGGNet,用逐层贪婪算法对网络参数初始化,并选择适当的学习次数利用迁移学习的方法对网络参数调整,以提高网络的泛化能力来提取遥感影像各类别的深层特征,从而有效进行地表覆盖分类。通过GF-1卫星影像的实验表明本文方法在地表覆盖分类精度方面的优越性。     

基于YOLOv5算法的飞机类型光学遥感识别

飞机类型检测是遥感影像分析领域的研究热点,在机场监控和情报分析等应用中起着重要的作用。其中,深度学习方法作为遥感影像分析领域广泛应用的手段之一,在飞机类型检测任务中仍面临许多问题,如使用未公开的自制数据集、实验复现困难、无法验证泛化能力等。同时,光学遥感影像易受光照条件、云雨变化等因素影响,使检测任务更加困难。为了解决这些问题,本文首先利用MTARSI数据集对样本进行筛选,再结合Google Earth等开源方法收集飞机影像,采用随机旋转、改变亮度等方法构建新的飞机类型检测数据集。其次,采用YOLOv5作为基础网络框架,针对其多层卷积和池化操作可能会削弱或完全丢失飞机特征的问题,进行多尺度优化训练,有效检测飞机类型特征。最后,利用跨数据集验证模型的泛化能力。实验结果表明,本文方法能准确、有效地检测出光学遥感影像中的飞机的具体类型,具有较强的鲁棒性和泛化能力,跨数据集进行飞机类型检测正确率达到82.12%,可为智能化的飞机目标语义分析、星上应用等研究提供技术支撑。     

基于卷积神经网络与条件随机场方法提取乡镇非正规固体废弃物

随着村镇经济建设发展,生活垃圾和工业固体废弃物造成的污染问题日益突出,已经成为制约新农村建设发展和生态文明建设的关键问题,而目前针对乡镇非正规固体废弃物的调查与统计主要依赖全国各乡镇相关部门逐级调查上报,工作量较大。本文基于高分辨率遥感影像,将深度学习模型和条件随机场模型相结合引入到乡镇固体废弃物的提取研究中,探索一种基于深度卷积神经网络的乡镇固体废弃物提取模型。由于固体废弃物在影像上表现为面积小,分布破碎等特点,为了提高工作效率,将模型特分为识别和提取2个部分：① 通过全连接卷积网络（CNN）对固体废弃物进行快速识别判断,筛选感兴趣区域影像块;② 在传统的全卷积神经网络(FCN)的基础上加入条件随机场模型(CRF)提取固体废弃物边界,提高整体分割精度。根据安徽、山西等地区相关部门上报固体废弃物堆放点以及住房与城乡建设部城乡规划管理中心进行野外检查的结果,实验最终识别精度达到86.87%以上;形状提取精度为89.84%,Kappa系数为0.7851,识别与提取精度均优于传统分类方法。同时,该方法已经逐步应用于住房和城乡建设部有关成都、兰州、河北等部分乡镇非正规固体废弃物的核查工作,取得了较为满意的结果。     

基于深度学习的高分辨率遥感影像土地覆盖自动分类方法

土地覆盖变化是全球变化研究的核心,而精准分类是开展土地覆盖变化研究的基础。高分辨率遥感卫星技术的快速发展对地表分类的速度和精度提出了双重挑战,近年来人工智能等新技术的发展为图像自动分割提供了实现途径,而以卷积神经网络为代表的深度学习方法在遥感图像分类领域也具有独特的优势。为对比深度学习模型设计对高分辨率图像分类结果的影响,本文以郑州市2019年高分1号影像作为输入,对比研究了基于UNet模型改进的4种不同深度学习网络模型在高分辨率影像土地覆盖自动分类应用中的差异,探讨了残差网络、模型损失函数、跳层连接和注意力机制模块等编码和解码设定对于分类精度的影响机制。研究发现：同时加入多尺度损失函数、跳层连接和注意力机制模块的MS-EfficientUNet模型对郑州市土地覆盖分类结果最优,基于像元评价的整体分类精度可达0.7981。通过在解码器中引入多尺度损失函数可有效提高林地、水体和其他类别的分类精度;而对编码器进行改进,加入跳层连接和注意力机制可进一步提高草地、水体和其他类别地物的分类精度。研究结果表明,深度学习技术在高分辨率遥感影像自动分类中具有潜在应用价值,但分类结果精度的进一步提高和多级别大范围的精细分类方法仍是下一步研究的重点。     

结合注意力机制的卫星遥感影像立体匹配

采用立体匹配技术对多视卫星遥感影像进行三维场景重建一直是摄影测量与遥感领域的核心问题。基于卷积神经网络的深度学习方法极大地促进了立体匹配技术的发展,然而其中涉及匹配困难和误匹配问题的相关研究仍然不足。为了提升卫星遥感影像不适定区域中视差估计的精度,本研究提出了一种结合注意力机制的立体匹配深度学习网络,在特征提取模块中加入注意力机制,分别从通道和空间两个维度捕获全局信息,对特征进行优化;在代价体的构建模块中构建新的代价体积,并重新设置视差的回归范围。为了验证本文方法的有效性,在US3D、WHU-Stereo两个数据集上分别与已有方法 Stereo-Net、PSM-Net进行了比较分析。结果表明,本文方法在EPE(endpointerror)和D₁两个指标上均能达到最优,取得了较好的性能,提高了立体匹配的精度,尤其在无纹理、重复纹理、遮挡及视差不连续区域表现出良好的鲁棒性。     

基于双重注意力机制的滑坡识别方法优化

随着计算机视觉技术的发展, 通过卫星图像深度学习进行滑坡识别的研究正在逐步展开。通过引入双重注意力机制, 提出了一种基于卷积神经网络的滑坡图像识别优化算法。基于统计的2 200张滑坡图像数据集, 探讨了10种网络结构及4种注意力机制对滑坡识别结果的影响, 并通过比例为4∶1的训练集和测试集进行滑坡识别, 验证了本文方法的有效性。结果表明: ResNet结构相较于其他网络结构表现更为优秀, 就该算例而言, ResNet-101结构具有最高的召回率、精确率和F1度量。融入了双重注意力机制的卷积神经网络相较于单个神经网络而言, 滑坡识别的精确率更大, 且滑坡边界分割结果更接近于真实的滑坡边界, 其中, ResNet-101+DAN模型为最优模型。相较之下, 单个神经网络无法克服图像噪声的影响, 图像分割结果不佳。      

融合多元稀疏特征与阶层深度特征的遥感影像目标检测

遥感影像目标检测在城市规划、自然资源调查、国土测绘、军事侦察等领域有着广泛的应用价值。针对遥感影像目标检测在目标尺度变化大、目标外观相似性高以及背景复杂度高等方面的难点，本文提出了一种新的目标检测算法，该算法有效融合了多元稀疏特征提取模块（MNB）和阶层深度特征融合模块（HDFB）。多元稀疏特征提取模块以多个卷积分支结构来模拟神经元的多个突触结构提取稀疏分布的特征，随着网络层的堆叠获取更大感受野范围内的稀疏特征，从而提高捕获的多尺度目标特征的质量。阶层深度特征融合模块基于空洞卷积提取不同深度的上下文信息特征，然后提取特征通过独创的树状融合网络，从而实现局部特征与全局特征在特征图级别的融合。本文算法在大规模公开数据集DIOR进行验证，实验结果表明：(1)多元稀疏特征提取模块和阶层深度特征融合模块相结合的方法总体准确率达到72.5%，单张遥感影像的平均检测耗时为3.8毫秒；(2)通过使用多元稀疏特征提取模块，多尺度和外观相似性目标的检测精度得到了提高，与使用Step-wise分支的物体检测结果相比，总体精度提高了5.8%；(3)通过阶层深度特征融合模块的多感受野深度特征融合网络提取阶层深度...     

面向卫星遥感影像检索定位的深度学习全局表征模型评估与分析

如何快速获取无辅助参数卫星遥感影像地理位置是非合作方式获取的遥感影像信息充分利用的一个关键,利用影像特征的相似性对卫星遥感影像检索来实现定位,是获取无辅助参数卫星遥感影像地理位置的有效手段。为了探寻影像深度学习全局特征用于无辅助参数卫星遥感影像检索定位的可行性,建立了包括Precision@K、平均排序、特征提取时间、特征相似性计算时间、硬件消耗等,涵盖有效性、效率2个方面共计5类指标的评估体系。采用谷歌地球提供的影像数据作为基准影像,在资源三号夏季及冬季数据集上,分别利用AlexNet、VggNet、ResNet、DenseNet、EfficientNet等几种代表性的卷积神经网络预训练模型提取基准影像及查询影像的全局特征,依据评估体系中的指标,对这些网络模型的影像表征效果进行全面的量化评估与分析。试验分析结果表明,DenseNet、ResNet-18、VggNet这3个深度学习神经网络预训练模型提取的全局特征,综合表征效果较好,可有效用于卫星遥感影像检索定位;当K值取200时,DenseNet网络模型的Precision@K值可以达到59.5%,ResNet-18和VggNet网络模型紧随其后,分别为49.7%和48.0%,为进一步利用深度学习全局特征进行卫星遥感影像检索定位,找出了最佳的候选网络模型,为下一步模型优化等研究奠定了基础。     

基于改进DeepLabv3+孪生网络的遥感影像变化检测方法

传统遥感影像变化检测方法依赖人工构建特征,算法设计复杂且精度不高;而将2幅不同时相影像叠加后输入神经网络的遥感影像变化检测方法会造成不同时相的特征相互影响,难以保持原始影像的高维特征,且模型鲁棒性较差。因此,本文提出一种基于改进DeepLabv3+孪生网络的遥感影像变化检测方法,以经典DeepLabv3+网络的编解码结构为基础对网络进行改进：① 在编码阶段利用共享权值的孪生网络提取特征,通过2个输入端分别接收2幅遥感影像,以保留不同时相影像的高维特征;② 在特征融合中用密集空洞空间金字塔池化模型代替空洞空间金字塔池化模型,通过密集连接的方式结合每个空洞卷积的输出,以提高对不同尺度目标分割的精度;③ 在解码阶段中针对不同层级特征图信息差异较大,难以融合的问题,引入基于注意力机制的特征对齐模型,引导不同层级的特征对齐并强化学习重要特征,以提升模型的鲁棒性。应用开源数据集CDD验证本文方法的有效性,并与UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络对比试验。试验结果表明,本文方法在精确率、召回率、F1值和总体精度上达到87.3%、90.2%、88.4%、96.4%,均高于UNet-EF、FC-Siam-conc、Siam-DeepLabv3+网络和N-Siam-DeepLabv3+网络,检测结果较为完整,对边界的检测也更为平滑,且对尺度变化具有更高的鲁棒性。