多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于深度学习算法的高分辨率无人机遥感图像自动分割

高分辨率无人机遥感图像自动分割对于图像的目标识别与检测具有重要意义,为提升图像分割精度,提出基于深度学习算法的高分辨率无人机遥感图像自动分割方法。采用直方图均衡化算法增强遥感图像后,构建基于编/解码器架构的深度学习网络语义分割模型,针对增强后的图像,在编码环节中引入残差模块强化对分割目标有效的特征;在解码环节中,采用多尺度融合模块将低层特征的局部细节信息和高层特征的语义信息相融合。同时针对遥感图像内地物类别不均衡的现象,以带权重的交叉熵为模型损失函数,克服模型选择偏好问题,提升模型分割精度。实验结果显示该方法可准确分割遥感图像内不同类型目标,分割精度达到95%以上。     

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络（MA-Net）卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制（GPA）,能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块（Attention）,充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。     

多尺度信息融合的遥感图像语义分割模型

遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

采用通道域注意力机制Deeplabv3+算法的遥感影像语义分割北大核心CSCD

为提取高分辨率遥感影像的典型地物,且针对Deeplabv3+在遥感图像分割任务中,边缘分割比较模糊,存在孔洞和遗漏分类的问题,基于深度学习提出在Deeplabv3+加入通道注意力机制模块以增强分割结果的方法。先通过深度卷积网络得到的高级特征图输入到通道注意力机制,进行通道间像素特征强化,再通过空间金字塔池获得多尺度输入图像,并且进行了类别不平衡的修正,提取出了完整的图像分割信息,实现了分割边界信息的优化。最后,通过采集广州市高分二号遥感影像进行遥感数据处理、标注、增强之后进行实验,对比经典语义分割网络U-Net、SegNet、PSPNet,结果表明,该方法的评估指标MIOU达到了96.19%,MPA达到了97.85%。     

改进SegNet+CRF高分辨率遥感影像建筑物提取方法

将传统的语义分割SegNet网络用于高分辨率遥感影像的建筑物提取时,分割的建筑物存在边界模糊、精度较低、错检漏检等问题。为了解决上述问题,提出一种改进SegNet网络+CRF语义分割方法。编码阶段的最低分辨率层引入空洞金字塔池化模型,通过并行的空洞卷积操作扩大特征提取的感受野;解码阶段构建特征金字塔实现特征多尺度融合,弥补上采样过程中丢失的特征信息;最后,预测图像送入全连接条件随机场模型进行后处理,优化提取的建筑物边缘。实验表明,相较于原SegNet网络,改进方法的建筑物提取像素精度、召回率、平均交并比分别提高了0.48%、1.29%、2.36%。     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息. 目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取, 导致分割错误率较高. 本文提出一种基于编码与解码结构特征连接的方法, 对DeconvNet网络模型进行改进. 模型在编码时, 通过记录池化索引的位置并应用于上池化中, 能够保留空间结构信息; 在解码时, 利用编码与解码对应特征层连接的方式使模型有效地进行特征提取. 在模型训练时, 使用设计的预训练模型, 可以有效地扩充数据, 来解决模型的过拟合问题. 实验结果表明, 在对优化器、学习率和损失函数适当调整的基础上, 使用扩充后的数据集进行训练, 对遥感影像验证集的分割精确度达到95%左右, 相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。     

改进U-Net网络的遥感影像道路提取方法研究

从遥感影像中提取道路目标对智慧城市建设具有重要意义。由于遥感数据中道路及背景特征复杂多样,使用深度学习方法对道路进行提取的准确性仍然受到限制。基于U-Net网络架构设计实现了用于遥感影像道路提取的深度语义分割模型AS-Unet,该模型分为编码器和解码器两部分。在编码器部分加入通道注意力机制,对提取的丰富低层特征进行筛选,突出目标特征,抑制背景噪声干扰,从而提高深浅层信息融合准确率;为解决网络对道路目标单一尺寸的敏感问题,在编码器最后一层卷积层后面加入空间金字塔池化模块来捕获不同尺度道路特征;在解码器部分加入空间注意力机制,进行位置关系信息学习和深层次语义特征筛选,提高特征图还原能力。在Massachusetts和DeepGlobe道路数据集上进行实验,结果证明,在召回率、精度、[F1]值等评估指标上,明显优于SegNet、FCN等语义分割网络。所设计的AS-Unet网络性能优良,具有更高的分割准确率,具备一定理论和实际应用价值。     

离散ADMM方法下像素与对象基元协同优化的遥感影像无监督语义分割

语义分割是遥感影像分析中的重要技术之一。现有的方法（如基于深度卷积神经网络的方法等）虽然在语义分割中取得了显著进展,但往往需要大量训练数据。基于图模型的马尔可夫随机场模型（Markov random field model,MRF）提出了一种不依赖训练数据的无监督语义分割思路,可以有效地刻画地物空间关系,并对地物空间分布的统计规律进行建模。但现有的MRF模型方法通常建立在基于像素或对象的单一粒度基元上,难以充分利用影像信息,语义分割效果不佳。针对上述问题,引入交替方向乘子法 （alternative direction method of multiplier,ADMM）并将其离散化,提出了一种像素与对象基元协同的MRF模型无监督语义分割方法（MRF-ADMM）。首先构建像素基元和对象基元两个概率图,其中像素基元概率图用于刻画影像的细节信息,保持语义分割的边界;对象基元概率图用于描述较大范围的空间关系,以应对遥感影像地物内部的高异质性,使分割结果中地物内部具有良好的区域完整性。在模型求解过程中,针对像素和对象基元的特点,提出了一种离散化的ADMM方法,并将其用于两种基元类别标记的传递与更新,实现像素基元细节信息和对象基元区域信息的协同优化。高分二号和航拍影像等不同数据库不同类型遥感影像的语义分割实验结果表明,相较于现有的MRF模型,提出的MRF-ADMM方法能有效地协同不同粒度基元的优点,优化语义分割结果。     

无人机可见光遥感影像地物目标提取技术研究

无人机可见光遥感影像中地物目标边界清晰度较低,容易导致地物目标与背景之间的区分度降低,进而难以提取地物目标。为此,提出无人机可见光遥感影像地物目标提取方法。从光谱特征、纹理特征和边缘特征三个方面分析无人机可见光遥感影像特征。结合三种影像特征对无人机可见光遥感影像数据集实行增广处理。对完成增广后的数据集定义影像编码标签,以此确定地物目标增强权重,通过参量化处理地物目标光谱特征,计算光谱吸收指数,获取地物目标提取表达式,从而实现无人机可见光遥感影像地物目标提取。实验结果表明,所提方法能够保证地物目标边界的清晰度,具有较强的地物目标提取能力。     

高分辨率遥感影像的边缘损失增强地物分割

目的 针对高分辨率遥感影像语义分割中普遍存在的分割精度不高、目标边界模糊等问题,提出一种综合利用边界信息和网络多尺度特征的边缘损失增强语义分割方法。方法 对单幅高分辨率遥感影像,首先通过对VGG-16（visual geometry group 16-layer net）网络引入侧边输出结构,提取到图像丰富的特征细节;然后使用深度监督的短连接结构将从深层到浅层的侧边输出组合起来,实现多层次和多尺度特征融合;最后添加边缘损失增强结构,用以获得较为清晰的目标边界,提高分割结果的准确性和完整性。结果 为了验证所提方法的有效性,选取中国北方种植大棚遥感影像和Google Earth上的光伏板组件遥感影像进行人工标注,并制作实验数据集。在这两个数据集上,将所提方法与几种常用的语义分割方法进行对比实验。实验结果表明,所提方法的精度在召回率为00.9之间时均在0.8以上,在2个数据集上的平均绝对误差分别为0.079 1和0.036 2。同时,通过消融实验分析了各个功能模块对最终结果的贡献。结论 与当前先进方法相比,本文提出的边缘损失增强地物分割方法能够更加精确地从遥感影像的复杂背景中提取目标区域,使分割时提取到的目标拥有更加清晰的边缘。     

基于深度学习模型的遥感图像分割方法

利用遥感图像快速准确地检测地物信息是当前的研究热点。针对遥感图像地表物的传统人工目视解译分割方法效率低下和现有基于深度学习的遥感图像分割算法在复杂场景下准确率不高、背景噪声多的问题，提出一种基于改进的U-net架构与全连接条件随机场的图像分割算法。首先，融合VGG16和U-net构建新的网络模型，以有效提取具有高背景复杂度的遥感图像特征；然后，通过选取适当的激活函数和卷积方式，在提高图像分割准确率的同时显著降低模型预测时间；最后，在保证分割精度的基础上，使用全连接条件随机场进一步优化分割结果，以获得更加细致的分割边缘。在ISPRS提供的标准数据集Potsdam上进行的仿真测试表明，相较于U-net，所提算法的准确率、召回率和均交并比（MIoU）分别提升了15.06个百分点、29.11个百分点和0.3662，平均绝对误差（MAE）降低了0.02892。实验结果验证了该算法具备有效性和鲁棒性，是一种有效的遥感图像地表物提取算法。