残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。     

基于深度学习的无人机地物图像分割方法

针对无人机地物图像的传统分割方法工程量大,效率低下,深度学习的无人机地物图像分割算法在复杂场景下精度不高和数据集的类别不均衡（长尾数据）等问题,提出一种基于深度学习的高分辨率无人机地物图像分割方法,用于提高不同地貌区域的分割精度。在语义分割模型DeepLabv3的基础上进行改进,将原始主干网络ResNet101替换为ResNet152并添加预训练模型,调整扩张卷积空间金字塔池化模块的扩张率,采用类别平衡损失函数来解决长尾数据问题。在采集的无人机地物图像数据集上进行训练并通过测试集的分割效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上平均交并比达到70.8%,相比原始模型提升了27.2%,能够得到效果更好的分割结果。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

基于深度学习算法的高分辨率无人机遥感图像自动分割

高分辨率无人机遥感图像自动分割对于图像的目标识别与检测具有重要意义,为提升图像分割精度,提出基于深度学习算法的高分辨率无人机遥感图像自动分割方法。采用直方图均衡化算法增强遥感图像后,构建基于编/解码器架构的深度学习网络语义分割模型,针对增强后的图像,在编码环节中引入残差模块强化对分割目标有效的特征;在解码环节中,采用多尺度融合模块将低层特征的局部细节信息和高层特征的语义信息相融合。同时针对遥感图像内地物类别不均衡的现象,以带权重的交叉熵为模型损失函数,克服模型选择偏好问题,提升模型分割精度。实验结果显示该方法可准确分割遥感图像内不同类型目标,分割精度达到95%以上。     

多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

基于生成对抗网络的地面新增建筑检测

针对传统的基于地物纹理和空间特征的方法很难精确识别地面新增建筑的问题，提出了一种基于生成对抗网络的新增建筑变化检测模型（CDGAN）。首先，使用Focal损失函数改进传统图像分割网络（U-net），并以此作为模型的生成器（G），用于生成遥感影像的分割结果；然后，设计了一个16层的卷积神经网络（VGG-net）作为鉴别器（D），用于区分生成的结果和人工标注（GT）的真实结果；最后，对生成器和判别器进行对抗训练，从而得到具有分割能力的生成器。实验结果表明，CDGAN模型的检测准确率达到92%，比传统U-net模型的平均区域重合度（IU）提升了3.7个百分点，有效地提升了遥感影像中地面新增建筑物的检测精度。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU（FReLU）替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

基于U-Net优化的SAR遥感图像语义分割

多光谱图像的分割是遥感图像解译的重要基础环节,SAR遥感图像中包含着复杂的地物目标信息,传统的分割方法存在耗时长、效率低等问题,导致传统图像分割方法的应用受限.近年来,深度学习算法在计算机视觉方向的应用取得了较好的成果,针对多光谱遥感影像语义分割问题,使用深度学习的语义分割方法来实现遥感影像的高性能分割,在U-Net网络结构上添加激活层、Dropout层、卷积层,提出一种基于U-Net优化的深度卷积神经网络,在少量数据集的基础上实现了对以SAR图像合成的多光谱影像中耕地、建筑、河流的快速检测,整体分割准确率达94.6％.与U-Net,SegNet的对照实验结果表明,所提方法的分割准确率相比U-Net,SegNet整体较优,相比U-Net和SegNet分别提升了2.5％与5.8％.     

基于多级上下文引导的实时语义分割网络

针对实时语义分割方法中因忽略其本质所导致的分割精度不高的问题,提出了一种多级上下文引导的轻量化网络。首先,将深度可分离卷积及非对称卷积相结合,设计了基于并行非对称卷积的上下文引导模型（CGPA）以学习局部特征及其周围上下文构成的联合特征;其次,将该模型堆叠于网络来实现特征的多级优化;最后,通过通道注意模型（CAM）筛选出与更高阶段语义一致的浅层特征,从而提高分割效果。实验结果表明,所提网络在Cityscapes数据集上以94.7的帧速率获得了72.4%的平均交并比,并在CamVid数据集上取得显著的性能提升。同当前的其他实时语义分割方法相比,该网络性能更优。     

融合高度信息的遥感图像语义分割网络

针对遥感图像分割精度低的问题，提出一种融合高度信息的遥感图像语义分割网络。将光谱信息和高度信息进行融合，从不同的数据中提取地物的特征信息。针对卷积网络受固定感受野的限制，无法有效获取特征图上下文信息的问题，将Transformer应用到网络中建模特征图的全局相关性，增强网络的特征提取能力。为有效利用融合特征图中的信息，提出基于自注意力的解码器。通过在韦兴根和波茨坦数据集上进行实验，验证了所提网络与其它先进网络相比具有竞争力。     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度.为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法.该方法采用基于U-Net模型的编码器-译码器结构,在特征提取部分沿用U-Net模型的编码器结构,提取多个层级的特征信息;在特征融合部分保留U-Net的跳跃连接结构,同时使用提出的特征融合优化策略,实现了高层语义特征与底层位置特征的融合-优化-再融合.此外特征融合优化策略还使用空洞卷积获取了更多的全局特征,并采用Sub-Pixel卷积层代替传统转置卷积,实现了自适应上采样.所提方法在ISPRS的Potsdam数据集和Vaihingen数据集上得到了验证,其总体分割精度、Kappa系数和平均交并比mIoU 3个评价指标在Potsdam数据集上分别为86.2％,0.82,0.77,在Vaihingen数据集上分别为84.5％,0.79,0.69;相比传统的U-Net模型,所提方法的3个评价指标在Potsdam数据集上分别提高了5.8％,8％,8％,在Vaihingen数据集上分别提高了3.5％,4％,11％.实验结果表明,基于U-Net特征融合优化策略的遥感影像语义分割方法,在Potsdam数据集和Vaihingen数据集上都能达到很好的语义分割效果,提高了遥感影像的语义分割精度.     

结合注意力机制的HRNet图像语义分割算法

目前主流的语义分割算法中依然存在小尺寸目标丢失、分割不精确等问题，针对这些问题本文基于HRNet网络模型进行改进，融入注意力机制生成更有效的特征图，对于原模型中低分辨率图像直接向高分辨率图像融合而产生的特征图细节不足的问题，提出多级上采样机制，让不同分辨率图像之间的融合方式更平滑从而得到更好的融合效果，同时使用深度可分离卷积减少模型的参数。本文模型全程保持了图像较高的分辨率，保留了特征图的空间信息，提升了对小尺寸目标的分割效果。在PASCAL VOC2012增强版数据集上的mIoU值达到80.87%，和原模型相比，精度提升了1.54个百分点。     

基于改进U-Net的卫星图像分割算法

为解决传统模型与算法对遥感卫星图像小目标的分割精度低、泛化能力差等问题,提出一种基于改进U-Net的图像分割算法。将骨干网络改为ResNet18并加入优化后的空洞卷积池化金字塔与卷积注意力机制模块,充分提取小目标边缘特征。该算法在中国南部某地区的公开卫星图像数据集上的平均交并比与分割总精度分别达到了75.8%与95.6%,均超过U-Net、DeepLabV3+、SegNet、W-Net等主流语义分割网络。实验结果表明,该算法能有效改善网络的预测精度与小目标的分割结果。     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

树形结构卷积神经网络优化的城区遥感图像语义分割

目的 高分辨率遥感图像通常包含复杂的语义信息与易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。基于DeepLab V3+网络结构,结合树形神经网络结构模块,设计出一种针对高分辨率遥感图像的语义分割网络。方法 提出的网络结构不仅对DeepLab V3+做出了修改,使其适用于多尺度、多模态的数据,而且在其后添加连接树形神经网络结构模块。树形结构通过建立混淆矩阵、提取混淆图、构建图分割,能够对易混淆的像素更好地区分,得到更准确的分割结果。结果 在国际摄影测量及遥感探测学会（International Society for Photogrammetry and Remote Sensing,ISPRS）提供的两个不同城市的遥感影像集上分别进行了实验,模型在整体准确率（overall accuracy, OA）这一项表现最好,在Vaihingen和Potsdam数据集上分别达到了90.4%和90.7%,其整体分割准确率较其基准结果有10.3%和17.4%的提升,对比ISPRS官方网站上的3种先进方法也有显著提升。结论 提出结合DeepLab V3+和树形结构的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率显著提高。在包含复杂语义信息的高分辨率遥感图像中,由于易混淆类别之间的像素分割错误减少,使用了树形结构的网络模型的整体分割准确率也有较大提升。     

跨层细节感知和分组注意力引导的遥感图像语义分割

目的 语义分割是遥感图像智能解译的关键任务之一,遥感图像覆盖面广,背景交叉复杂,且地物尺寸差异性大。现有方法在复杂背景下的多尺度地物上分割效果较差,且分割区域破碎边界不连续。针对上述问题,提出了一种跨层细节感知和分组注意力引导的语义分割模型用于高分辨率遥感图像解析。方法 首先采用结构新颖的ConvNeXt骨干网络,编码输入图像的各层次特征。其次,设计了分组协同注意力模块,分组并行建模通道和空间维度的特征依赖性,通道注意力和空间注意力协同强化重要通道和区域的特征信息。接着,引入了自注意力机制,构建了跨层细节感知模块,利用低层特征中丰富的细节信息,指导高层特征层学习空间细节,保证分割结果的区域完整性和边界连续性。最后,以山西省太原市为研究区域,自制高分辨率遥感太原市城区土地覆盖数据集（Taiyuan urban land cover dataset,TULCD）,所提方法实现了太原市城区土地覆盖精细分类任务。结果 实验在自制数据集TULCD和公开数据集Vaihingen上与最新的5种算法进行了比较,所提方法在两个数据集上平均像素准确率（mean pixel accuracy,mPA）为74.23%、87.26%,平均交并比（mean intersection over union,mIoU）为58.91%、77.02%,平均得分mF1为72.24%、86.35%,均优于对比算法。结论 本文提出的高分辨率遥感图像语义分割模型具有较强的空间和细节感知能力,对类间差异小的相邻地物也有较强的鉴别能力,模型的整体分割精度较高。     

改进YOLOv5的遥感图像目标检测算法

针对遥感图像中背景复杂度高、目标尺寸多样和小目标存在过多所导致的目标检测精度较低的问题,提出一种改进YOLOv5的遥感图像目标检测算法。该算法在主干网络引入通道-全局注意力机制（CGAM）以增强对不同尺度目标的特征提取能力和抑制冗余信息的干扰。引入密集上采样卷积（DUC）模块扩张低分辨率卷积特征图,有效增强不同卷积特征图的融合效果。将改进算法应用于公开遥感数据集RSOD中,改进YOLOv5算法平均精度AP值达到78.5%,较原算法提升了3.1个百分点。实验结果证明,改进后的算法能有效提高遥感图像目标检测精度。     

基于卷积神经网络预测结果的缝隙修复算法研究

随着卷积神经网络技术的发展,近来的研究越来越注重于准确率的提升以及语义信息的完善。其中Mask R-CNN网络是对Faster R-CNN进一步改进后的实例分割网络,在高分遥感图像地物识别具有良好的分割效果。但由于卷积神经网络只能用小瓦片图像进行训练和预测,而导致预测结果存在较大的语义信息误差。面对这种问题,提出了针对卷积神经网络预测结果缺陷的缝隙修复算法,即先使用Overlapsize算法改善预测结果与真实结果的匹配程度,再通过PostGIS数据库中的相关函数填补缝隙,使小瓦片能真正拼接成完整大图。研究及实验结果表明：该算法能够很好地改善图像语义信息,具有实用性。