NMI特征优化边界敏感的LSC遥感影像分割算法

针对线性谱聚类方法处理复杂场景的高分辨率遥感影像时存在地物边界丢失、过分割问题,提出基于归一化转动惯量特征优化边界敏感的线性谱聚类方法。首先,利用LOG算法提取影像边缘信息,将边缘信息与LSC算法融合,并将存在边缘信息的超像素块的区域质心替代原始聚类中心,改善地物边界信息丢失问题;然后,通过边缘敏感的LSC分割方法,对高分辨率影像进行分割,获取地物完整的初始超像素,并确定微小的超像素;最后,计算微小超像素与相邻超像素相似性度量值,并将其合并到相似性度量值最小的超像素,优化过分割结果。实验结果表明,该方法可以有效地解决地物边界丢失、过分割问题,获取较好的分割结果。     

高分辨率遥感影像的边缘损失增强地物分割

目的 针对高分辨率遥感影像语义分割中普遍存在的分割精度不高、目标边界模糊等问题,提出一种综合利用边界信息和网络多尺度特征的边缘损失增强语义分割方法。方法 对单幅高分辨率遥感影像,首先通过对VGG-16（visual geometry group 16-layer net）网络引入侧边输出结构,提取到图像丰富的特征细节;然后使用深度监督的短连接结构将从深层到浅层的侧边输出组合起来,实现多层次和多尺度特征融合;最后添加边缘损失增强结构,用以获得较为清晰的目标边界,提高分割结果的准确性和完整性。结果 为了验证所提方法的有效性,选取中国北方种植大棚遥感影像和Google Earth上的光伏板组件遥感影像进行人工标注,并制作实验数据集。在这两个数据集上,将所提方法与几种常用的语义分割方法进行对比实验。实验结果表明,所提方法的精度在召回率为00.9之间时均在0.8以上,在2个数据集上的平均绝对误差分别为0.079 1和0.036 2。同时,通过消融实验分析了各个功能模块对最终结果的贡献。结论 与当前先进方法相比,本文提出的边缘损失增强地物分割方法能够更加精确地从遥感影像的复杂背景中提取目标区域,使分割时提取到的目标拥有更加清晰的边缘。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

结合深度学习和超像元的高分遥感影像变化检测

目的 随着遥感影像空间分辨率的提升,相同地物的空间纹理表现形式差异变大,地物特征更加复杂多样,传统的变化检测方法已很难满足需求。为提高高分辨率遥感影像的变化检测精度,尤其对相同地物中纹理差异较大的区域做出有效判别,提出结合深度学习和超像元分割的高分辨率遥感影像变化检测方法。方法 将有限带标签数据分割成切片作训练样本,按照样本形式设计一个多切片尺度特征融合网络并对其训练,获得测试图像的初步变化检测结果;利用超像元分割算法将测试图像分割成许多无重叠的同质性区域,并将分割结果与前述检测结果叠合,得到带分割标记的变化检测结果;用举手表决算法统计带分割标记的变化检测结果中超像元的变化状况,得到最终变化检测结果。结果 在变化检测实验结果中,本文提出的多切片尺度特征融合卷积网络模型在广东数据集和香港数据集上,优于单一切片尺度下卷积神经网络模型,并且结合超像元的多切片尺度特征融合卷积网络模型得到的Kappa系数分别达到80%和82%,比相应的非超像元算法分别提高了6%和8%,在两个测试集上表现均优于长短时记忆网络、深度置信网络等对比算法。结论 本文提出的卷积神经网络变化检测方法可以充分学习切片的空间信息和其他有效特征,避免过拟合现象;多层尺度切片特征融合的方法优于单一切片尺度训练神经网络的方法;结合深度学习和超像元分割算法,检测单元实现了由切片到超像元的转变,能对同物异谱的区域做出有效判决,有利于提升变化检测精度。     

区域化模糊均值高分辨率彩色遥感影像分割方法

基于像素模糊?? 均值算法(FCM) 及其改进算法难以解决高分辨率遥感影像中地物目标光谱测度相似性减弱和几何噪声增大带来的分割难题, 提出一种基于区域的FCM算法. 该方法利用Voronoi 几何划分将影像域划分为子区域, 并用子区域拟合地物目标的几何形状. 在此基础上, 定义区域FCM目标函数, 通过迭代最小化该目标函数实现高分辨率遥感影像分割. 实验结果表明, 与基于像素的FCM和增强FCM方法相比, 所提出方法可以更加精确地实现高分辨率遥感影像分割.

     

一种快速高分辨率遥感影像分割算法*

高分辨率遥感影像(如IKONOS 影像)海量数据、复杂细节的特点决定了高分辨率遥感影像分割的技术难点,提出了基于同质性梯度特征、分水岭算法和最小代价合并的快速分割方法。首先对于原始图像进行同质梯度计算得到同质梯度图像;其次利用一种高效的分水岭变换获得初始分割图像;最后给出一种改进的区域合并算法来优化初始分割区域。应用于IKONOS影像的实验证明与其他的分割算法相比,采用所提出的分割方法能快速、准确地获得高分辨率遥感图像的分割结果。     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

利用格式塔的高分辨率遥感影像建筑物提取

目的 格式塔心理学的理论基础为通过对事物的部分感知,实现对事物整体的认识。本文将该思想应用到建筑物提取中,提出一种兼顾目标细节及整体几何特征的高分辨率遥感影像建筑物提取方法。方法 首先,利用SIFT算法提取特征点作为候选边缘点;然后定义格式塔序列连续性原则判别边缘点,从而得到边缘点点集;并由边缘点点集拟合边缘,实现遥感影像建筑物提取。结果 利用提出算法,对WorldView-2遥感影像进行建筑物提取实验。通过与基于多尺度分割和区域合并的建筑物提取算法对比可以看出,提出算法能够更加准确、完整地提取出建筑物。采用分支因子、遗漏因子、检测率和完整性4个定量化指标对实验结果的定量评价,本文算法的检测率和完整性均大于对比算法,且本文算法的检测率均在95%以上,验证了提出基于格式塔理论的高分辨率遥感影像建筑物提取算法的有效性和准确性。结论 基于格式塔的高分辨率遥感影像建筑物提取算法能够准确刻画建筑物细节特征,同时兼顾建筑物整体几何轮廓,准确提取高分辨率遥感影像中的建筑物。本文算法针对高分辨率遥感影像,适用于提取边缘具有直线特征的建筑物。使用本文算法进行遥感影像建筑物提取时,提取精度会随分辨率降低而降低,建议实验影像分辨率在5 m以上。     

参考1维光谱差异的区域生长种子点选取方法

目的 区域生长法是遥感影像分割中常用的算法,该算法首先选取适当的像元作为生长的起始点（种子点）。现有的种子点选取方法存在种子点数目较多、效率低以及地物细节种子点不足等问题。针对种子点选取存在的问题,提出一种基于1维光谱差异的区域生长种子点的选取方法。方法 首先计算像元间1维（水平、竖直）方向上的光谱差异,然后选取光谱差异的局部极小值作为种子点,最后对种子点进行优选,得到区域生长的起点。结果 应用本文方法选取种子点,对高分辨率的IKONOS遥感影像进行了区域生长。将实验结果与分形网络演化方法及Kernel Graph Cuts方法的分割结果进行了目视对比,并且分别计算了3种方法所得分割结果的基元内部同质性和基元间相关性的评价指数。目视比较的结果表明,本文的种子点选取方法能够为区域生长提供具有代表性的种子点,得到了精细的分割结果。在定量评价上,本文方法也表现出了数值优势,各波段分割质量指数均提高15%以上。结论 提出的种子点选取方法能够为高分辨率遥感图像的区域生长分割提供具有代表性的种子点,产生精细的分割图像,对于地物细节有良好的分割效果,具有较高的实用价值。     

应用区域统计特征的PolSAR影像分割

目的 提出一种利用区域统计特征的PolSAR影像分割方法,以解决目前研究中在降低斑点噪声和提高分割效率方面的不足。方法 首先利用基于梯度分割影像的分水岭算法进行SAR影像初分割,针对差值梯度非恒虚警率（CFAR）,可能给出虚假边缘从而导致分割错误的问题,引入恒虚警率的均值比率梯度（ROA）;同时,考虑到梯度影像中存在大量局部极小值,直接用分水岭处理得到初分割结果,存在过度过分割,给出了一种利用形态学方法进行梯度重构以消除局部极小值、抑制过分割的方法。然后,基于初分割得到区域,计算区域相干矩阵的最大似然估计,结合假设检验和相干矩阵的Wishart分布,给出一种有效描述区域相似度的目标函数,通过建立区域邻接关系图（RAG）,执行等级区域合并得到最终分割结果。结果 利用模拟数据,德国奥伯法芬霍芬L波段实测数据和中国海南陵水黎族自治县X波段的高分辨率数据,验证本文方法,初分割结果证实梯度重构处理不会破坏原有梯度结构,并能有效抑制过分割;最终分割结果定性定量对比分析表明,本文给出的目标函数,在分割效率、信息保持和分割精度上都有较好表现。结论 实验结果表明,本文方法能有效降低斑点噪声,提高分割效率,从而提供更加准确的分割结果。     

Object-based change detection from satellite imagery by segmentation optimization and multi-features fusion

This article presents a novel object-based change detection (OBCD) approach in high-resolution remote-sensing images by means of combining segmentation optimization and multi-features fusion. In the segmentation optimization, objects with optimized boundaries and proper sizes are generated by object intersection and merging (OIM) processes, which ensures the accurate information extraction from image objects. Within multi-features fusion and change analysis, the Dempster and Shafer (D-S) evidence theory and the Expectation-Maximization (EM) algorithm are implemented, which effectively utilize multidimensional features besides avoiding the selection of an appropriate change threshold. The main advantages of our proposed method lie in the improvement of object boundary and the fuzzy fusion of multi-features information. The proposed approach is evaluated using two different high-resolution remote-sensing data sets, and the qualitative and quantitative analyses of the results demonstrate the effectiveness of the proposed approach.     

融合T节点线索的图像物体分割

目的 图像分割是计算机视觉、数字图像处理等应用领域首要解决的关键问题。针对现有的单幅图像物体分割算法广泛存在的过分割和过合并现象,提出基于图像T型节点线索的图像物体分割算法。方法 首先,利用L0梯度最小化方法平滑目标图像,剔除细小纹理的干扰;其次,基于Graph-based分割算法对平滑后图像进行适度分割,得到粗糙分割结果;最后,借助于图像中广泛存在的T型节点线索对初始分割块进行区域合并得到最终优化分割结果。结果 将本文算法分别与Grabcut算法及Graph-based算法在不同场景类型下进行了实验与对比。实验结果显示,Grabcut算法需要人工定位边界且一次只能分割单个物体,Graph-based算法综合类内相似度和类间差异性,可以有效保持图像边界,但无法有效控制分割块数量,且分割结果对阈值参数过分依赖,极易导致过分割和过合并现象。本文方法在降低过分割和过合并现象、边界定位精确性和分割准确率方面获得明显改进,几组不同类型的图片分割准确率平均值达到91.16%,明显由于其他算法。处理图像尺寸800×600像素的图像平均耗时3.5 s,较之其他算法略有增加。结论 与各种算法对比结果表明,该算法可有效解决过分割和过合并问题,对比实验结果验证了该方法的有效性,能够取得具有一定语义的图像物体分割结果。     

RWSNet: a semantic segmentation network based on SegNet combined with random walk for remote sensing

ABSTRACT

Semantic segmentation methods based on deep learning considerably improve the segmentation performance of remote sensing images. However, with the extensive application of high-resolution remote sensing images, additional details introduce considerable interference to the learning process for classification, thereby diminishing the accuracy of segmentation and resulting in blurry object boundaries. To address this problem, this study designed Random-Walk-SegNet (RWSNet), a semantic segmentation network based on SegNet combined with random walk. First, SegNet is used as the basic architecture with the sliding window strategy that optimizes the network output to improve the continuity and smoothness of segmentation. Second, seed regions of the random walk are selected in accordance with the classification output of SegNet. Third, the weights of the undirected graph edge are determined by fusing the gradient of the original image and probability map of SegNet. Finally, random walk is implemented on the entire image, thus reducing edge blur and realizing high-performance semantic segmentation of remote sensing images. In comparison with mainstream and other improved methods, the proposed network has lower complexity but better performance, and the algorithm is state-of-the-art and robust.     

Accurate object retrieval for high-resolution remote-sensing imagery using high-order topic consistency potentials

We propose incorporating semantic topic information into a hierarchical conditional random fields (CRFs) framework to promote object recognition and retrieval accuracy. Specially, we devise convenient yet effective methods based on multiple segmentations to perform accurate image retrieval tasks for rigid and amorphous man-made objects. Through a robust topic consistency potential (RTCP) modelling approach, we perform accurate multi-class segmentation on high-resolution remote-sensing images. The generated segments can be readily used for object recognition and discovery. We report satisfactory the performance on two sets of high-resolution remote-sensing images that cover a highly populated urban area and a rural area, respectively. Experimental results demonstrate that our approach outperforms the state-of-the-art CRF models, due to its ability to capture inherent semantic information for efficient object recognition and boundary discovery.     

Learning Boundary Edges for 3D‐Mesh Segmentation

This paper presents a 3D‐mesh segmentation algorithm based on a learning approach. A large database of manually segmented 3D‐meshes is used to learn a boundary edge function. The function is learned using a classifier which automatically selects from a pool of geometric features the most relevant ones to detect candidate boundary edges. We propose a processing pipeline that produces smooth closed boundaries using this edge function. This pipeline successively selects a set of candidate boundary contours, closes them and optimizes them using a snake movement. Our algorithm was evaluated quantitatively using two different segmentation benchmarks and was shown to outperform most recent algorithms from the state‐of‐the‐art.     

全卷积语义分割与物体检测网络

目的 目前主流物体检测算法需要预先划定默认框,通过对默认框的筛选剔除得到物体框。为了保证足够的召回率,就必须要预设足够密集和多尺度的默认框,这就导致了图像中各个区域被重复检测,造成了极大的计算浪费。提出一种不需要划定默认框,实现完全端到端深度学习语义分割及物体检测的多任务深度学习模型（FCDN）,使得检测模型能够在保证精度的同时提高检测速度。方法 首先分析了被检测物体数量不可预知是目前主流物体检测算法需要预先划定默认框的原因,由于目前深度学习物体检测算法都是由图像分类模型拓展而来,被检测数量的无法预知导致无法设置检测模型的输出,为了保证召回率,必须要对足够密集和多尺度的默认框进行分类识别;物体检测任务需要物体的类别信息以实现对不同类物体的识别,也需要物体的边界信息以实现对各个物体的区分、定位;语义分割提取了丰富的物体类别信息,可以根据语义分割图识别物体的种类,同时采用语义分割的思想,设计模块提取图像中物体的边界关键点,结合语义分割图和边界关键点分布图,从而完成物体的识别和定位。结果 为了验证基于语义分割思想的物体检测方法的可行性,训练模型并在VOC（visual object classes）2007 test数据集上进行测试,与目前主流物体检测算法进行性能对比,结果表明,利用新模型可以同时实现语义分割和物体检测任务,在训练样本相同的条件下训练后,其物体检测精度优于经典的物体检测模型;在算法的运行速度上,相比于FCN,减少了8 ms,比较接近于YOLO（you only look once）等快速检测算法。结论 本文提出了一种新的物体检测思路,不再以图像分类为检测基础,不需要对预设的密集且多尺度的默认框进行分类识别;实验结果表明充分利用语义分割提取的丰富信息,根据语义分割图和边界关键点完成物体检测的方法是可行的,该方法避免了对图像的重复检测和计算浪费;同时通过减少语义分割预测的像素点数量来提高检测效率,并通过实验验证简化后的语义分割结果仍足够进行物体检测任务。     

结合分水岭的纹理梯度各向异性图像分割

目的 目前,许多图像分割算法对含有丰富纹理信息的图像的分割效果并不理想,尤其是在不同纹理的边缘信息的保持方面。为了解决这一问题,提出一种基于连续纹理梯度信息的各向异性图像分割算法。方法 在分水岭算法的基础上,引入纹理梯度各向异性算法,能够在避免纹理信息影响分割效果的前提下,最大限度地保证纹理边缘信息的完整。针对纹理特征数据敏感的特性,本文将离散的图像高度信息映射到连续的纹理梯度空间,能够有效减少由细小差异造成的过分割现象。结果 本文方法在BSD500 Dataset和Stanford Background Dataset中选择了大量的纹理信息丰富的图片与最新的分割算法进行了实验与对比。本文方法在分割效果（降低过分割现象）、保持边缘信息和分割准确率等方面均获得明显改进,并在图像分割的平均准确率方面与最新算法进行比较发现,本文算法的平均分割准确率达到90.9%,明显超过了其他最新算法,验证了本文方法的有效性。结论 本文提出的基于分水岭的纹理梯度各向异性算法对纹理图像的分割具有保边和准确的特点,采用连续梯度空间的方法能够有效地减少传统分水岭算法的过分割现象。本文方法主要适用于纹理信息丰富（自然纹理和人工纹理）的图片。     

灰度级信息的目标边界精确周长估算

目的 针对图像目标边界不连续或具有模糊性导致的目标周长无法精确估算这一问题,结合边界跟踪,提出一种基于灰度级信息的目标边界精确周长估算方法。方法 该方法利用目标边界的灰度级信息,同时结合边界跟踪得到的内外边界来估计目标图像的边界周长,从而提高边界周长估计的精确性和鲁棒性。为了获得目标物体真实周长,实验采用人工合成图像。结果 实验应用所提方法和3种传统周长估算方法分别计算合成目标对象的周长,并与真实周长比较。为了验证所提方法的有效性和鲁棒性,实验中对目标对象的边界进行不同程度的加厚模糊化;并在边界加入噪声,使边界不连续。当边界变得复杂时,本文所提方法的优势得到极大体现。结论 实验结果表明,在边界模糊和边界不连续的情况下,本文所提的算法具有更好的适应性和稳定性。     

阈值标记的分水岭彩色图像分割

目的 针对传统分水岭算法中产生的过分割问题,提出一种基于阈值标记的分水岭彩色图像分割算法。方法 该方法将分水岭算法直接应用到原始梯度图像上而不是简化之后的图像,这样做的目的是可以保护边缘信息不受损失;利用不同尺寸结构元求取彩色图像形态学梯度,解决了关于保护边缘和图像简化之间的矛盾。同时算法设计一种阈值自动选取与标记提取方法,从梯度的低频成分中提取与物体相关的局部极小值,用这些极小值构成的二值图像强制标定原始梯度图像,在修改后的梯度上进行分水岭分割。结果 在仿真实验中,利用本文算法针对不同RGB彩色图像进行分割,获得准确、连续封闭的分割边界,与其他同类方法相比,得到符合人类视觉的最小分割区域数,同时在运行效率上也有很大提高。结论 该方法可以自适应提取标记而不需要先验知识,有效解决了分水岭算法的过分割问题,相对于传统的算法,提高了分割性能,有较好的适用性和鲁棒性,可将其应用于机器视觉、生物医学以及高光谱遥感图像分割领域。     

具有纹理感知能力的超像素分割方法

目的 超像素分割是计算机视觉领域常用的一项预处理技术,目标是将相邻像素聚集成为具有一定语义的子区域,能够大幅度降低后续处理的计算复杂度,但是对包含强梯度纹理的图像分割效果不佳,为此提出一种具有纹理感知能力的超像素分割方法。方法 提出一种能够区分强梯度噪声和纹理像素的颜色距离,其中利用带方向的1/4圆形窗口均值滤波后的颜色信息,提升包含强梯度噪声和纹理图像的超像素分割性能。利用区间梯度幅值与Sobel梯度幅值相乘得到混合梯度幅值,具有纹理抑制、结构保持以及边缘线条细的优点,能够提升超像素的贴合边缘性能,增强超像素形状规则程度。最后,利用混合梯度的幅值计算具有结构回避能力的综合聚类距离,进一步防止超像素跨越物体的边界,增强超像素的贴边性能。结果 在BSDS500（Berkeley segmentation dataset 500）图像数据集和强纹理马赛克图像等不同类型图像上的测试结果显示,与目前主流的超像素分割方法相比,本文算法在UE （undersegmentation error）、ASA （achievable segmentation accuracy）和CM （compactness measure）等性能指标上分别提高了1.5%、0.2%和4.3%。从视觉效果上看,能够在排除纹理干扰的情况下生成结构边缘贴合程度更好的形状规则超像素。结论 本文算法在包含强梯度纹理图像上的超像素分割性能优于对比方法,在目标识别、目标追踪和显著性检测等易受强梯度干扰的技术领域具有较大应用潜力。