Saliency detection based on self-adaptive multiple feature fusion for remote sensing images

ABSTRACT

Saliency detection has been revealed an effective and reliable approach to extract the region of interest (ROI) in remote sensing images. However, most existing saliency detection methods employing multiple saliency cues ignore the intrinsic relationship between different cues and do not distinguish the diverse contributions of different cues to the final saliency map. In this paper, we propose a novel self-adaptively multiple feature fusion model for saliency detection in remote sensing images to take advantage of this relationship to improve the accuracy of ROI extraction. First, we take multiple feature channels, namely colour, intensity, texture and global contrast into consideration to produce primary feature maps. Particularly, we design a novel method based on dual-tree complex wavelet transform for remote sensing images to generate texture feature pyramids. Then, we introduce a novel self-adaptive multiple feature fusion method based on low-rank matrix recovery, in which the significances of feature maps are ranked by the low rank constraint recovery, and subsequently multiple features’ contributions are allocated adaptively to produce the final saliency map. Experimental results demonstrate that our proposal outperforms the state-of-the-art methods.     

一种结合显著性检测和超像素分割的遥感信息提取算法研究*

针对目前显著性检测算法在复杂多目标遥感图像中检测能力不足问题,提出一种结合显著性检测和超像素分割的遥感信息提取算法。该算法首先通过Graph-based Visual Saliency(GBVS)方法检测出原始影像中部分显著性较高的区域,然后利用Simple Linear Iterative Clustering(SLIC)方法分割显著区域,并修正显著区域边缘得到训练样本数据,进一步对训练样本进行统计学习,构造显著目标提取的阈值区间,最后实现对整幅超像素图像的显著目标提取。实验结果表明,该算法具有较高的准确率和召回率,能更加有效地检测出遥感图像中的显著目标,比目前主流的显著区域检测算法提取效果更好,可以很好地应用于具有明显显著区域的复杂多目标遥感图像信息提取中。     

双卷积池化结构的3D-CNN高光谱遥感影像分类方法

目的 高光谱遥感影像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的同物异谱及同谱异物现象,导致高光谱数据结构呈高度非线性。3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。为此,提出了基于双卷积池化结构的3D-CNN高光谱遥感影像分类方法。方法 双卷积池化结构包括两个卷积层、两个BN（batch normalization）层和一个池化层,既考虑到高光谱遥感影像标签数据缺乏的问题,也考虑到高光谱影像高维特性和模型深度之间的平衡问题,模型充分利用空谱联合提供的语义信息,有利于提取小样本和高维特性的高光谱影像特征。基于双卷积池化结构的3D-CNN网络将没有经过特征处理的3D遥感影像作为输入数据,产生的深度学习分类器模型以端到端的方式训练,不需要做复杂的预处理,此外模型使用了BN和Dropout等正则化策略以避免过拟合现象。结果 实验对比了SVM（support vector machine）、SAE（stack autoencoder）以及目前主流的CNN方法,该模型在Indian Pines和Pavia University数据集上最高分别取得了99.65%和99.82%的总体分类精度,有效提高了高光谱遥感影像地物分类精度。结论 讨论了双卷积池化结构的数目、正则化策略、高光谱首层卷积的光谱采样步长、卷积核大小、相邻像素块大小和学习率等6个因素对实验结果的影响,本文提出的双卷积池化结构可以根据数据集特点进行组合复用,与其他深度学习模型相比,需要更少的参数,计算效率更高。     

基于流形学习的彩色遥感图像分维数估算

目的 纹理特征提取一直是遥感图像分析领域研究的热点和难点。现有的纹理特征提取方法主要集中于研究单波段灰色遥感图像,如何提取多波段彩色遥感图像的纹理特征,是多光谱遥感的研究前沿。方法 提出了一种基于流形学习的彩色遥感图像分维数估算方法。该方法利用局部线性嵌入方法,对由颜色属性所组成的5-D欧氏超曲面进行维数简约处理;再将维数简约处理后的颜色属性用于分维数估算。结果 利用Landsat-7遥感卫星数据和GeoEye-1遥感卫星数据进行实验,结果表明,同Peleg法和Sarkar法等其他分维数估算方法相比,本文方法具有较小的拟合误差。其中,其他4种对比方法所获拟合误差E平均值分别是本文方法所获得拟合误差E平均值的26.2倍、5倍、26.3倍、5倍。此外,本文方法不仅可提供具有较好分类特性的分维数,而且还能提供相对于其他4种对比方法更加稳健的分维数。结论 在针对中低分辨率的真彩遥感图像和假彩遥感图像以及高分辨率彩色合成遥感图像方面,本文方法能够利用不同地物所具有颜色属性信息,提取出各类型地物所对应的纹理信息,有效地改善了分维数对不同地物的区分能力。这对后续研究各区域中不同类型地物的分布情况及针对不同类型地物分布特点而制定区域规划及开发具有积极意义。     

小波系数指导的全色锐化网络

针对现有全色锐化网络无法同时兼顾空间信息与光谱信息保留的问题,提出一种基于小波系数指导的由融合网络和指导网络组成的全色锐化网络。融合网络分别提取PAN和MS图像的多级特征,并在同一级别进行特征的选择和融合,融合后的特征分别用于指导后一级别特征的提取;指导网络用于学习HRMS与已知的输入图像的小波系数之间的映射关系,并利用学习到的映射对融合网络的输出提供额外的监督。实验结果表明,该方法能够在保留MS图像光谱信息的同时恢复尽可能多的空间信息。在模拟数据集和真实数据集上的对比实验也表明,该方法融合效果优于其他传统方法和深度学习方法,具有一定的实用价值。     

基于对象关系特征的高分辨率光学卫星影像水上桥梁目标识别方法

利用卫星遥感技术对大中型桥梁进行识别定位,在民用上和军事上都具有很重要的意义。本研究提出了一套利用基元对象关系特征提取高分辨率卫星影像中水上桥梁的技术方法。首先利用多尺度分割算法对高分辨率卫星影像进行分割,利用水体指数或GLCM同质性纹理特征区分河水和陆地;其次,利用对象形状特征和相邻的关系特征提取桥梁潜在区;将河流片段和桥梁潜在区专题二值化,利用数学形态学算子实现河流水面的连续化;最后利用叠加分析的方法获得最终的桥梁目标。本方法充分利用了桥梁与河流相邻和相交的空间关系特征,利用QuickBird和IKONOS高分辨率卫星影像进行实验,证明所提出的方法可以高精度的实现大中型水上桥梁的识别定位。     

基于同态系统滤波的高分辨率遥感图像河流信息提取

为了解决在高分辨率遥感图像中易受同物异谱现象影响而导致河流信息提取不完整问题,依据河流区域在遥感图像中具有特定频率纹理信息这一特点,提出一种基于同态系统滤波的高分辨率遥感图像河流信息提取方法。该算法通过对遥感图像的频谱分析,确定河流信息在频域中的特征标识,采用一维剖面线加窗短时分析河流定位技术实现了全自动、快速全幅遥感图像河流定位和宽度估计,在同态系统下设计了低通滤波器实现对低频河流信息的提取。该算法采用"高分一号"遥感影像作为实验数据来源,相对于传统利用光谱信息的提取方法具有较高的提取精度,Kappa系数达0.85以上,并且实现全自动提取。实验结果表明所提算法能够快速、有效地提取复杂地貌区域内的河流信息。     

光学遥感图像低可观测区域舰船检测

海洋区域受云雾和气流影响导致其光学遥感图像局部对比度低、能见度差,给舰船监视带来困难。针对这一问题,首先利用多尺度相位谱对低可观测图像进行重构生成舰船目标的显著图,然后采用全局阈值快速提取具有较高显著度的感兴趣区域(ROI)。对各个ROI,首先利用其外部环状窗口各区间平均亮度的有序统计量来估计阈值对其进行二值分割,然后分别提取平均显著度、形状复杂度和空间扩展度特征,训练最小距离分类器对ROI进行鉴别,得到最终的检测结果。用大量受云雾影响的SPOT4全色影像进行实验,结果表明该算法能够满足应用要求。     

基于决策树的面向对象变化信息自动提取研究

为了从不同时相的遥感影像数据中自动提取变化信息且保证其效率,本文结合面向对象分析技术,提出了一种基于决策树变化信息自动提取的新方法。该方法利用影像的特征指数及形状特征、光谱特征、纹理特征等作为特征集,将其作为知识库应用到决策树控制模型中,进而利用该模型实现自动分类。对所得到的分类后影像对象,组织分析其综合属性并作为决策规则再次分类,通过"双重分类"的方式实现面向对象的遥感影像变化信息自动提取。该方法为遥感影像变化信息自动提取提供了新的思路。     

自适应权重注入机制遥感图像融合

目的 遥感图像融合是将一幅高空间分辨率的全色图像和对应场景的低空间分辨率的多光谱图像,融合成一幅在光谱和空间两方面都具有高分辨率的多光谱图像。为了使融合结果在保持较高空间分辨率的同时减轻光谱失真现象,提出了自适应的权重注入机制,并针对上采样图像降质使先验信息变得不精确的问题,提出了通道梯度约束和光谱关系校正约束。方法 使用变分法处理遥感图像融合问题。考虑传感器的物理特性,使用自适应的权重注入机制向多光谱图像各波段注入不同的空间信息,以处理多光谱图像波段间的差异,避免向多光谱图像中注入过多的空间信息导致光谱失真。考虑到上采样的图像是降质的,采用局部光谱一致性约束和通道梯度约束作为先验信息的约束,基于图像退化模型,使用光谱关系校正约束更精确地保持融合结果的波段间关系。结果 在Geoeye和Pleiades卫星数据上同6种表现优异的算法进行对比实验,本文提出的模型在2个卫星数据上除了相关系数CC（correlation coefficient）和光谱角映射SAM（spectral angle mapper）评价指标表现不够稳定,偶尔为次优值外,在相对全局误差ERGAS（erreur relative globale adimensionnelle de synthèse）、峰值信噪比PSNR（peak signal-to-noise ratio）、相对平均光谱误差RASE（relative average spectral error）、均方根误差RMSE（root mean squared error）、光谱信息散度SID（spectral information divergence）等评价指标上均为最优值。结论 本文模型与对比算法相比,在空间分辨率提升和光谱保持方面都取得了良好效果。     

IKONOS影像白泡云识别方法研究

高空间分辨率IKONOS影像应用在海洋遥感时,白泡云的强反射特性严重影响了水体信息的提取。本文利用归一化处理后的IKONOS影像数据研究分析了白泡云与其背景地物的光谱特征。通过光谱一阶微分运算形成特定的数学参数使得地物的光谱特征参量化,提取白泡云光谱特征,研究开发了白泡云遥感识别模型。试验结果表明该识别方法准确度高,在识别水体中白泡云区域的基础上可有效处理海洋遥感水体信息提取过程中白泡云的干扰影响。     

A novel remote-sensing image fusion method based on hybrid visual saliency analysis

ABSTRACT

In practical applications, different regions in images may practically have different demands for the spatial and spectral resolution. However, most existing methods execute a unified fusion processing of the whole image with no consideration of such diverse demands. In this article, a new fusion method for remote-sensing images based on saliency analysis is proposed for addressing the issue. By introducing the hybrid visual saliency analysis, regions in the panchromatic (Pan) image and multispectral image would be automatically partitioned into two parts: salient and non-salient regions. Then, a subregion fusion strategy is applied to fuse the non-salient and salient regions, respectively. As for salient regions such as residential areas and roads, the adaptive intensity–hue–saturation (adaptive IHS) method is implemented for its merit of effective improvement in spatial quality. For non-salient regions such as farmland, forest, and grassland, the dual-tree complex wavelet transform is used in the process of spatial detail extraction, and the combination coefficients yielded by the adaptive IHS method are integrated to suppress the spectral distortion. Experimental results demonstrate that our proposal provides state-of-the-art performance as well as achieves a better balance between spatial injection and spectral maintenance in different regions.     

Hyperspectral Multiple Features Optimization Using Improved Firefly Algorithm

The utilization of hyperspectral remote sensing image is mainly based on the spectral information,and the spatial information is always be ignored.To solve this problem,a novel hyperspectral multiple features optimization approach based on improved firefly algorithm is presented.Firstly,four spatial features,the local statistical features,gray level co-occurrence matrix features,Gabor filtering features and morphological features of hyperspectral remote sensing image are extracted,and some spectral bands are selected and then combined with these spatial features,and the feature set is constructed.Then,the firefly algorithm is used to optimize the extracted features.In view of the slow convergence speed of firefly algorithm,we use the random inertia weight from particle swarm optimization algorithm to modifiy the location update formula of firefly algorithm,and JM(Jeffreys-Matusita)distance and Fisher Ratio are used as the objective function.Two urban hyperspectral datasets are used for performance evaluation,and the classification results derived from spectral information and spectral-spatial information are compared.The experiments show that random inertia weight can improve the speed of FA-based feature selection algorithm,the performance with multiple features is better than that of spectral information for urban land cover classification,The statistical results of the two sets of experimental data indicate that the selected number of morphological features are the most in the four spatial features.The local statistical features and morphological features are more helpful to the classification of hyperspectral remote sensing images than GLCM and Gabor features.     

基于遥感数据特征和像元替换技术的边缘提取方法

随着城市化的发展，城市遥感领域在中国发展迅速。高分辨遥感图像的边缘提取是当前城市遥感的重要研究领域。实践中，传统的边缘检测算子主要是通过图像空城特征微分，建立不同结构的模板完成。高分辨率遥感数字图像包括了空间域和光谱域两种信息，因此，借助于图像的光谱和空间域两种特征信息提高提取城市边缘信息精度已经成为当前算法开发的基本思路。该研究通过设计光谱分解和边缘检测的算子模板，综合利用了图像的光谱、空间特征信息。研究结果表明，这种方法有效地提高了城市遥感数据边缘信息的提取精度，同时还具有方法简便、计算速度怏的特点。     

基于U-Net的高分辨率遥感图像土地利用信息提取

随着现代遥感技术的迅速发展,遥感图像的质量和数量得到了显著的提升,新技术带来的高分辨率遥感图像所蕴含的信息也更加丰富,如何利用人工智能手段辅助挖掘这些丰富的信息也成为了遥感图像分析与理解的重要内容.与此同时,以深度卷积神经网络为代表的人工智能技术在图像处理领域大放异彩.得益于类人眼的分层卷积池化模型,深度卷积神经网络可...     

基于多视图边界判别投影的高光谱图像分类

高光谱图像分类是遥感领域研究的热点问题,其关键在于利用高光谱图谱合一的 优势,同时融合高光谱图像中各个像元位置的光谱信息和空间信息,提高光谱图像分类精度。 针对高光谱图像特征维数高和冗余信息多等问题,采用多视图子空间学习方法进行特征降维, 提出了图正则化的多视图边界判别投影算法。将每个像元处的光谱特征看作一个视图,该像元 处的空间特征看作另一个视图,通过同时优化每个视图上的投影方向来寻找最优判别公共子空 间。公开测试数据集上的分类实验表明,多视图学习在高光谱图像空谱融合分类方面具有显著 的优越性,在多视图降维算法中,该算法具有最高的分类准确性。     

Integrated fusion framework based on semicoupled sparse tensor factorization for spatio-temporal–spectral fusion of remote sensing images

Remote sensing image fusion is considered a cost effective method for handling the tradeoff between the spatial, temporal and spectral resolutions of current satellite systems. However, most current fusion methods concentrate on fusing images in two domains among the spatial, temporal and spectral domains, and a few efforts have been made to comprehensively explore the relationships of spatio-temporal–spectral features. In this study, we propose a novel integrated spatio-temporal–spectral fusion framework based on semicoupled sparse tensor factorization to generate synthesized frequent high-spectral and high-spatial resolution images by blending multisource observations. Specifically, the proposed method regards the desired high spatio-temporal–spectral resolution images as a four-dimensional tensor and formulates the integrated fusion problem as the estimation of the core tensor and the dictionary along each mode. The high-spectral correlation across the spectral domain and the high self-similarity (redundancy) features in the spatial and temporal domains are jointly exploited using the low dimensional and sparse core tensors. In addition, assuming that the sparse coefficients in the core tensors across the observed and desired image spaces are not strictly the same, we formulate the estimation of the core tensor and the dictionaries as a semicoupled sparse tensor factorization of available heterogeneous spatial, spectral and temporal remote sensing observations. Finally, the proposed method can exploit the multicomplementary spatial, temporal and spectral information of any combination of remote sensing data based on this single unified model. Experiments on multiple data types, including spatio-spectral, spatio-temporal, and spatio-temporal–spectral data fusion, demonstrate the effectiveness and efficiency of the proposed method.     

基于光谱归一化的变组分光谱混合分析(NMESMA)方法及其应用

混合像元问题在低、中分辨率遥感图像中尤为突出,混合像元的存在不仅会影响地物识别和图像分类精度,也是遥感科学向定量化发展的主要障碍之一。因此,遥感图像混合像元分解及其地表覆盖信息的定量提取是近年来研究的热点。针对城市土地覆盖信息的定量提取问题,利用中等分辨率遥感图像(Landsat TM),集成光谱归一化与变组分光谱混合分析(NMESMA)的方法,基于植被-非渗透表面-土壤(V\|I\|S)模型,定量提取研究区植被、土壤和非渗透表面3类土地覆盖的定量信息,并与固定组分的光谱混合分析(LSMA)分解结果进行对比分析。结果表明:基于光谱归一化的变组分光谱混合分析(NMESMA)方法获得的精度高于传统固定组分的光谱混合分析(LSMA)结果,可有效解决光谱异质性较高的城市区域的混合像元问题,为有效提取城市地表覆盖信息,研究城市生态环境变化和模拟分析,提供了有效的信息提取方法。     

基于全卷积网络和自编码的高光谱图像分类

针对高光谱图像空间信息利用不足、标记样本数量较少的问题,提出一种基于全卷积网络和堆栈稀疏自编码的高光谱图像分类算法.基于迁移学习的思想,利用预训练好的全卷积网络FCN-8s,挖掘图像潜在的多尺度几何结构特征;选取其特征的像素邻域信息,采用拼接融合的方法与原光谱信息进行融合;利用堆栈稀疏自编码网络完成最终的多尺度空谱特征...     

基于稀疏表示的旋转鲁棒遥感影像特征提取

针对高空间分辨率遥感影像的特征提取问题,提出一种基于稀疏表示的提取方法。通过学习,从大量的自然图像中获得过完备字典,对其中每个原子进行多个方向的旋转,从而扩展该字典。利用扩展的字典对遥感影像进行稀疏编码,并将稀疏编码非零元素个数限定为1,对非零元素的位置统计直方图进行池化处理后,通过归一化获得影像的特征。实验结果表明,与传统的特征提取方法相比,该方法可以有效提取遥感影像的特征,并且对遥感纹理影像的旋转具有较强的鲁棒性。