混合深度CNN联合注意力的高光谱图像分类

深度学习中的卷积神经网络（CNN）能充分利用计算机的计算能力,高效地提取遥感图像的特征,取得很好的成果,特别是在高光谱图像分类方面取得了很大的进展。为了在有限的高光谱样本上充分提取光谱和空间特征,提高高光谱图像分类的精度,提出了混合深度卷积联合注意力（HDC-Attention）的模型。首先利用核主成分分析（KPCA）和小批量K均值（MBK-means）对高光谱图像进行组合降维,有效地消除数据冗余并保留主要信息量,使得降维后的数据具有最佳区分度。然后将降维后的数据输入HDC网络进行充分的光谱-空间特征提取。最后利用光谱-空间注意力,重新分配光谱-空间特征的权重,增强有用的空谱特征,抑制无用的特征。提出的模型在三个公开数据集上进行了多次实验,在有限的标记样本下,三个数据集的OA、AA、Kappa分类指标均超过99%。     

基于LK-3DCNN网络特征的高光谱遥感图像分类算法

传统的高光谱图像分类方法均采用手工提取特征的方式,其表达能力有限,不能满足分类任务的高精度需求。因此,提出一种基于LK-3D卷积神经网络（Convolutional Neural Network,CNN）特征的高光谱遥感图像分类算法。该算法结合空洞卷积和三维卷积神经网络的双分支融合结构,对遥感图像进行深度特征提取,有利于提升小样本高光谱遥感图像数据分类的性能。在公开的3组高光谱遥感图像数据集上,与主成分分析（Principal Components Analysis,PCA）+3DCNN、PCA+3D-2DCNN算法进行对比,实验结果表明所提出的双分支融合网络提升了高光谱遥感图像的分类精度,具有较好的鲁棒性。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

卷积神经网络在高光谱图像分类中的应用综述

高光谱图像（Hyperspectral Imagery,HSI）分类是高光谱图像处理和应用的一项重要工作。随着深度学习的不断发展,卷积神经网络（Convolutional Neural Network,CNN）日渐成为处理高光谱遥感图像分类问题的一个有效方法。首先对高光谱遥感图像分类任务进行了概述,分析了目前存在的问题;其次对CNN及其基于光谱特征、空间特征、空谱特征的分类方法进行了系统的梳理,并且将上述的分类方法通过实验分析其性能;最后对高光谱遥感图像分类的关键问题进行了总结,并讨论了未来的研究方向。     

利用同质区特性的高光谱图像迁移学习分类

深度卷积神经网络能充分利用特征间的内在联系,提高高光谱影像的可分性,近年来受到了广泛关注.但是,训练深度网络模型对大量标记样本的需求限制了此类方法的应用.将迁移学习思想引入遥感影像分类以减少对标记样本数量的需求.具体研究目标图像中每类只有一个标记样本的情况.通过对目标图像分割得到的同质区扩增目标域的训练样本数量,在此基础上运用深度孪生卷积神经网络减少源域图像与目标域图像的分布差异,实现对目标高光谱图像的最终分类.实验结果表明:同质区和孪生卷积网络的结合可提高半监督迁移学习分类的效果,较好地解决跨区域的高光谱图像分类问题.     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

利用同质区特性的高光谱图像迁移学习分类

深度卷积神经网络能充分利用特征间的内在联系,提高高光谱影像的可分性,近年来受到了广泛关注.但是,训练深度网络模型对大量标记样本的需求限制了此类方法的应用.将迁移学习思想引入遥感影像分类以减少对标记样本数量的需求.具体研究目标图像中每类只有一个标记样本的情况.通过对目标图像分割得到的同质区扩增目标域的训练样本数量,在此基础上运用深度孪生卷积神经网络减少源域图像与目标域图像的分布差异,实现对目标高光谱图像的最终分类.实验结果表明:同质区和孪生卷积网络的结合可提高半监督迁移学习分类的效果,较好地解决跨区域的高光谱图像分类问题.     

一种新的空谱联合高光谱图像分类方法

为了充分利用高光谱遥感图像的空间信息和光谱信息,以提高分类精度,文章研究了分别采用二维和三维Gabor滤波对高光谱遥感图像进行特征提取,然后与高光谱遥感图像的光谱信息进行融合,并基于堆栈式稀疏自编码器的深度学习网络对融合图像进行分类的方法。研究结果表明,所提出的空谱联合分类器与传统的光谱信息分类器相比,分类性能得到了显著提高,且三维Gabor滤波的空谱联合分类器的分类性能优于二维Gabor滤波的空谱联合分类器,并具有较强的鲁棒性。     

结合未标签样本和CNN的高光谱遥感图像分类

针对卷积神经网络(convolutional neural networks,CNNs)需求的训练样本量多,而高光谱图像中存在大量的未标签样本未得到充分利用的问题,文章充分挖掘标签样本及其近邻的未标签样本的空谱信息,提出了一种基于灰度共生矩阵(gray-level co-occurrence matrix,GLCM)和三维卷积神经网络的空谱特征联合训练的高光谱图像分类方法。首先,通过灰度共生矩阵提取高光谱图像的纹理特征;然后,利用相关性分析剔除近邻未标签样本中的冗余信息,将标签样本与未标签样本的信息融合;最后,利用三维卷积神经网络提取深空谱特征进行分类。该方法不但充分挖掘了高光谱图像的深度空谱联合特征,而且利用近邻未标签样本的信息实现对样本信息的增强,降低了对训练样本数量的要求,具有较好的分类性能。在3个公共数据集上的实验结果表明,相比其他方法,该方法可以利用较少的训练样本获得较高的分类精度。     

基于空谱特征的核极端学习机高光谱遥感图像分类算法

近年来,局部二值模式(Local Binary Patterns,LBP)由于其在空间特征提取方面具有显著的优势被应用于高光谱遥感图像分类中,该算法在空间特征提取上虽减少类内方差,却忽视了用于区分不同地物类别的光谱特征。为避免在图像分类过程中提取单一特征导致特征提取不充分、分类效果不理想的问题,通过将空间特征和光谱特征进行矢量堆叠得到新的空谱特征向量。再将新的空谱特征向量引入到核极端学习机中,提出一种基于空谱特征的核极端学习机高光谱遥感图像分类算法(Space Spectrum feature Kernel Extreme Learning Machine,SS-KELM)。为验证所提算法的有效性,将使用两个高光谱图像数据集进行实验。实验结果表明所提SS-KELM算法的分类性能优于目前较为常见的传统分类算法。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

Tripartite-structure transformer for hyperspectral image classification

Hyperspectral images contain rich spatial and spectral information, which provides a strong basis for distinguishing different land-cover objects. Therefore, hyperspectral image (HSI) classification has been a hot research topic. With the advent of deep learning, convolutional neural networks (CNNs) have become a popular method for hyperspectral image classification. However, convolutional neural network (CNN) has strong local feature extraction ability but cannot deal with long-distance dependence well. Vision Transformer (ViT) is a recent development that can address this limitation, but it is not effective in extracting local features and has low computational efficiency. To overcome these drawbacks, we propose a hybrid classification network that combines the strengths of both CNN and ViT, names Spatial-Spectral Former(SSF). The shallow layer employs 3D convolution to extract local features and reduce data dimensions. The deep layer employs a spectral-spatial transformer module for global feature extraction and information enhancement in spectral and spatial dimensions. Our proposed model achieves promising results on widely used public HSI datasets compared to other deep learning methods, including CNN, ViT, and hybrid models.     

双卷积池化结构的3D-CNN高光谱遥感影像分类方法

目的 高光谱遥感影像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的同物异谱及同谱异物现象,导致高光谱数据结构呈高度非线性。3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。为此,提出了基于双卷积池化结构的3D-CNN高光谱遥感影像分类方法。方法 双卷积池化结构包括两个卷积层、两个BN（batch normalization）层和一个池化层,既考虑到高光谱遥感影像标签数据缺乏的问题,也考虑到高光谱影像高维特性和模型深度之间的平衡问题,模型充分利用空谱联合提供的语义信息,有利于提取小样本和高维特性的高光谱影像特征。基于双卷积池化结构的3D-CNN网络将没有经过特征处理的3D遥感影像作为输入数据,产生的深度学习分类器模型以端到端的方式训练,不需要做复杂的预处理,此外模型使用了BN和Dropout等正则化策略以避免过拟合现象。结果 实验对比了SVM（support vector machine）、SAE（stack autoencoder）以及目前主流的CNN方法,该模型在Indian Pines和Pavia University数据集上最高分别取得了99.65%和99.82%的总体分类精度,有效提高了高光谱遥感影像地物分类精度。结论 讨论了双卷积池化结构的数目、正则化策略、高光谱首层卷积的光谱采样步长、卷积核大小、相邻像素块大小和学习率等6个因素对实验结果的影响,本文提出的双卷积池化结构可以根据数据集特点进行组合复用,与其他深度学习模型相比,需要更少的参数,计算效率更高。     

Analysis of various optimizers on deep convolutional neural network model in the application of hyperspectral remote sensing image classification

ABSTRACT

Hyperspectral image (HSI) classification is a most challenging task in hyperspectral remote sensing field due to unique characteristics of HSI data. It consists of huge number of bands with strong correlations in the spectral and spatial domains. Moreover, limited training samples make it more challenging. To address such problems, we have presented here a spatial feature extraction technique using deep convolutional neural network (CNN) for HSI classification. As optimizer plays an important role in learning process of deep CNN model, we have presented the effect of seven different optimizers on our deep CNN model in the application of HSI classification. The seven different optimizers used in this study are SGD, Adagrad, Adadelta, RMSprop, Adam, AdaMax, and Nadam. Extensive experimental results on four hyperspectral remote sensing data sets have been presented which demonstrate the superiority of the presented deep CNN model with Adam optimizer for HSI classification.     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1）分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2）从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3）对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。