高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

Tripartite-structure transformer for hyperspectral image classification

Hyperspectral images contain rich spatial and spectral information, which provides a strong basis for distinguishing different land-cover objects. Therefore, hyperspectral image (HSI) classification has been a hot research topic. With the advent of deep learning, convolutional neural networks (CNNs) have become a popular method for hyperspectral image classification. However, convolutional neural network (CNN) has strong local feature extraction ability but cannot deal with long-distance dependence well. Vision Transformer (ViT) is a recent development that can address this limitation, but it is not effective in extracting local features and has low computational efficiency. To overcome these drawbacks, we propose a hybrid classification network that combines the strengths of both CNN and ViT, names Spatial-Spectral Former(SSF). The shallow layer employs 3D convolution to extract local features and reduce data dimensions. The deep layer employs a spectral-spatial transformer module for global feature extraction and information enhancement in spectral and spatial dimensions. Our proposed model achieves promising results on widely used public HSI datasets compared to other deep learning methods, including CNN, ViT, and hybrid models.     

Hyperspectral image classification via parallel multi-input mechanism-based convolutional neural network

In recent years, Convolutional Neural Networks (CNNs) have succeeded in Hyperspectral Image Classification and shown excellent performance. However, the implicit spatial information between features, which significantly affect the classification performance of CNNs, are neglected in most existing CNN models. To address this issue, we propose a parallel multi-input mechanism-based CNN (PMI-CNN) fully exploiting the implicit spectral-spatial information in Hyperspectral Images. PMI-CNN employs four parallel convolution branches to extract spatial features with different levels, feature maps from each branch are spliced, and used as the classifier’s input. The proposed PMI-CNN’s classification performance is examined on three benchmark datasets and compared with six competing models. Experimental results show that PMI-CNN has better classification performance via exploiting spectral-spatial information. Compared with other models, the classification accuracy of PMI-CNN on the Indian Pines dataset is significantly improved, varying between 1.23%-25.36%. Likewise, the PMI-CNN, performed on the other two benchmark datasets, achieves 0.54%-12.26% and 0.96%-8.38% advantages in overall accuracy over the other six models, respectively.

     

Algorithm of Object Recognition from Hyperspectral Remote Sensing and its Application in Lithologic Feature Extraction

The study aiming at the problems of the distinction of spectrum waveform characteristics,operation speed,spatial detail spectral features for the improvement of the algorithm in Hyperspectral remote sensing feature recognition,On the basis of this puts forward the algorithm of the fractal signal.The performance,efficiency,etc of the algorithm itself has been tested by using CASI hyperspectral data,hyperspectral remote sensing image lithologic characteristics of the study area also has been extracted.The initial value of the signal,the iteration step length and other characteristics of fractal signal of the hyperspectral remote sensing data were discarded in this study.To a certain extent,the fractal signal algorithm can refine the distinguishability of the similar characteristics of hyperspectral,and the algorithm used for feature extraction in CASI data of lithology achieves the purpose to accurately extract the surface lithology of bedrock exposed areas.     

基于VGG-NET的特征融合面部表情识别

为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

高光谱图像含有数百个波段,包含丰富的光谱信息,因此被广泛应用于地物分类中,但仍存在 着维数灾难的问题。高光谱图像中同时也含有丰富的纹理信息,有效利用纹理信息能够显著提高分类精度。三 维 Gabor 滤波器不仅能够保留图像丰富的光谱信息,还能提取到图像的纹理特征。为了充分利用高光谱图像的 特征,提出一种基于三维 Gabor 和残差三维卷积神经网络(Res-3DCNN)的分类方法。三维卷积神经网络(3DCNN) 能够直接对三维立方体数据进行处理,提取到深层纹理-光谱信息,然而随着网络层的加深会产生网络退化问 题,因此利用残差思想对 3DCNN 模型进行改进。在 PaviaU,Indian Pines 和 Salinas 3 个公共高光谱图像数据 集上进行实验,分别取得 99.17%,97.40%,98.56%的平均分类精度,结果表明该方法能有效提高高光谱图像 的地物分类精度。     

Analysis of various optimizers on deep convolutional neural network model in the application of hyperspectral remote sensing image classification

ABSTRACT

Hyperspectral image (HSI) classification is a most challenging task in hyperspectral remote sensing field due to unique characteristics of HSI data. It consists of huge number of bands with strong correlations in the spectral and spatial domains. Moreover, limited training samples make it more challenging. To address such problems, we have presented here a spatial feature extraction technique using deep convolutional neural network (CNN) for HSI classification. As optimizer plays an important role in learning process of deep CNN model, we have presented the effect of seven different optimizers on our deep CNN model in the application of HSI classification. The seven different optimizers used in this study are SGD, Adagrad, Adadelta, RMSprop, Adam, AdaMax, and Nadam. Extensive experimental results on four hyperspectral remote sensing data sets have been presented which demonstrate the superiority of the presented deep CNN model with Adam optimizer for HSI classification.     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

采用分段主成分和PPI的高光谱影像分类

高光谱遥感影像波段多且存在混合像元,特征提取以及端元提取都是高光谱影像分类必不可少的工作,分类方法的选择也是因地适宜。以福建省泉州市德化县下属某一地区的CASI影像为实验数据,基于分段主成分(segmental principal component analysis,SPCA)和纯净像元指数法(pure pixel index,PPI),提出了最小距离(minimum distance classification,MDC)和二进制编码(binary encoding,BE)的高光谱影像分类方法。实验结果表明,MDC的总体精度为69.71%,BE的总体精度为70.88%。对单一地物精度而言2种方法各有其长,MDC对道路的分类精度更高,为98.08%;而植被、耕地和水体采用BE方法的分类精度更高,分别为94.12%、98.08%、98.11%。本文提出的方法应用于CASI高光谱影像,对该研究区的地物分类研究有一定的实用性和参考价值。     

基于PCA与改进的最近邻法则的异常检测

提出一种新颖的基于特征抽取的异常检测方法,先对预处理数据进行标准化变换,然后应用主成份分析(PCA)抽取入侵特征,最后应用一种改进的最近邻分类方法--基于中心的最近邻分类法(CNN)检测入侵.利用KDD Cup'99数据集,将PCA删与PCA NN、PCA SVM、标准SVM进行比较,结果显示,在不降低分类器性能的情况下,特征抽取方法能对输入数据有效降维,且在各种方法中,PCA与CNN的结合能得到最优的入侵检测性能.     

Hyperspectral image classification based on adaptive optimisation of morphological profile and spatial correlation information

ABSTRACT

Hyperspectral image feature extraction generally does not consider the optimisation of structure element types, resulting in the loss of spatial correlation information. To solve this issue, this paper proposes a novel adaptive classification method (MPDTNC-SVM), in which spatial information is extracted by Morphological Profile Filter (MPF) and Domain Transform Normalised Convolution Filter (DTNCF). First, MPF extracts the spatial features on multiple principal component analysis (PCA) components of the hyperspectral image, and DTNCF works over all spectral bands to extract spatially correlated features. The two spatial features are then combined and fed into Support Vector Machine (SVM). Second, a two-step optimisation is implemented in the classification process. Specifically, the best structure of MPF is chosen for classification. Next, the optimal parameters of the structural elements are obtained through iterative classification optimisation, with the best classification performance produced in the process. Experimental results of actual hyperspectral images show that the proposed MPF and DTNCF with SVM (MPDTNC-SVM) method is superior to other classification methods, including Edge-Preserving Filter and Recursive Filter method, morphological feature-based methods, and the SVM methods with raw spectral features, reduced-dimensional and spatial-spectral information.     

高光谱遥感数据挖掘若干基本问题的研究

面向高光谱遥感信息的特点，分析了高光谱遥感数据挖掘的形成和作用，在构建其框架体系与处理流程的基础上。探讨了可以发现的知识类型和典型的挖掘模式，并分析了一些主要挖掘算法和关键技术。最后对高光谱遥感数据挖掘潜在的应用方向进行了探讨。     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

HSRS-SC:面向遥感场景分类的高光谱图像数据集

目的 场景分类是遥感领域一项重要的研究课题，但大都面向高分辨率遥感影像。高分辨率影像光谱信息少，故场景鉴别能力受限。而高光谱影像包含更丰富的光谱信息，具有强大的地物鉴别能力，但目前仍缺少针对场景级图像分类的高光谱数据集。为了给高光谱场景理解提供数据支撑，本文构建了面向场景分类的高光谱遥感图像数据集（hyperspectral remote sensing dataset for scene classification，HSRS-SC）。方法 HSRS-SC来自黑河生态水文遥感试验航空数据，是目前已知最大的高光谱场景分类数据集，经由定标系数校正、大气校正等处理形成。HSRS-SC分为5个类别，共1 385幅图像，且空间分辨率较高（1 m），波长范围广（380~1 050 nm），同时蕴含地物丰富的空间和光谱信息。结果 为提供基准结果，使用AlexNet、VGGNet-16、GoogLeNet在3种方案下组织实验。方案1仅利用可见光波段提取场景特征。方案2和方案3分别以加和、级联的形式融合可见光与近红外波段信息。结果表明有效利用高光谱影像不同波段信息有利于提高分类性能，最高分类精度达到93.20%。为进一步探索高光谱场景的优势，开展了图像全谱段场景分类实验。在两种训练样本下，高光谱场景相比RGB图像均取得较高的精度优势。结论 HSRS-SC可以反映详实的地物信息，能够为场景语义理解提供良好的数据支持。本文仅利用可见光和近红外部分波段信息，高光谱场景丰富的光谱信息尚未得到充分挖掘。后续可在HSRS-SC开展高光谱场景特征学习及分类研究。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于受限玻尔兹曼机的疲劳脑电特性分析

为了准确提取和分类视觉疲劳所引起的脑电特征，以此提醒过度用眼的工作人员及时休息，提出了多通道受限玻尔兹曼机算法和卷积神经网络(CNN)算法结合的深度学习混合模型，利用该模型对枕叶区10个通道的脑电信号进行自动提取内在特征和分类。在基于SSVEP的视觉疲劳脑电数据集上进行评估，深度学习混合模型的平均准确率达到88.63%,比传统的特征提取和分类方法高10%。实验结果证明了深度学习混合模型取得的分类效果较好，并且克服了传统手动提取特征方法不全面的不足，对疲劳脑电的研究具有现实的意义。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。