用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合,可以获得具有高空间分辨率和高光谱分辨率的光谱图像,提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好,但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性,提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块,通过光谱注意力机制提取高光谱图像的光谱相关性特征,通过空间注意力机制提取多光谱图像的空间相似性特征,将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合;随后,将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中,探索融合特征的长距离依赖信息,学习深度先验融合知识;最后,特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验,实验结果表明,与对比方法相比,本文方法从定量指标和视觉效果上,都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network）,在CAVE数据集上峰值信噪比提高了0.5 dB,在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息,显著提升高光谱融合超分图像的质量。     

融合多尺度低秩表示与双向递归滤波的高光谱图像分类

针对高光谱图像信噪比较低导致图像分类精度较差的问题,提出一种融合多尺度低秩表示与双向递归滤波的高光谱图像分类方法。首先,对高光谱图像进行不同尺度的超像素分割,获得空间邻域信息并得到分割图像;其次,在各尺度分割区域内执行低秩表示和主成分分析（Principal Component Analysis,PCA）降维,低秩表示可对分割区域内光谱间高相关性进行低秩约束,移除混合噪声;再次,利用双向递归滤波进一步消除图像中噪声和地物细节纹理;最后,根据支持向量机对各尺度特征图像的分类结果采用多数投票方法得到最终分类。实验在Indian Pines、PaviaU和Salinas公开数据集上进行,各地物类别随机选取10个训练样本,结果表明：与仅利用光谱信息的分类方法（支持向量机、PCA）对比,该方法分别在3个数据集上总体精度平均提高了32.03%、28.04%和16.80%;与空间—光谱残差网络和顶点成分分析网络的分类方法对比,平均提高10.99%、8.45%和7.08%;与其他空—谱联合分类方法对比,平均提高8.28%、18.77%和10.19%,证明了本文方法能在训练样本较少的情况下取得更优的总体...     

基于自适应分割的多曝光图像融合算法

针对传统多曝光图像融合存在颜色和细节信息保留不完整的问题,提出了一种新的基于自适应分割的多曝光图像融合算法.首先,采用超像素分割将输入图像分割为颜色一致的图像块,再利用结构分解将图像块分解为三个独立分量.根据各分量特点设计不同融合规则,以保留源图像中的颜色和细节信息.然后,采用引导滤波平滑各分量的权重图以及信号强度分量...     

光谱重建约束非负矩阵分解的高光谱与全色图像融合

基于光谱重建约束的非负矩阵分解,提出了一种高光谱与全色图像的有效解混方法.首先在高光谱图像的非负矩阵分解中引入光谱重建误差最小化的正则项,通过多目标寻优寻找最佳的正则项参数,以鼓励分解的光谱特征矩阵包含更真实的光谱特征;然后对全色图像进行非负矩阵分解,以获得描述图像细节的丰度矩阵;最后利用光谱特征矩阵和丰度矩阵重建得到...     

结合纹理分析的多光谱图像分类研究

为了有效抑制同谱异物和同物异谱对多光谱遥感图像分类的影响,提出了一种宏观与微观相结合的两级多光谱地物分类算法:首先,通过基于纹理特征的动态聚类形成地形地貌相同或相似的区域分块,降低地物复杂度对后续基于光谱特征鼢的地物分类的影响,然后,再根据每个区域分块中地物的光谱特征分层次进行再分类,从而得到对整幅图像的分类结果.最后,以大庆遥感数据为例,给出了实验结果和精度评价.     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

图像融合在高光谱遥感数据处理中的应用

图像融合近年来成为图像处理领域的热点之一,广泛应用于军事、民用的各个领域。而高光谱遥感是遥感领域里新兴的方向,具有波段多,信息量大的特点,对高光谱图像进行融合可以进一步提高图像的利用率,减少信息的相关性和冗余。     

一种面向多光谱遥感图像的动态尺度梯度调制融合算法

针对多光谱遥感图像,提出一种新的动态尺度梯度调制融合算法;该算法首先根据需求选取不同波段上的光谱图像,然后在多尺度梯度塔形分解数据结构下,分析、选择合适尺度上的一幅梯度图像作为融合的引导,再经过动态的阈值选取和二值化得到调制因子,对另一幅光谱图像进行调制,获得最终的融合图像;实验结果表明,与传统的对比度调制算法和多尺度调制融合算法相比,该算法能够有效地保留、增强各个波段光谱图像中最显著的地貌特征.     

一种新的高光谱遥感图像超像素分割方法

为了解决简单线性迭代聚类算法在高光谱遥感图像超像素分割任务中分割精度较低的问题,提出一种基于多级线性迭代聚类结合改进标签传播算法(LPA)的新的无监督高光谱遥感图像超像素分割方法。首先,扩充简单线性迭代聚类(SLIC)的适用范围至多通道对高光谱图像进行超像素初分割;然后,对色彩标准差较大的超像素进行多级迭代细致分割,引入基于局部二进制模式的高光谱遥感图像纹理特征提取方法计算高光谱图像纹理特征并融合多段光谱特征计算超像素间相似度以构建带权图网络;最后,改进LPA社区发现方法进行超像素合并,将改进的标签传播算法运用于超像素合并可以得到更加稳定准确的超像素合并效果,提高超像素分割精度。将该方法与多种方法进行比较,结果表明,该方法对高光谱遥感图像的超像素分割结果更准确,超像素边缘更贴合真实地物边界,能有效改善高光谱遥感图像超像素分割中精度较低的问题。     

多尺度融合注意力机制的胆囊癌显微高光谱图像分类

目的 胆囊癌作为胆道系统中一种恶性程度极高的肿瘤,早期诊断困难、预后极差,因此准确鉴别胆囊病变对早期发现胆囊癌具有重要意义。目前胆囊癌的诊断主要依赖于超声、CT(computed tomography)等传统影像学方法,但准确性较低。显微高光谱能够在获取生物组织图像信息的同时从生化角度对生物组织进行分析,从而实现对胆囊癌的早期诊断,相比于传统医学图像更具优势。因此,本文基于胆囊癌显微高光谱图像设计了一种基于多尺度融合注意力机制的网络模型,以提高分类准确率。方法 提出多尺度融合注意力模块（multiscale squeeze-andexcitation-residual, MSE-Res）。MSE-Res模块引入改进的多尺度特征提取模块实现通道维上特征的融合,用一个最大池化层和一个上采样层代替1×1的卷积层来提取图像的显著特征。为了弥补池化层丢失的局部信息,在跳跃连接中加入一个1×1的卷积层。在多尺度特征提取模块后,引入注意力机制来学习不同通道间特征的相关性,实现通道间特征的融合,并通过残差连接使网络在提取图像深层特征的同时避免出现过拟合现象。结果 在胆囊癌高光谱数据集上进行实验,本文模...     

深度嵌套式Transformer网络的高光谱图像空谱解混方法

目的 基于深度学习的解混方法在信息挖掘和泛化性能上优于传统方法,但主要关注光谱信息,对空间信息的利用仍停留在滤波、卷积的表层处理。这使得构建解混网络时需要堆叠多层网络,易丢失部分图像信息,影响解混准确性。Transformer网络因其强大的特征表达能力广泛应用于高光谱图像处理,但将其直接应用于解混学习容易丢失图像局部细节。本文基于Transformer网络提出了改进方法。方法 本文以TNT（Transformer in Transformer）构架为基础提出了一种深度嵌套式解混网络（deep embedded Transformer network, DETN）,通过内外嵌入式策略实现编码器中局部与整体空间信息共享,不仅保留了高光谱图像的空间细节,而且在编码器中只涉及少量卷积运算,大幅度提升了学习效率。在解码器中,通过一次卷积运算来恢复数据结构以便生成端元与丰度,并在最后使用Softmax 层来保障丰度的物理意义。结果 最后,本文分别采用模拟数据集和真实高光谱数据集进行对比实验,在50 dB模拟数据集中平均光谱角距离和均方根误差取得最优值,分别为0.038 6 和0.004 5,在真实高光谱数据集Samson、Jasper Ridge中取得最优平均光谱角距离,分别为0.119 4,0.102 7。结论 实验结果验证了DETN 方法的有效性和优势,并且能为实现深度解混提供新的技术支撑和理论参考。     

Compression and classification methods for hyperspectral images

In this article we present new lossless compression methods by combining existing methods and compare them using AVIRIS images. These methods include the Self-Organizing Map (SOM), Principal Component Analysis (PCA), and the three-dimensional Wavelet Transform combined with traditional lossless encoding methods. The two-dimensional JPEG2000 and SPIHT compression methods were applied to the eigenimages produced by the PCA. The bit allocation for the compression of eigenimages was based on the amount of information in each eigenimage. In bit rate calculation we used the exponential entropy formula, which gave better results than the original linear version. The information loss from the compression was measured by the Signal-to-Noise Ratio (SNR) and Peak-Signal-to-Noise Ratio (PSNR). To get more illustrative and practical error measures, classification of spectra was performed using unsupervised K-means clustering combined with spectral matching. Spectral matching methods include Euclidean distance, Spectral Similarity Value (SSV), and Spectral Angle Mapper (SAM). We used two test images, which both were AVIRIS images with 224 bands and 512 lines in 614 columns. The PCA in the spectral dimension combined with JPEG2000 or SPIHT in the spatial dimension was the best method in terms of the image quality and compression speed.     

整合超像元分割和峰值密度的高光谱图像聚类

目的 传统图像聚类算法多利用像元的光谱信息,较少考虑图像的空间信息,容易受到噪声干扰。针对该问题,提出一种整合超像元分割（SLIC）和峰值密度（DP）的高光谱图像聚类算法。方法 首先,利用超像元分割技术对高光谱图像进行分割并提取超像元光谱特征;然后,根据提取的超像元光谱特征,计算其峰值密度信息,搜索超像元光谱簇,构建像元与类别间的隶属度关系。最后,利用高光谱模拟数据以及两组真实高光谱图像评价算法的鲁棒性和精度。结果 在不同信噪比的模拟数据中,SLIC-DP算法在调整芮氏指标（ARI）最优的条件下,较K-means和SLIC-Kmeans的方差降低61.86%和41.61%,体现优越的鲁棒性。在高光谱数据集Salinas-A和Indian Pines中,SLIC-DP算法的ARI为0.777 1和0.325 7,较K-Means和SLIC-KMeans聚类算法分别增长10.71%,5.01%与78.86%,25.27%。结论 本文算法抗噪声能力强,充分利用空间信息与光谱信息,有效提升高光谱图像聚类精度。经验证,能满足高光谱图像信息提取和分析的要求,可进一步推广和研究。     

基于小波域压缩感知的遥感图像超分辨算法

针对单字典表达复杂多样的图像纹理存在一定的局限性的问题,利用压缩感知和小波理论建立了一种多字典遥感图像超分辨算法。首先,对训练图像在小波域的不同频带利用K-奇异值分解（K-SVD）算法建立不同的字典;然后,利用全局限制求取高分辨率图像的初始解;最后,利用正交匹配追踪算法（OMP）对初始解在小波域进行多字典稀疏求解。实验结果表明,相比基于单字典的超分辨重建算法,结果图像的主观视觉效果有很大提高,客观评价指标的峰值信噪比（PSNR）和结构相似度（SSIM）分别提高2.8 dB以上和0.01以上。字典可一次建立重复使用,降低了运算时间。     

基于语义和细节特征双促进的遥感影像建筑物提取网络

提取准确的边缘信息对分割建筑物至关重要。将多尺度细节与语义特征进行简单融合;或者设计复杂的损失函数引导网络关注边缘信息是当前较常见的方法;然而这些方法很少关注语义和细节特征的相互促进作用。针对该问题;提出一种基于语义和细节特征双促进的遥感影像建筑物提取网络。所提网络的结构类似U-Net框架;在编码端提取浅层高分辨率细节特征图;在解码端将深层的语义与细节特征双促进模块（SDFF）嵌入主干网络中;从而使网络同时具备较好的语义特征和细节特征的提取能力。之后对语义和细节特征进行通道融合;并结合不同分辨率影像的边缘损失监督;提高网络对建筑物细节的提取能力和泛化性。实验结果表明:与U-Net和双路细节关注网络（DSDCNet）等多种主流方法相比;所提网络在WHU数据集和马萨诸塞州建筑物（Massachusetts）数据集上均取得了最佳的语义分割结果。可见;所提网络能更好地保留建筑物边缘特征;有效提升遥感影像中的建筑物分割精度。     

基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建

为了通过软件方式增强遥感影像的空间分辨率,提出了一种基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建算法。基于稀疏表示理论,利用K-SVD字典学习算法求解低分辨率字典及其稀疏系数,将稀疏系数传递至高分辨率字典学习空间,形成高、低分辨率字典对,重建得到高分辨率遥感影像,并在字典学习和稀疏重建两个阶段设置了不同的稀疏度。实验分别采用TM5影像、资源三号影像以及USC_SIPI图像库中的遥感影像进行重建,结果表明,不论重建影像有无噪声,所提算法的峰值信噪比和结构相似指标均高于Bicubic法以及Zeyde的算法。K-SVD和双稀疏度参数的引入,不仅减少了字典学习时间,且具有高的空间分辨率提升能力。     

结合双胞胎结构与生成对抗网络的半监督遥感图像融合

针对当前遥感图像融合算法中存在的标签图像难获取和光谱畸变等问题,提出一种采用双胞胎结构的半监督遥感图像融合方法.采用了由生成器和鉴别器组成的生成对抗网络结构,其中生成器包含编码器和解码器.首先,对多光谱图像进行放大并转换到HSV空间;将多光谱图像的V通道和全色图像分别送入编码器中的双胞胎网络后,通过卷积层和多重跳层连接模型来提取图像特征;然后,将获得的特征送入解码器进行图像重构;再利用鉴别器对融合后的V通道图像进行鉴别,从而获得最优融合结果;最后,将融合后的V通道与多光谱图像的H,S通道拼接起来获得最终的融合图像.另外,设计了一种复合损失函数进行模型训练.在QuickBird卫星遥感图像数据集上的实验表明,该方法有效提高了融合图像中的空间细节信息和色彩信息,与对比算法相比,其融合图像在主观视觉质量和客观评价指标上都具有一定的优势.     

基于深度贝叶斯主动学习的高光谱图像分类

针对高光谱图像分类中标记样本获取费时费力,无标记数据难以得到有效利用以及主动学习与深度学习结合难等问题,结合贝叶斯深度学习与主动学习的最新进展,提出一种基于深度贝叶斯的主动学习高光谱图像分类算法。利用少量标记样本训练一个卷积神经网络模型,根据与贝叶斯方法结合的主动学习采样策略从无标记样本中选择模型分类最不确定性的样本,选取的样本经人工标记后加入到训练集重新训练模型,减小模型不确定性,提高模型分类精度。通过PaviaU高光谱图像分类的实验结果表明,在少量的标记样本下,提出的方法比传统的方法分类效果更好。     

基于未标签信息主动学习算法的高光谱影像分类

针对高光谱遥感影像分类中,传统的主动学习算法仅利用已标签数据训练样本,大量未标签数据被忽视的问题,提出一种结合未标签信息的主动学习算法。首先,通过K近邻一致性原则、前后预测一致性原则和主动学习算法信息量评估3重筛选得到预测标签可信度高并具备一定信息量的未标签样本;然后,将其预测标签当作真实标签加入到标签样本集中;最后,训练得到更优质的分类模型。实验结果表明,与被动学习算法和传统的主动学习算法相比,所提算法能够在同等标记的代价下获得更高的分类精度,同时具有更好的参数敏感性。     

基于超像素融合的文本分割

提高复杂背景及噪声干扰文本图像的文本分割性能是文本识别研究中的重要问题和难点,为更好地解决这一难题,提出一种基于超像素融合的文本分割方法。首先对文本图像初始二值化,并估计文本笔画宽度;然后进行图像超像素分割并融合;最后利用超像素融合的局部相似性对初始二值化图像进行文本校验。实验结果表明,与最大稳定极值区域（MSER）及笔画超像素聚合（SSG）方法相比,所提方法在KAIST数据集上的分割精度分别提高了8.00个百分点和7.00个百分点,在ICDAR2003数据集上的文字识别率分别提高了5.33个百分点和4.88个百分点。所提方法具有较强的去噪能力。