基于Transformer的高光谱图像超分辨率重建

高光谱图像超分辨率重建旨在融合高分辨率多光谱图像与低分辨率高光谱图像以得到高分辨率高光谱图像.如何实现二者中空域信息和谱域信息的有效融合是高光谱图像超分辨率重建的关键.受高光谱图像的端元表示模型启发,本文在神经网络中显式地对端元进行建模,并利用其作为纽带实现空域信息和谱域信息的融合.具体来说,本文提出了一个基于Transformer的高光谱图像超分辨率重建网络,利用Transformer结构从低分辨率高光谱图像提取端元信息,并将端元信息融合到高分辨率多光谱图像中,进而完成高分辨率高光谱图像的重建.实验结果表明, Transformer结构的全局感受野增强了网络的长程建模能力,提高了端元提取精度,进而提升了超分辨率重建性能.与已有方法相比,本文所提方法在室内/遥感高光谱数据集上均取得了更优的性能.     

基于改进PatchMatch的自相似性图像超分辨率算法

针对基于自示例几何不变性的超分辨率算法没有充分利用图像的纹理和边缘信息,且采用的PatchMatch图像块匹配算法容易陷入局部极小值的问题,提出了一种基于改进PatchMatch的自相似性超分辨率算法。第一,利用模拟退火算法提高PatchMatch跳出局部极小点的能力;第二,定义边缘相似度因子并将其引入到图像块相似性的评价函数中;第三,受“局部自相似性”统计先验的启发,采用服从高斯概率分布的位置坐标搜索空间进行相似图像块匹配。实验表明,与当前先进算法相比,所提算法在视觉效果和客观评价指标上都有一定的提高。     

高光谱图像超分辨率重建技术研究进展

不同于传统图像（如灰度图像、RGB图像等）专注于保存目标场景的空间信息,高光谱图像蕴含丰富的空—谱信息,不仅可以保存目标的空间信息,还可以保存具有高可辨性的光谱信息。因此高光谱图像广泛应用于多种计算机视觉和遥感图像任务中,如目标检测、场景分类和目标追踪等。然而,在高光谱图像获取以及重建过程中仍然存在许多问题与瓶颈。如传统高光谱成像仪器在成像过程中通常会引入噪声,且获得的图像往往具有较低的空间分辨率,极大地影响了高光谱图像的质量,对后续数据分析任务造成了极大的困难。近年来,高光谱图像超分辨率重建技术研究得到了极大的发展,现有超分辨率重建方法可以大致分为两类,一类为空间超分辨率重建方法,可以通过直接提升高光谱图像的空间分辨率来获得高质量高光谱图像;另一类为光谱超分辨率重建方法,可以通过提升高空间分辨率图像的光谱分辨率来生成高质量高光谱图像。本文从高光谱图像超分辨率重建领域的新设计、新方法和应用场景出发,通过综合国内外前沿文献来梳理该领域的主要发展,重点论述高光谱图像超分辨率重建领域的发展现状、前沿动态、热点问题及趋势。     

基于多尺度结构自相似性的单幅图像超分辨率算法

多尺度结构自相似性是指同一幅图像中存在相同尺度或不同尺度的相似结构,这种多尺度图像结构自相似性广泛存在于遥感图像中.本文提出了一种基于多尺度结构自相似性的单幅图像超分辨率（Super resolution,SR）算法,该算法结合了压缩感知框架与图像结构自相似性,利用非局部方法和基于图像金字塔的K-SVD字典学习方法,将蕴含在相同尺度和不同尺度相似图像块中的附加信息在压缩感知的框架下加入到重构图像中.本文算法的优势在于,它仅借助于单幅低分辨率图像自身所蕴含的信息,实现了空间分辨率的提升.实验表明,与CSSS算法和ASDSAR算法相比,本文算法更有效地提升了遥感图像的空间分辨率.     

利用图像局部自相似性的超分辨率重构算法

图像超分辨率重构是指由低分辨率图像来获得高分辨率图像的过程。为了能够有效地重构出高分辨率图像,提出一种基于图像局部自相似性的超分辨率快速重构算法。该算法首先利用四叉树分割的知识对低分辨率图像进行自适应分块;然后利用低分辨率图像和高分辨率图像在局部区域内的自相似性,由最小二乘方法在各个局部区域自适应的选择插值所需的参数,从而在各个局部区域内进行插值;最后运用小波域的投影算子对插值得到的高分辨率图像进行全局优化,得到最终的高分辨率图像。实验结果表明,由该算法重构的高分辨图像有很好的视觉效果和峰值信噪比。     

基于局部结构相似性的单幅图像超分辨率算法

单幅图像放大是一个病态问题,约束信息的不足令问题的解决难以有突破性的进展．基于图像局部结构的相似性和在不同分辨率尺度上的相似保持,提出了利用局部结构相似性来约束超分辨率问题的思路．根据相似判断规则发现图像中的相似区域,根据相似程度生成多幅相似图像,从而可以利用图像序列超分辨率的算法来求解．文中使用最大后验概率估计方法,在最大后验概率意义下得到最优解．实验表明,该算法用于存在着大量相似结构的图像超分辨率问题中有着很好的效果,譬如文字图像,集成电路图像等。     

基于字典学习与结构自相似性的码本映射超分辨率算法

图像的空间分辨率受成像环境、硬件制造水平和成本等多方面因素的影响,存在一定的局限性.为了提高图像的空间分辨率,提出一种基于字典学习与结构自相似性的码本映射超分辨率算法.首先利用训练集构建与图像高低频分量对应的高低频码本,将高低频码本作为训练样本获取高低频字典;然后在初始重建图像中搜索目标图像块的相似图像块,利用相似图像块构建非局部约束项;最后通过求解含有非局部约束项的l0范数最小化问题获取目标图像块的稀疏表示系数,并利用高低频字典重建高分辨率图像块.该算法利用高低频字典表示目标图像块,而不是直接采用高低频码本,提高了算法的运算效率;利用相似图像块构建正则化约束项,提高了重建图像的质量.实验结果表明,与LLE,Sc SR和NARM等算法相比,文中算法取得的超分辨率重建效果更好.     

基于分流的高光谱遥感图像超分辨重建

高光谱图像（hyperspectral image,HSI）每个像素包含大量光谱带,而HSI的空间分辨率较低。高光谱图像超分辨率技术可以有效提高空间分辨率。为了解决高光谱遥感图像的空间信息分布不均匀,超分辨率重建时占据相同计算量导致重建工作不够细化的问题,提出了一种多层级分流和细节增强的高光谱遥感图像超分辨率重建框架。即通过子图分流网络对高光谱遥感图像进行预先分流,改进带细节增强的多尺度Retinex算法对图像的高低频信息进行分离,再使用不同复杂程度的分支网络分别进行重建,重建工作更加细化具体,提高重建效果和性能。实验证明该方法可以在视觉质量、指标测量和分类应用方面优于传统的基于CNN的方法,在SRE和MPSNR指标方面分别提高了4.18%和9.35%。     

基于最大化自相似性先验的盲单帧图像超分辨率算法

图像的自相似性质和图像质量之间存在着密切的关系,清晰的自然图像中几乎所有的图像片都在其自身或较低尺度内存在着重复。然而,在存在噪声或模糊等降质处理的图像中,这一性质明显减弱。针对这一现象,提出一种最大化自相似性先验的盲单帧图像超分辨率算法。该算法通过迭代计算求解超分辨率图像和降质过程的模糊核,使得到的超分辨图像中的任一图像片在输入的低分辨率图像中都以最大的概率存在。这一算法不仅能够准确地计算降质过程的模糊核,得到高质量的高分辨率图像,而且其先验知识随着输入图像的不同而自动进行调整,使得算法具有更强的鲁棒性。大量实验表明,该算法的PSNR,SSIM参数结果较主流算法都有着明显的优势。     

高光谱影像光谱响应曲线分维计算

高光谱影像光谱响应曲线包含丰富的光谱特征,分形维值可以表征复杂光谱响应曲线特征,提出了步长测量法光谱响应曲线分形维值计算算法及高光谱分形特征影像的生成流程,对OMIS影像上不同类型地物样本的光谱曲线分维特征计算结果表明,分维是一种有效表达像元光谱信息的特征值。讨论了光谱响应曲线分维值对于高光谱数据处理的意义。     

基于3维上下文预测的高光谱图像无损压缩

如今高光谱数据的有效压缩已成为遥感技术发展中需要迫切解决的问题,为了对高光谱数据进行有效压缩,提出了一种基于3维上下文预测的高光谱图像无损压缩算法。该算法首先根据相邻波段间的相关性大小进行波段分组,同时对各个分组重新进行波段排序;然后采用自适应波段选择算法对高光谱图像进行降维,再利用k-means算法对降维后的波段谱向矢量进行聚类;最后在参考波段和当前波段中通过定义3维上下文预测结构,在聚类结果的基础上,对各个分类分别训练其最优的预测系数。实验结果表明,该方法可显著降低压缩后图像编码的平均比特率。     

一种多尺度高光谱影像小波分形维特征计算方法

提出了一种基于高光谱曲线小波分形测度的高光谱影像多尺度分形维特征分析方法。对高光谱影像的光谱响应曲线的小波域高频和低频系数统计特性、分形特征进行了分析,提出以小波低频分形维表征原始光谱曲线分形特征,以小波系数高频分形维表征高光谱细节特征方法,设计了基于高光谱曲线小波分形维的多尺度特征计算算法,实验结果表明,小波分形维值可有效表征丰富的光谱特征,可用于高光谱影像特征提取和分类。     

L1范数的总变分正则化超分辨率图像重建

超分辨率图像重建技术能够综合利用多帧离散图像、多组视频序列、或单帧图像与训练样本图像之间的互补信息,重建质量更好、空间分辨率更高的图像数据,弥补原有图像数据空间分辨率的不足,提高图像空间解像力和清晰度。介绍了基于正则化方法的超分辨率图像重建的研究现状和以正则化为基础的几种重建方法在近几年的研究和发展趋势。在此基础上,采用L1范数对重建图像保真度进行约束,利用总变分正则化克服重建问题的病态性,有效地保持了图像的边缘。实现了对包含文字信息的图像的正则化超分辨率重建,实验验证了方法的有效性。     

基于K-AP算法的高光谱图像波段选择方法

在高光谱图像分析领域中，波段选择是一种能有效减少高光谱图像维度的方法。K类仿射传播算法是一种高效的聚类算法，已成功地应用于人脸识别和数据分析等领域，但在高光谱图像分析领域还少有成功的应用。提出将K-AP算法应用于高光谱图像波段选择，对高光谱图像进行有效的数据压缩。针对K-AP算法的特点，基于Kullback-Leibler散度定义了新的相似度矩阵，对波段进行度量，再使用K-AP算法进行聚类，选择最有代表性的波段。实验结果表明，与常用的波段选择方法相比，所提出的方法有更好的表现。     

高光谱遥感图像的单形体分析方法

将n个波段的高光谱图像像元与n维空间里的散点联系起来，结合凸体几何中单形体概念研究高光谱遥感图像纯净像元提取方法，实现图像的地物精确分类识别及像元波谱分解。寻找高光谱遥感图像n维空间里的单形体并认知分析单形体是该研究方法的重要环节。通过MNF(minimum noise fraction)变换和PPI(pixel purity index)计算技术寻找到单形体，基于单形体进行像元分解分析单形体，并结合应用实例和SAM(spectral angle mapper)分类技术完成高光谱图像地物精确分类制图，验证了该研究方法的可操作性。该研究方法的优点在于不需要用户提供地物波谱信息，用于制图和波谱分解的终端单元可由图像本身得到，并由用户控制分类制图和波谱分解的详细程度。     

基于核方法的光谱角制图模型及其在高光谱图像分割中的应用

在分析传统光谱角制图方法的几何属性和相似性度量特点的基础上，提出一种新的光谱相似性度量方法。该方法首先利用非线性变换将原始光谱向量变换到一个新的特征空间。其次，在特征空间中，利用协方差矩阵的非零特征向量构造了一组正交基，并将变换后的光谱向量投影到特征空间中的正交基上。高光谱图像分割实验结果表明该方法在光谱相似性度量上优于传统的光谱角制图方法。     

基于投影寻踪的高光谱图像特征融合算法

高光谱遥感技术的迅速发展对高光谱图像的数据降维和特征提取等处理方法提出了新的要求;通常的降维处理方法包括主成分分析和投影寻踪两种方法,根据主成分分析方法能反映数据全局特征和投影寻踪法,可以反映出数据局部特征的特点,提出了基于主成分分析与投影寻踪的高光谱图像特征融合算法,将两种方法得到的特征图像进行小波分解并按照高低频互补的融合规则完成了高光谱图像的特征融合,实验证明此方法能够保留场景中感兴趣目标物和背景信息,实现数据的有效压缩。