基于反投影注意力网络的遥感影像超分辨率重建

近年来, 在诸如环境监测等一系列工作中, 遥感影像得到了广泛应用. 然而, 目前卫星传感器观测到的影像往往分辨率较低, 很难满足深入研究的需要. 超分辨率(SR)目的是提高图像分辨率, 同时提供更精细的空间细节, 完美地弥补了卫星图像的弱点. 因此, 本文提出了一种反投影注意力网络(back-projection attention network, BPAN)用于遥感图像的超分辨率重建, 该网络由反投影网络和初始残差注意块两部分组成. 在反投影网络中, 通过迭代误差反馈机制计算上下投影误差指导图像重建; 在初始残差注意块中, 引入初始模块融合局部多级特征为重建详细的纹理提供更丰富的信息, 以注意模块自适应地学习不同空间区域的重要性, 促进高频信息的恢复. 为了评价该方法的有效性, 在AID数据集上进行了大量的实验, 结果表明, 本文的网络模型提升了传统深度网络的重建性能, 且在视觉效果和客观指标方面有明显提升.     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

相似性约束的视频超分辨率重建

图像的相似性对超分辨率重建具有重要作用,但是单幅图像不能提供足够的相似信息.提出一种基于相似性约束的视频超分辨率重建算法,针对需要重建的视频帧,通过光流场的初始运动估计和精细的块匹配,搜索到视频序列中具有相似的信息;然后利用相似信息不断修正迭代反投影中的重建误差.实验结果表明本文算法能够增加图像细节,并且可以消除边缘出现的人造效应,获得清晰的图像边缘.     

超分辨率重建技术及其在太赫兹图像中的应用

超分辨率重建就是通过相应的算法,重建图像截止频率之外的细节信息,重构出一幅清晰的高分辨率图像。首先介绍了超分辨率重建算法——非均匀内差法,迭代反投影法（IBP）,凸集投影法（POCS）,说明了各算法的概念和应用,并着重介绍了基于最大后验概率（MAP）的图像超分辨率算法,给出了MAP超分辨率复原算法处理实际太赫兹图像的结果。实验表明,超分辨率图像重建具有重建效果好、抗噪声性能强的优点,有效地重建了高分辨率太赫兹图像,在太赫兹成像领域具有良好发展和应用前景。     

结合结构自相似性和卷积网络的单幅图像超分辨率

针对单幅图像超分辨率（SR）复原病态逆问题,在重建过程边缘细节丢失导致的模糊,提出一种结合结构自相似和卷积网络的单幅图像超分辨率算法。首先,通过将尺度分解获得待重构图片样本的自身结构相似性,结合外部数据库样本结合作为训练样本,可以解决样本过于分散的问题;其次,将样本输入卷积神经网络（CNN）进行训练学习,得到单幅图像超分辨率的先验知识;然后,利用非局部约束项自适应选择最优字典重建图像;最后,利用迭代反投影算法对图像超分辨率效果进一步提升。实验结果表明,与双三次插值（Bicubic）方法、K-SVD算法和基于卷积神经网络的图像超分辨率（SRCNN）方法等优秀算法相比,所提算法可以得到边缘更为清晰的超分辨率重建效果。     

超分辨率图像重建算法综述

在人类视觉感知系统中,高分辨率(HR)图像是图像清晰表达其空间结构、细节特征、边缘纹理等信息的重要媒介,在医学、刑侦、卫星等领域有着极为广泛的实用价值.超分辨率图像重建(SRIR)旨在从给定的低分辨率(LR)图像中,重建含有清晰细节特征的高分辨率图像,是计算机视觉和图像处理领域中的一项重点研究任务.首先,对超分辨率图像...     

基于视觉传达的多帧图像高分辨率重建仿真

针对传统的高分辨图像重建方法,重建之后的图像细节不够丰富清晰,边缘模糊的问题,提出了 一种基于视觉传达的多帧图像高分辨率重建方法.采用深度学习方法提取高分辨率图像的深层次特征,在稀疏字典超分辨率框架下联合训练特征字典,将提取出来的特征视为ScSR模型中的特征样本,代入PCANet的特征字典中,以此为基础,基于稀疏正则模型对高分辨率图像进行重建,在反向投影全局优化模型基础上引入非局部近似性先验约束对重建图像进行优化,完成多帧图像高分辨率重建优化.实验结果表明,所提方法与其它传统方法相比,图像重建效果更好,图像边缘更加清晰.     

改进的非局部均值视频超分辨率重建算法

针对基于非局部均值(NLM)的视频超分辨率重建方法存在结果过于平滑、收敛速度慢及计算量大等问题,提出一种改进的NLM视频超分辨率重建算法。该方法采用模糊边缘补足算法将经过预处理的视频图像分成平坦区和纹理区;对于平坦区,采用直方图均衡化的方式进行图像增强处理,以减少算法计算量;对于纹理区,采用改进的NLM重建算法进行处理,通过设计多方向自适应搜索窗并引入邻域相干系数修正相似性权值,以增强重建图像的纹理细节,加快算法的收敛速度;将重建的纹理区与增强的平坦区进行叠加归一化处理,完成整个视频图像的超分辨率重建。实验结果表明,该算法能够在提高重建图像纹理细节及峰值信噪比的同时,降低算法的整体复杂度,缩短重建时间。     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。     

利用子空间稀疏特征的超分辨率图像重建算法

在传统超分辨率图像重建算法中,图像的梯度、纹理结构等特征通常是由人工设计的规则提取的,对于结构复杂、内容丰富的图像,这样提取到的特征不能精确地表达图像的全部信息,对图像的边缘和局部细节信息会造成缺失。而且在图像训练过程中,还会出现低分辨率[(LR)]和高分辨率[(HR)]图像特征图数量不一致、特征匹配度较低的问题。因此,如何提取表达能力更强的特征作为源图像的精确表示和训练过程中提高图像特征匹配度对图像的超分辨率重建至关重要。针对上述问题,提出了一种基于[PCANet]模型的超分辨率图像重建算法。首先通过具有高斯内核函数的[PCANet]模型提取图像的深层次特征,并且加入稀疏优化算法,对输出的特征映射矩阵迭代优化,得到其最佳投影矩阵,有效提升了特征映射的鲁棒性。然后利用学习获得的LR滤波器将提取到的图像的深度学习特征分解为多个稀疏特征,使用[ADMM]算法和SA-ADMM算法迭代更新得到其最优解以后,结合[LR]图像的稀疏特征和映射函数估计出HR图像的稀疏特征表示,最后和相应的[HR]滤波器进行卷积求和得到最终的重建图像。实验结果表明,该方法使重建图像的细节信息更好地保留,图像的边缘纹理更加清晰,客观评价指标平均[PSNR]值提高了0.21?dB以上,有效提升了图像重建的质量。     

基于深度可分离卷积的轻量级图像超分辨率重建

图像超分辨率重建旨在依据低分辨率图像重建出接近真实的高分辨率图像,现有基于卷积神经网络的图像超分辨率重建方法存在网络参数量大、重建速度慢等问题,从而限制其在内存资源小的终端设备上的应用。提出一种基于深度可分离卷积的轻量级图像超分辨率重建网络,利用深度可分离卷积提取图像的特征信息,减少网络的参数量,采用对比度感知通道注意力机制获取图像的对比度信息,并将其作为全局信息,同时对提取特征的不同通道权重进行重新分配,增强重建图像的细节纹理信息。在此基础上,采用亚像素卷积对图像特征进行上采样操作,提高整体重建图像质量。实验结果表明,当放大倍数为2、3和4时,该网络的参数量分别为140 000、147 000和152 000,重建时间为0.020 s、0.014 s和0.011 s,相比VDSR、RFDN、IDN等网络,在保证重建效果的前提下能够有效减少网络参数量。     

基于自适应重要采样UKF的SAR图像超分辨率方法

针对图像中的软边缘不能完全重建导致生成图像清晰度较低的问题,提出一种基于自适应重要采样无迹卡尔曼滤波(Unscented Kalman Filter,UKF)的SAR图像超分辨率方法.该方法利用协方差匹配技术实现自适应重要采样的UKF框架,通过将测量噪声协方差和处理噪声协方差自适应地调整到SAR图像超分辨率的强度估计框架中,恢复图像中的纹理细节.实验结果表明,当考虑观测和过程噪声协方差时,该方法的超分辨率在去噪、边缘锐化和特征保存方面的性能表现极佳.     

基于迭代反投影的彩色图像超分辨率重建磁

给出了一种结合相位相关配准算法和迭代反向投影的彩色图像超分辨率重建算法。相位相关算法是一种利用频域信息估计图像之间偏移量的快速算法。在HSV颜色空间下利用低分辨率图像间的亚像素偏移量进行迭代反投影,保留图像的 H通道只对S通道和V通道进行迭代反投影。实验证明重建后的彩色图像与原始图像色调保持一致,并且很好地重建出图像的细节和纹理,避免了经过迭代之后造成的图像过度的平滑和颜色失真。     

基于投影降质图像的对比度调整算法研究

获取图像的过程中,经常会遇到由于事物的投影而影响图像的拍摄效果,导致图像不清晰,图像边缘模糊,无法观察部分事物的细节。通过对比度调整,可以增强图像效果。笔者将需要处理的图像经过USM锐化,增强图像的边缘细节信息,利用限制对比度自适应直方图均衡算法完成提高降质图像的清晰度,并通过实验比较了几种算法的效果。     

基于图像块分类的图像超分辨率重建

针对当前图像超分辨率重建算法中存在的字典单一而导致重建图像质量不佳的问题，提出一种将图像块分类与图像卡通纹理分解相结合的单幅图像超分辨率重建算法。首先，将图像分块，并将图像块分为边缘类、纹理类和平滑类三类，其中纹理类用形态成分分析（MCA）算法分解为卡通部分和纹理部分；然后，对边缘类、卡通部分和纹理部分分别训练高低分辨率字典；最后，求解稀疏系数并与高分辨率字典重建图像块。仿真结果显示，与基于稀疏表示的超分辨率重建（SCSR）算法和单幅图像超分辨率重建（SISR）算法相比，所提算法的峰值信噪比（PNSR）值分别提高了0.26 dB和0.14 dB，表明该算法的重建效果更好，重建图像纹理细节更丰富。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

自适应多尺度分块压缩感知算法

目的 基于小波域的多尺度分块压缩感知重构算法忽略了高频信号在重构过程中的作用,丢失了大量的边缘与细节信息。针对上述问题,提出一种自适应多尺度分块压缩感知算法,不仅合理利用低频信息还充分利用图像的高频信息,在图像细节复杂度提高的情况下保证图像重构质量的提高。方法 首先进行3层小波变换,得到一个低频信号和9个高频信号,分别进行小波逆变换后分成大小相同互不重叠的块,对低频部分采用2维邻块边缘自适应加权滤波的方法进行处理,对高频部分采用纹理自适应分块采样,最后利用平滑投影Landweber（SPL）算法对其进行重构。结果 与已有的分块压缩感知算法、基于边缘和方向的分块压缩感知算法和基于纹理和方向的分块压缩感知算法相比,本文算法在不同的采样率下,性能均有所提升,代表细节信息的高频信号得到充分重建,改进的算法所得到的重建图像具有较高的分辨率,尤其对细节较为丰富的图像进行重建后具有较高的峰值信噪比;2维邻块边缘自适应加权滤波有效的去除了重建图像的块效应,且重建时间平均减少了0.3 s。结论 将三层小波变换后的高频分量作为纹理部分,利用自适应多尺度分块重建出图像的轮廓与边缘;将低频分量直接视为平坦部分,邻块边缘自适应加权滤波重建出图像细节,不仅充分利用了图像的高低频信息,还减少了平坦块检测过程,使得重建时间有效缩短。经实验验证,本文算法重建图像质量较好,尤其是对复杂图像明显消除了块效应,边缘和纹理细节较清晰。因此主要适用于纹理细节较复杂的人脸图像、建筑图像和遥感图像等。     

基于自适应双边全变差的图像超分辨率重建

超分辨率图像重建技术就是通过融合多幅变形、模糊、有噪、频谱混叠的低分辨率降质图像(或视频序列)来重建一幅高质量高分辨率图像.MAP估计算法是一种广泛使用的统计重建方法.针对标准的MAP算法引入了自适应概念,引入了图像自适应加权系数矩阵;据此给出一种基于自适应双边全变差的图像超分辨率重建算法,该方法不仅能在图像超分辨率重建过程中抑制噪声,而且能锐化图像中的边缘信息;建立了自适应重建模型并用梯度下降法推导出迭代计算公式.实验表明,该算法在收敛性和精确性上都达到了较好的效果.     

RAISR算法在遥感图像超分辨率重建中的可行性

针对遥感图像空间分辨率不足的问题,探讨了RAISR(rapid and accurate image super resolution)算法在单帧遥感图像超分辨率重建中的可行性。RAISR算法以处理自然图像为主,分为学习阶段和图像重建阶段。学习阶段是利用训练库图像生成滤波器,是算法的核心部分;图像重建阶段是利用滤波器重建图像。首先,在学习阶段,根据图像块的位置、角度、强度、相干性等特征对滤波器进行分类,并采用哈希列表存储;然后,针对遥感图像特点,优化了RAISR算法的滤波器尺寸,并采用USM(unsharp mask)方法增强边缘纹理特征,以达到最佳的重建效果;最后,用多组遥感图像进行了重建实验。结果表明:RAISR算法的重建质量与训练集图像的分辨率、数量、类别、所含地物类型有关;本文优化的RAISR算法重建后的遥感图像细节、边缘等信息都得到了改善。     

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型。利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,以恢复更多细节信息。在此基础上利用重建模块重建出不同尺度的高分辨率图像。在Set5数据集上的实验结果表明,与基于双三次插值的重建模型相比,该模型能够有效提升图像的视觉效果,且峰值信噪比与结构相似度分别提高了3.92 dB和0.056。