基于频域、时域相结合的自适应图像超分辨率重建

基于最大后验概率(MAP)的超分辨率(SR)重建的研究重点是规则化项的选择,且其大都在频域中实现,为此提出一种基于频域、时域相结合的图像SR重建方法.首先,根据不同图像的特点,定义了频域规则化项(FR)和时域规则化项(TR);然后,给出了图像重建模型,引入频域、时域自适应权值来加强算法的自适应性;最后,运用共轭梯度法推导出重建迭代计算公式.实验表明,所提出的算法具有良好的收敛性和精确性.     

基于深度学习的心脏磁共振影像超分辨率前沿进展

心脏为人体血液流动提供动力,是人体血液循环系统的重要组成部分。受人口老龄化影响,心脏病诊疗已成为重大公共健康话题。非侵入式活体心脏成像对心脏疾病的检测、诊断与治疗意义重大。然而,受活体心跳影响,成像扫描时间与心脏影像分辨率成为难以调和的矛盾。为缓和这一矛盾,基于快速扫描获得的低分辨率影像重建出心脏高分辨率影像的超分辨率（super-resolution,SR）重建技术成为研究热点。深度学习技术在医学影像处理领域中展现出强大生命力,基于深度学习的SR技术因其强大的学习能力与数据驱动性,在心脏影像SR重建领域中表现出明显优于传统方法的性能。目前领域内前沿成果较多,但缺少对领域现状进行总结、对未来发展进行展望的综述性文献。因此,本文对领域内现状进行梳理总结,挑选出代表性方法,分析方法特性,总结文献中心脏影像数据来源与规模,给出常用的评价指标,以及模型得出的性能评价结论。分析发现,基于深度学习的心脏SR重建技术取得了较大进展,但在运动伪影抑制、模型简化程度与时间性能方面仍有进步空间。此外,现有模型基本完全依靠网络强大的表达能力,鲜有临床先验知识的引入。最后,模型间性能对比相对较少,且领域内缺少代表性的可用于评价不同心脏SR重建模型性能的数据集。基于深度学习的心脏影像SR技术仍有较大发展空间。     

基于非负邻域嵌入和非局部正则化的单帧图像超分辨率重建算法

单帧图像超分辨率重建是指利用一幅低分辨率图像,通过相应的算法来获取一幅高分辨率图像的技术。提出了一种基于 非负邻域嵌入和 非局部正则化 的单帧图像超分辨率重建算法,以弥补传统邻域嵌入算法的不足。在训练阶段,首先对低分辨率图像预放大2倍,以保证在放大倍数较大时,高、低分辨率图像块之间的邻域关系也能得到较好的保持;在重建阶段,使用非负邻域嵌入来有效地解决近邻数的选取问题;最后利用图像块的非局部相似性构造非局部正则项对重建结果进行修正。实验结果表明,相对于传统算法,本方法的重建结果纹理丰富、边缘清晰。     

Single image super-resolution: a comprehensive review and recent insight

Super-resolution (SR) is a long-standing problem in image processing and computer vision and has attracted great attention from researchers over the decades. The main concept of SR is to reconstruct images from low-resolution (LR) to high-resolution (HR).It is an ongoing process in image technology, through up-sampling, de-blurring, and de-noising. Convolution neural network (CNN) has been widely used to enhance the resolution of images in recent years. Several alternative methods use deep learning to improve the progress of image super-resolution based on CNN. Here, we review the recent findings of single image super-resolution using deep learning with an emphasis on distillation knowledge used to enhance image super-resolution., it is also to highlight the potential applications of image super-resolution in security monitoring, medical diagnosis, microscopy image processing, satellite remote sensing, communication transmission, the digital multimedia industry and video enhancement. Finally, we present the challenges and assess future trends in super-resolution based on deep learning.     

基于小波域的深度残差网络图像超分辨率算法

单幅图像超分辨率（SISR）是指从一张低分辨率图像重建高分辨率图像.传统的神经网络方法通常在图像的空间域进行超分辨率重构，但这些方法常在重构过程中忽略重要的细节.鉴于小波变换能够将图像内容的"粗略"和"细节"特征进行分离，提出一种基于小波域的深度残差网络（DRWSR）.不同于其他传统的卷积神经网络直接推导高分辨率图像（HR），该方法采用多阶段学习策略，首先推理出高分辨率图像对应的小波系数，然后重建超分辨率图像（SR）.为了获取更多的信息，该方法采用一种残差嵌套残差的灵活可扩展的深度神经网络.此外，提出的神经网络模型采用结合图像空域与小波域的损失函数进行优化求解.所提出的方法在Set5、Set14、BSD100、Urban100等数据集上进行实验，实验结果表明，该方法的视觉效果和峰值信噪比（PSNR）均优于相关的图像超分辨率方法.     

A local structure adaptive super-resolution reconstruction method based on BTV regularization

Super-resolution (SR) image reconstruction has been one of the hottest research fields in recent years. The main idea of SR is to utilize complementary information from a set of low resolution (LR) images of the same scene to reconstruct a high-resolution image with more details. Under the framework of the regularization based SR, this paper presents a local structure adaptive BTV regularization based super-resolution reconstruction method to overcome the shortcoming of the Bilateral Total Variation (BTV) super resolution reconstruction model. The proposed method adaptively chooses prior model and regularization parameter according to the local structures. Experimental results show that the proposed method can get better reconstruction results and significantly reduces the manual workload of the regularization parameter selection.     

噪声和U型判别网络的真实世界图像超分辨率

以往基于卷积神经网络的图像超分辨率算法往往是在理想的合成数据进行训练,当应用在真实世界（RealWorld）场景时性能就会严重下降。为更好地提取出Real-World图像中的原有特征信息,为其降质过程建模,提出一种噪声和U型判别网络的Real-World图像超分辨率算法。利用直接收集到的Real-World图像原有的复杂噪声信息,结合合成的降质图像,达到降质后图像与源图像保持特征分布相似的目的,以恢复更多的细节信息和更好的观感。此外,提出使用频谱归一正则化的U型判别网络,以提高判别网络的能力和稳定训练,抑制图像重建中伪影的出现。在三个基准数据集上的实验结果表明,与最新的方法相比,该模型在三个评价指标（峰值信噪比、结构相似度和感知图像块相似度）上均取得了最好的结果,且有着更好的观感效果。     

图像超分辨重建算法综述

图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,近些年来研究人员主要采用基于学习的方法,从大量数据中学习图像先验信息,以实现对解空间的约束。本文介绍了近20年来主流的图像超分辨重建算法,主要分为基于传统特征的方法和基于深度学习的方法。对于传统的超分辨重建算法,阐述了基于邻域嵌入的方法、基于稀疏表示的方法以及基于局部线性回归的方法。对于基于深度学习的超分辨重建算法,详细总结了网络模型结构设计、上采样方式、损失函数形式以及复杂条件下的算法设计4个方面。此外,本文简要分析了超分辨重建技术在视频超分辨、遥感图像超分辨以及在视觉高层任务方面的应用。最后,本文展望了图像超分辨重建技术的未来发展方向。     

Progressive spatial-angular feature enhancement network for light field image super-resolution

The intensity and direction of the light field (LF) can be recorded simultaneously by using LF cameras. However, since LF cameras sacrifice spatial resolution for higher angular resolution, the images acquired by LF cameras tend to have low spatial resolution. Therefore, LF image super-resolution (SR) has become an integral part of LF studies. Many existing LF image SR methods fail to fully utilize angular and spatial information due to only using partial sub-aperture images (SAIs). In this paper, we propose a progressive spatial-angular feature enhancement network (PSAFENet) to deal with the problem of missing information in LF image SR. Specifically, we first extract the spatial features of SAIs, the spatial and angular features contained in the macro-pixel images (MacPIs) by three different feature extraction modules. Then, these features are fed into a spatial-angular feature enhancement (SAFE) module to perform enhancement of spatial-angular information on the SAIs. To improve the reconstruction accuracy, we also use the information multi-distillation block (IMDB) to remove the redundant information before upsampling. Our network can well merge the angular and spatial information into each SAI, which facilitates the reconstruction of the LF images. Experimental results on five public datasets show that the proposed PSAFENet method outperforms existing methods in both qualitative and quantitative comparisons.     

图像超分辨率技术的回顾与展望

图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的超分辨率技术,根据其输入输出进行分类介绍;其次,将基于深度学习的单图像超分辨率技术分为有监督学习和无监督学习两类进行论述,并对部分具有代表性的最新超分辨率重建技术进行总结分类介绍;然后,讨论了超分辨率技术的相关问题,即性能评价指标、标准数据集,进而对几种典型算法进行实验对比;最后,对图像超分辨率算法未来的研究趋势进行展望。     

An efficient and robust multi-frame image super-resolution reconstruction using orthogonal Fourier-Mellin moments

Multi-frame image super-resolution (SR) has recently become an active area of research. The orthogonal rotation invariant moments (ORIMs) have several useful characteristics which make them very suitable for multi-frame image super-resolution application. Among the various ORIMs, Zernike moments (ZMs) and pseudo-Zernike moments (PZMs)-based SR approaches, i.e., NLM-ZMs and NLM-PZMs, have already shown improved SR performances for multi-frame image super-resolution. However, it is a well-known fact that among many ORIMs, orthogonal Fourier-Mellin moments (OFMMs) demonstrate better noise robustness and image representation capabilities for small images as compared to ZMs and PZMs. Therefore, in this paper, we propose a multi-frame image super-resolution approach using OFMMs. The proposed approach is based on the NLM framework because of its inherent capability of estimating motion implicitly. We have referred to this proposed approach as NLM-OFMMs-I. Also, a novel idea of using OFMMs-based interpolation in place of traditional Lanczos interpolation for obtaining an initial estimate of HR sequence has been presented in this paper. This variant of the proposed approach is referred to as NLM-OFMMs-II. Detailed experimental analysis demonstrates the effectiveness of the proposed OFMMs-based SR approaches to generate high-quality HR images in the presence of factors like image noise, global motion, local motion, and rotation in between the image frames.     

数据外补偿的深度网络超分辨率重建

单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块,存在若干高分辨率图像块与之对应.基于学习的方法受此影响,学习到的逆映射规则只能预测这些高分辨率图像块的均值,从而产生视觉上模糊的超分辨率重建结果.为了克服歧义性造成的高频细节损失,本文提出了一种基于深度网络,利用在线检索的数据进行高频信息补偿的图像超分辨率重建算法.该方法构建一个深度网络,通过三个分支预测高分辨率重建结果：一条旁路直接将输入的低分辨率图像输入到网络的最后一层;一条内部高频信息重建路径基于低分辨率图像回归预测高分辨率图像,重建高分辨率图像的主要结构;另一条外部高频信息补偿路径根据内部重建的结果,从在线检索到的相似图像中提取高频细节,对内部重建的重建结果进行细节补偿.在第二条路径中,为了有效提取高频信号并使之适应于内部重建的重建结构,本文在多层特征的测量和约束下,进行高频细节迁移.相比于之前基于云数据库的传统图像超分辨率方法,本文提出的方法是端对端可训练的（end-to-end trainable）,因此通过在大数据上进行学习,方法能同时建模内部重建和外部补偿,并能自动权衡两者利弊而给出最优的重建结果.图像超分辨率重建的实验结果表明,相比于最新的超分辨率算法,本文方法在主客观评价中均取得了更加优越的性能.     

基于稀疏表示与线性回归的图像快速超分辨率重建

单幅图像超分辨率的目的是从一幅低分辨率的图像来重构出高分辨率的图像。基于稀疏表示和邻域嵌入的超分辨率图像重建方法使得重建图像质量有了极大的改善。但这些方法还很难应用到实际中,因为其重建图像的速度太慢或者需要调节复杂的参数。目前大多数的方法在图像重建的速度和质量两个方面很难有一个好的权衡。鉴于以上问题提出了一种基于线性回归的快速图像超分辨率重建算法,将稀疏表示和回归的方法有效地结合在一起。通过稀疏表示训练的字典,用一种新的方式将整个数据集划分为多个子空间,然后在每一类子空间中独立地学习高低分辨率图像之间的映射关系,最后通过选择相应的投影矩阵来重建出高分辨图像。实验结果表明,相比于其他方法,本文提出的算法无论在图像重建速度还是重建质量方面都取得了更好的超分辨率重建效果。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

基于反投影注意力网络的遥感影像超分辨率重建

近年来, 在诸如环境监测等一系列工作中, 遥感影像得到了广泛应用. 然而, 目前卫星传感器观测到的影像往往分辨率较低, 很难满足深入研究的需要. 超分辨率(SR)目的是提高图像分辨率, 同时提供更精细的空间细节, 完美地弥补了卫星图像的弱点. 因此, 本文提出了一种反投影注意力网络(back-projection attention network, BPAN)用于遥感图像的超分辨率重建, 该网络由反投影网络和初始残差注意块两部分组成. 在反投影网络中, 通过迭代误差反馈机制计算上下投影误差指导图像重建; 在初始残差注意块中, 引入初始模块融合局部多级特征为重建详细的纹理提供更丰富的信息, 以注意模块自适应地学习不同空间区域的重要性, 促进高频信息的恢复. 为了评价该方法的有效性, 在AID数据集上进行了大量的实验, 结果表明, 本文的网络模型提升了传统深度网络的重建性能, 且在视觉效果和客观指标方面有明显提升.     

基于深度学习的单幅图像超分辨率重建算法综述

单幅图像超分辨率(Single image super-resolution, SISR)重建是计算机视觉领域上的一个重要问题, 在安防视频监控、飞机航拍以及卫星遥感等方面具有重要的研究意义和应用价值. 近年来, 深度学习在图像分类、检测、识别等诸多领域中取得了突破性进展, 也推动着图像超分辨率重建技术的发展. 本文首先介绍单幅图像超分辨率重建的常用公共图像数据集; 然后, 重点阐述基于深度学习的单幅图像超分辨率重建方向的创新与进展; 最后, 讨论了单幅图像超分辨率重建方向上存在的困难和挑战, 并对未来的发展趋势进行了思考与展望.     

SR-AFU: super-resolution network using adaptive frequency component upsampling and multi-resolution features

Image super-resolution (SR) is one of the classic computer vision tasks. This paper proposes a super-resolution network based on adaptive frequency component upsampling, named SR-AFU. The network is composed of multiple cascaded dilated convolution residual blocks (CDCRB) to extract multi-resolution features representing image semantics, and multiple multi-size convolutional upsampling blocks (MCUB) to adaptively upsample different frequency components using CDCRB features. The paper also defines a new loss function based on the discrete wavelet transform, making the reconstructed SR images closer to human perception. Experiments on the benchmark datasets show that SR-AFU has higher peak signal to noise ratio (PSNR), significantly faster training speed and more realistic visual effects compared with the existing methods.     

图像超分辨率重建算法综述

图像超分辨率重建旨在从低分辨率图像恢复出高分辨率清晰图像。阐述了典型图像超分辨率重建方法的思想,从上采样位置和上采样方法、学习策略、损失函数等维度,对典型和最新的基于深度学习的图像超分辨率重建算法进行了评述,分析了最新的发展现状,并对未来发展趋势进行了展望。     

图像超分辨率深度学习研究及应用进展

图像超分辨率重建是用低分辨率图像重建出对应的高分辨率图像的过程。目前,图像超分辨率技术已经成功应用于计算机视觉和图像处理领域。近年来,由于深度学习具有能够从大量数据中自动学习特征的能力,因此被广泛应用于图像超分辨率领域中。介绍了图像超分辨重建的背景,详细总结了用于图像超分辨率的深度学习模型,阐述了图像超分辨率技术在卫星遥感图像、医学影像、视频监控、工业检测任务方面的应用。总结了图像超分辨算法的当前研究现状以及未来发展方向。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像。深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而 基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向。围绕现有的超分辨深度网络模型在重建方式、结构组成和损失函数方面展开的探索进行了综合论述,通过比较不同模型之间存在的异同点,分析了不同的模型构建方法存在的优缺点及适应的应用场景,同时比较不同网络模型在主流测试数据集上的重建效果,并对该领域的未来研究方向进行了展望。