基于特征空间的人脸超分辨率重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程.传统的超分辨率图像重构算法是基于像素空间,通过利用高、低分辨率像素空间之间的映射关系来求解,具有计算复杂性高等缺点. 针对低分辨率人脸放大问题,提出了一个基于特征空间的人脸超分辨率图像重构算法.与传统算法相比,该算法不仅降低了计算复杂性,还具有更好的鲁棒性.     

面向安防监控场景的低分辨率人脸识别算法研究

针对安防监控场景中获取的人脸图像质量不佳、细节信息丢失导致的人脸识别准确率低下的问题,提出一种基于超分辨率重建的低分辨率人脸识别算法。该算法包括超分辨率重建和人脸识别两个子网络,分别实现低分辨率人脸图像的超分辨率重建和人脸特征的提取。首先通过增加超分辨率重建子网络激活函数前的特征图数量实现广泛激活,保证信息流的有效传递,重建出包含更多细节信息的高分辨率人脸图像;然后在训练时结合图像内容损失和身份损失,在重建图像的同时保留更多身份信息,使得提取到的人脸特征具有更强的辨别性。实验结果表明,该算法提升了低分辨率人脸识别的准确率,在监控人脸数据集QMUL-SurFace上的性能优于传统算法。     

Hyper-Resolution: Image detail reconstruction through parametric edges

Hyper-Resolution, a new technique for super-resolution reconstruction of images, is based on matching low-resolution target image details to their high-resolution counterparts from an image database. Central to the algorithm is a novel transform of image content from the orthogonal pixel space to a parametric space structured around edges. This approach offers improved quality, more flexibility and significantly faster performance than previous work in the field. Implementation strategies for achieving this efficiency are carefully outlined. The algorithm is evaluated by controlled assessment, qualitative evaluation, and applications to facial detail reconstruction and identification. The algorithm is finally analyzed through the comparison with alternative techniques.     

多注意力域的稠密连接人脸超分算法

人脸超分辨率重建是一种对低分辨率人脸处理获取对应高分辨率人脸的低成本技术,又称人脸幻生。为了使重建的人脸图像有更清晰的细节纹理,通过对基于深度学习的人脸超分算法的研究,提出了基于注意力机制的稠密连接人脸超分算法。该算法主要由特征提取和图像重建两个部分组成,通过同时关注特征通道域和空间域的信息,创建了多注意力域模块MADM（Multi Attention Domain Module）。其中,通过改变信道和空间上的相互关系和权重,自适应地对特征进行加权重组,并且使用密集的稠密连接和长短连接将不同层的特征融合在一起,实现提升网络性能。实验结果验证了该算法的正确性;并与现有算法比较,表明了该算法的优越性能,重建的人脸图像具有更清晰的纹理细节特征。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于多级隐空间信息约束的噪声人脸超分辨率算法

为了实现强噪声和模糊干扰下的低清人脸图像重建,提出一种基于多级隐空间信息约束的噪声人脸超分辨率算法.首先设计一个用于人脸有效信息提取的特征蒸馏网络, 并通过统计性抗干扰模型和隐空间特征对比算法移除噪声等无效信息,构建一个具有高噪声鲁棒性的人脸信息提取模型;然后,设计人脸重建网络,该网络利用提取的人脸特征重建高清人脸图像; 最后,通过人脸身份嵌入模型和离散小波变换模型,分别从超球面身份度量空间和小波域进一步对重建人脸的身份信息和空间结构进行约束.实验结果表明,所提出的算法不仅能够有效去除高噪声环境下的人脸噪声,而且还能有效提升人脸图像分辨率,获得更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似度(structural similarity index,SSIM),具有较好的实用性.     

稀疏系数独立可调的单图超分辨率重建

针对基于学习的超分辨率重建图像边缘锐度较好但伪影较明显的问题,提出一种改进的稀疏系数独立可调的超分算法以消除伪影。由于字典训练阶段高分辨率图像和低分辨率图像均已知,认为高维图像空间和低维图像空间对应的稀疏系数不同,故此阶段运用在线字典学习方法分开训练生成较精确的高分字典和低分字典;而在图像重建阶段低分图像已知而高分图像未知,认为两空间的稀疏系数是近似相同的。通过在这两个阶段设置不同的正则化参数,可独立地调整相应的稀疏系数以获得最好的超分效果。实验结果表明,目标高分图像峰值信噪比(PSNR)相比稀疏编码超分方法平均提高了0.45 dB,同时结构相似性(SSIM)指标增加了0.011。超分图像有效地抑制了伪影,并能够较好地恢复图像边缘锐度和纹理细节,提升了超分效果。     

基于独立分量分析的人脸超分辨率重建

提出一种基于独立分量分析(ICA)的人脸超分辨率重建算法。该算法利用ICA从高分辨率训练图像中提取出独立分量,并对ICA系数进行先验估计。对于给定的低分辨率图像,结合最大后验概率估计求出ICA系数,进行ICA反变换得到高分辨率图像的近似估计,并利用局部结构张量对图像进行精化处理得到重建图像。仿真结果表明,该算法在实现人脸超分辨率重建的同时保持了人脸整体结构特征,且对光照、表情、姿态等具有一定的鲁棒性,将重建结果用于人脸辨识,有效提高了辨识效率。     

Parts-based face super-resolution via non-negative matrix factorization

Face super-resolution refers to inferring the high-resolution face image from its low-resolution one. In this paper, we propose a parts-based face hallucination framework which consists of global face reconstruction and residue compensation. In the first phase, correlation-constrained non-negative matrix factorization (CCNMF) algorithm combines non-negative matrix factorization and canonical correlation analysis to hallucinate the global high-resolution face. In the second phase, the High-dimensional Coupled NMF (HCNMF) algorithm is used to compensate the error residue in hallucinated images. The proposed CCNMF algorithm can generate global face more similar to the ground truth face by learning a parts-based local representation of facial images; while the HCNMF can learn the relation between high-resolution residue and low-resolution residue to better preserve high frequency details. The experimental results validate the effectiveness of our method.     

融合邻域回归和稀疏表示的图像超分辨率重构

对于图像超分辨率重建而言,通常会将图像的整体信息作为研究对象。然而图像本身含有的大量结构信息并没有得到充分利用。为了提高超分辨率重建的效果,实现对不同特征信息的利用,提出了一种融合邻域回归和稀疏表示的图像超分辨率重构算法。依据图像所具有的低秩性对高分辨率图像进行分解,获得高分辨率图像的低秩部分和稀疏部分;将对应的低分辨率图像与高分辨率图像的低秩部分和稀疏部分进行训练,学习得到对应的特征字典;基于高分辨率图像的低秩部分和稀疏部分分别基于稀疏表示和邻域嵌入进行高分辨率重构;基于低秩矩阵恢复理论,融合邻域回归和稀疏表示重构的高分辨率图像,得到最终的高分辨率图像。在测试集Set5和Set14上将提出的算法与几种经典算法进行对比实验,可视化和量化结果均表明,相比传统超分辨率算法,提出的算法在PSNR和SSIM都有很好的提升。     

Explicit and implicit employment of edge-related information in super-resolving distant faces for recognition

Edges and related features play significant role in discriminating face images. But those features are not enough informative when the face images are captured from a distance (e.g., video surveillance). Traditionally, those features are enhanced by super-resolving low-resolution grayscale face images. In this paper, we demonstrate a superior performance by directly considering such features (continuous gradient value, also known as edginess) in the super-resolution process. Edginess features are extracted using 1-D processing of image. This process is carried out along different directions to obtain partial evidences, which are combined to detect the person’s identity. Here, super-resolution of the face image and its recognition has been performed in sparse domain framework. The explicit usage of edginess feature in the proposed approach shows considerable improvement in both recognition performance as well as computational time, as only the patches related to strong edges are considered for super-resolution. In addition to that, the edginess feature gives improved recognition rate when it is preserved implicitly during super-resolution in grayscale domain.     

基于MAP算法的图像超分辨率重建

近年来图像的超分辨率重建已经成为人们广泛研究的热点.本文提出了一种从多幅低分辨率欠采样图像中重建出一幅高分辨率图像的重建方法.该方法基于MAP框架,用迭代方法得到最优化解.在每次的迭代过程中利用上次迭代得到的重建图像的有用信息来不断调整迭代参数,不断的循环迭代,最后求解出重建图像的最优解.实验结果证明,该方法有效,它不仅能在迭代过程中自动选择和更新调整参数,并且能得到期望的高分辨率重建图像.     

多监督损失函数光滑化图像超分辨率重建

目的 将低分辨率（low-resolution,LR）图像映射到高分辨率（high-resolution,HR）图像是典型的不适定恢复问题,即输出的HR图像和输入的LR图像之间的映射是多对一的,这意味着仅通过增加网络深度来确定HR图像与LR图像之间的特定映射关系是非常困难的。针对该问题,本文提出一种基于多监督光滑化损失函数的图像超分辨率方法。方法 该方法主体由LR图像上采样通道和HR图像下采样通道两部分组成。各通道分为两个阶段,每个阶段均包括浅层特征提取模块、基于迭代采样错误反馈机制的采样模块、全局特征融合模块和图像重建模块。将LR图像上采样通道第1阶段结果与HR图像下采样通道第1阶段结果对比,然后将HR原图像和HR图像下采样通道第2阶段结果作为约束构成多监督,使映射函数空间尽可能精确,并将多监督损失函数光滑化保证梯度在全局范围内传递。结果 在基准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）、Urban100（urban scenes dataset）、Manga109（109 manga volumes dataset）数据集上进行测试,并与Bicubic、SRCNN （super-resolution convolutional neural network）、FSRCNN （fast super-resolution convolutional neural network）、LapSRN （Laplacian pyramid super-resolution network）、VDSR （very deep super-resolution convolutional networks）、DBPN （deep back-projection networks for super-resolution）和DRN （dual regression networks）等方法的实验结果进行对比。当放大因子为4时,本文算法的峰值信噪比分别为32.29 dB、28.85 dB、27.61 dB、26.16 dB和30.87 dB;在重建图像的可视化分析方面,本文算法相较于对比算法具有更加丰富的纹理和清晰的轮廓。结论 实验结果表明,基于多监督光滑化损失函数方法的图像重建结果与其他超分辨率主流算法相比,在重建图像质量和高频细节处理方面均有所提高。     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

多尺度密集残差网络的单幅图像超分辨率重建

目的 近几年应用在单幅图像超分辨率重建上的深度学习算法都是使用单种尺度的卷积核提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏。另外,为了获得更好的图像超分辨率重建效果,网络模型也不断被加深,伴随而来的梯度消失问题会使得训练时间延长,难度加大。针对当前存在的超分辨率重建中的问题,本文结合GoogleNet思想、残差网络思想和密集型卷积网络思想,提出一种多尺度密集残差网络模型。方法 本文使用3种不同尺度卷积核对输入的低分辨率图像进行卷积处理,采集不同卷积核下的底层特征,这样可以较多地提取低分辨率图像中的细节信息,有利于图像恢复。再将采集的特征信息输入残差块中,每个残差块都包含了多个由卷积层和激活层构成的特征提取单元。另外,每个特征提取单元的输出都会通过短路径连接到下一个特征提取单元。短路径连接可以有效地缓解梯度消失现象,加强特征传播,促进特征再利用。接下来,融合3种卷积核提取的特征信息,经过降维处理后与3×3像素的卷积核提取的特征信息相加形成全局残差学习。最后经过重建层,得到清晰的高分辨率图像。整个训练过程中,一幅输入的低分辨率图像对应着一幅高分辨率图像标签,这种端到端的学习方法使得训练更加迅速。结果 本文使用两个客观评价标准PSNR（peak signal-to-noise ratio）和SSIM（structural similarity index）对实验的效果图进行测试,并与其他主流的方法进行对比。最终的结果显示,本文算法在Set5等多个测试数据集中的表现相比于插值法和SRCNN算法,在放大3倍时效果提升约3.4 dB和1.1 dB,在放大4倍时提升约3.5 dB和1.4 dB。结论 实验数据以及效果图证明本文算法能够较好地恢复低分辨率图像的边缘和纹理信息。     

基于反馈机制的图像超分辨率重建算法

现有的图像超分辨率重建方法充分利用了强大的深度学习模型,但忽略了人类视觉系统中普遍存在的反馈机制。提出一种新型图像超分辨率重建算法,通过具有约束条件的递归神经网络中包含的隐藏状态实现反馈机制,旨在处理网络间的反馈连接并生成更具说服力的高级表示形式,提供更多的上下文信息,从而帮助低分辨率图像完成高分辨率图像的重建。此外,具有较强早期图像重建能力的反馈网络可逐步生成最终的高分辨率图像。为解决低分辨率图像因多种类型的退化而导致的细节损失问题,引入课程学习策略,使网络适用于更复杂的任务,提升模型的鲁棒性。实验结果表明,该算法能有效提升图像超分辨率重建的准确性,与SRCNN、VDSR、RDN等算法相比,其PSNR值最高提升了7.15 dB。     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

Locally affine patch mapping and global refinement for image super-resolution

This paper deals with the super-resolution (SR) problem based on a single low-resolution (LR) image. Inspired by the local tangent space alignment algorithm in [16] for nonlinear dimensionality reduction of manifolds, we propose a novel patch-learning method using locally affine patch mapping (LAPM) to solve the SR problem. This approach maps the patch manifold of low-resolution image to the patch manifold of the corresponding high-resolution (HR) image. This patch mapping is learned by a training set of pairs of LR/HR images, utilizing the affine equivalence between the local low-dimensional coordinates of the two manifolds. The latent HR image of the input (an LR image) is estimated by the HR patches which are generated by the proposed patch mapping on the LR patches of the input. We also give a simple analysis of the reconstruction errors of the algorithm LAPM. Furthermore we propose a global refinement technique to improve the estimated HR image. Numerical results are given to show the efficiency of our proposed methods by comparing these methods with other existing algorithms.     

基于POCS和范例学习的序列图像超分辨率重建

实现序列图像的超分辨率重建,需要利用同一场景的多幅低分辨率图像之间的相对运动信息．并将它们融合到单幅高分辨率图像中,以有效的去除低分辨率图像中的模糊和噪声。本文提出首先分析序列图像结构、纹理等多维特征的不同特性和作用,利用分解得到的多维特征分别采用凸集投影（POCS）、范例学习等具有针对性的重建方法进行图像放大,在有效-融合多维特征重建图像的基础上,实现序列图像的多维特征超分辨率重建。