基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

基于反馈机制的图像超分辨率重建算法

现有的图像超分辨率重建方法充分利用了强大的深度学习模型,但忽略了人类视觉系统中普遍存在的反馈机制。提出一种新型图像超分辨率重建算法,通过具有约束条件的递归神经网络中包含的隐藏状态实现反馈机制,旨在处理网络间的反馈连接并生成更具说服力的高级表示形式,提供更多的上下文信息,从而帮助低分辨率图像完成高分辨率图像的重建。此外,具有较强早期图像重建能力的反馈网络可逐步生成最终的高分辨率图像。为解决低分辨率图像因多种类型的退化而导致的细节损失问题,引入课程学习策略,使网络适用于更复杂的任务,提升模型的鲁棒性。实验结果表明,该算法能有效提升图像超分辨率重建的准确性,与SRCNN、VDSR、RDN等算法相比,其PSNR值最高提升了7.15 dB。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

图像超分辨率重建算法综述

图像超分辨率重建旨在从低分辨率图像恢复出高分辨率清晰图像。阐述了典型图像超分辨率重建方法的思想,从上采样位置和上采样方法、学习策略、损失函数等维度,对典型和最新的基于深度学习的图像超分辨率重建算法进行了评述,分析了最新的发展现状,并对未来发展趋势进行了展望。     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于自适应块组割先验的噪声图像超分辨率重建

要增强噪声图像的分辨率,传统的串联方式依次进行去噪与超分辨率重建两个步骤,但去噪算法去除噪声的同时也损失了部分细节信息,影响了后续超分辨率重建的质量.为了使低分辨率噪声图像中所有细节信息都能参与超分辨率重建,本文以非局部中心化稀疏表示（Nonlocally centralized sparse representation,NCSR）模型为基础,提出了基于自适应块组割（Patch-group-cuts,PGCuts）先验的噪声图像超分辨率重建方法,同时实现去噪和超分辨率重建功能.块组割先验基于新颖的三维邻域系统和块组模型,能够达到图像去噪、边缘平滑和边缘清晰等效果.重建时以边缘强度为参考对块组割先验进行自适应约束,由于块组割在平滑区域约束力较低,采用分区域融合的方式进一步抑制噪声.本文对合成的低分辨率噪声图像和真实的低分辨率噪声图像进行了重建实验,实验表明,基于自适应块组割先验的噪声图像超分辨率重建算法,在丰富细节的同时能抑制噪声的干扰,不但具有较高的峰值信噪比和结构相似度等客观评价值,而且在非光滑区域具有很好的主观重建效果.     

一种多幅欠采样图像的凸集投影超分辨率重建方法

介绍了一种由多幅欠采样低分辨率图像重建一幅高分辨率图像的凸集投影超分辨率重建技术。首先介绍了超分辨率空间域迭代重建方法中一个至关重要的因素--成像过程模型;其次通过介绍凸集投影的理论依据,给出了插值-模拟采样迭代超分辨率重建方法的模型和重建步骤;最后通过实验数据对算法进行了验证。     

基于混合深度卷积网络的图像超分辨率重建

针对传统图像超分辨率重建方法存在的重建图像模糊、噪声量大、视觉感差等问题,提出了一种基于混合深度卷积网络的图像超分辨率重建方法。首先,在上采样阶段将低分辨率图像放缩至指定大小;然后,在特征提取阶段提取低分辨率图像的初始特征;接着,将提取到的初始特征送入卷积编解码结构进行图像特征去噪;最后,在重建层用空洞卷积进行高维特征提取与运算,重建出高分辨率图像,并且使用残差学习快速优化网络,在降低噪声的同时,使重建图像的清晰度及视觉效果更优。在Set14数据集放大尺度×4的基准下,将所提方法与双三次插值（Bicubic）、锚定邻域回归（A+）、超分辨卷积神经网络（SRCNN）、极深度超分辨网络（VDSR）、编解码网络（REDNet）等超分辨率重建方法进行对比。在超分辨实验中,所提方法与对比方法比较,峰值信噪比（PSNR）分别提升了2.73 dB、1.41 dB、1.24 dB、0.72 dB和1.15 dB,结构相似性（SSIM）分别提高了0.067 3,0.020 9,0.019 7,0.002 6和0.004 6。实验结果表明,混合深度卷积网络能够有效地对图像进行超分辨率重建。     

基于生成对抗网络的无监督图像超分辨率算法

目前,大多数基于学习的图像超分辨率研究通常采用预定的降质类型(比如双三次下采样)处理高分辨率图像,来产生成对的训练集。然而,真实图像往往存在未知的模糊和噪声,导致这些算法无法有效应用到真实场景中。为了实现真实图像的超分辨率重建,提出了一种基于生成对抗网络的无监督图像超分辨率算法,所提出的算法分为域转换子网络和重建子网络两个部分。同时设计了深度特征提取模块,通过融合不同感受野所提取的图像特征来提升网络的性能。实验结果证明,相比于目前多数的图像超分辨率算法,本文算法能够实现真实降质图像(存在噪声、模糊等)的图像超分辨率,在主观效果和客观指标上均能获得更好的性能。