生成式对抗网络在超分辨率图像重建中的应用

针对现有卷积神经网络图像超分辨率算法容易出现过拟合、损失函数的收敛性不足等问题,结合超分辨率算法和生成式对抗网络(GAN)理论,设计一种基于生成式对抗网络的超分辨率算法PESRGAN用于恢复四倍下采样的图像。首先使用残差密集块(RDB)作为基本结构单元,有效避免了过拟合问题;其次使用双层特征损失并使用渗透指数(PI)作为损失的权值,更好地去学习低分辨率到高分辨率图像之间的映射关系;同时使用VGG19作为判别网络高分辨率图像进行分类;最后使用经典数据集,将PESRGAN算法与双三次插值(Bicubic)、SRGAN、ESRGAN算法在客观参数和主观视觉效果进行对比。实验结果表明:在经典数据集上,PESRGAN的平均峰值信噪比(PSNR)达到25.4 dB、平均结构相似性(SSIM)达到0.73,平均渗透指数(PI)达到1.15,在客观参数和主观评价上均优于其他算法,证明了PESRGAN有良好的超分辨率重建的效果。     

基于反馈生成对抗网络的单图像超分辨率重建

针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈流的同时,自适应地选择有用的特征信息;利用相对平均最小二乘GAN(Ra LSGAN)损失引导模型获得更真实的图像。实验结果表明,与现有基于GAN的超分辨方法相比,该方法重建出的图像纹理更加逼真自然。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题，因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先，该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确，而且得到的模型相比之前的通道注意力模型更简单；同时，采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势，提高网络判别能力。在基准数据集上的实验结果表明，和现有的超分辨率算法相比，所提算法重建图像的纹理细节和高频信息能得到更好的恢复，且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力，一定程度上提升了性能。     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。     

基于双向生成对抗网络的图像超分辨率算法

基于深度学习的图像超分辨率重建算法不能很好地处理现实生活中有多种复杂噪声干扰的低分辨率图片,提出一种双向的生成对抗网络,引入下采样网络及重建网络联合学习的方法.下采样网络模拟生成现实生活中有复杂噪声及受运动干扰的低分辨率图片,重建网络将模拟生成的低分辨率图片恢复为细节清晰的高分辨率图片.实验结果表明,该算法能够重建出视觉效果良好的超分辨率图像,在Set5、DIV2 K等通用测试集上,其客观评价指标(PSNR、SSIM)对比于SRGAN方法分别提高了约0.9 dB,0.25.     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

基于注意力生成对抗网络的图像超分辨率重建方法

针对现有基于深度学习的图像超分辨率重建方法,其对细节纹理恢复过程中容易产生伪纹理,并且没有充分利用原始低分辨率图像丰富的局部特征层信息的问题,提出一种基于注意力生成对抗网络的超分辨率重建方法.该方法中生成器部分是通过注意力递归网络构成,其网络中还引入了密集残差块结构.首先,生成器利用自编码结构提取图像局部特征层信息,并提升分辨率;然后,通过判别器进行图像修正,最终将图像重建为高分辨率图像.实验结果表明,在多种面向峰值信噪比超分辨率评价方法的网络中,所设计的网络表现出了稳定的训练性能,改善了图像的视觉质量,同时具有较强的鲁棒性.     

基于生成对抗网络的医学图像超分辨率重建

针对医学图像分辨率低导致视觉效果差的问题,提出一种基于生成对抗网络的医学图像超分辨率重建方法.使用生成对抗网络架构,由生成器重建高分辨率图像,再将生成器生成的高分辨率图像送入判别器判断真伪.通过实验验证了该方法的有效性,在视觉效果和数值结果上都有所提高.     

双回归网络的单图像超分辨率重建

现有基于卷积神经网络的单图像超分辨率模型存在三个限制。理论上存在无限的HR图像,可以下采样到相同的LR图像,可能的函数空间非常大。因为现实世界潜在的下采样方法是未知的,使用特定方法配对的数据训练的模型在实际应用中泛化能力差,产生适应性问题。忽视残差分支的高频层次特征。针对上述问题,提出双重回归方案。除了学习从LR到HR图像的原始回归映射之外,额外学习一个对偶回归映射来估计下采样核并重建LR图像,形成一个闭环提供额外的监督,并在残差结构上引入了傅里叶变换,增强模型对高频信息的表达能力。相比其他先进模型以更少的参数重建HR图像,且拥有丰富的高频纹理细节。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像.近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多.为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述.主要从...     

基于生成对抗网络的多幅离焦图像超分辨率重建算法

为提高超分辨率算法重建出的图像质量,提出融合多幅离焦图像的超分辨率重建算法。以离焦图像作为切入点,利用自编码器提取离焦图像中的重要特征,根据空间特征变换层结构,将离焦特征与原始特征相结合,完成图像的超分辨率重建。在Celeb A人脸数据集上进行实验,结果表明,与传统插值算法及SRGAN算法相比,所提算法在大多数情况下能获得更高峰值信噪比及结构相似性数值,能生成质量更高的重建图像。     

一种基于融合的单幅图像超分辨率重建

图像超分辨率重建是由一幅或者多幅低分辨率图像序列重建与之对应的高分辨率图像。高分辨率图像具有更高像素密度,可以提供更多的图像细节,这些细节往往在一些具体应用场景中起到关键性作用。针对单幅低分辨率重建超分辨率应用问题,提出了一种基于图像融合的方法,该方法选取两种或者两种以上利用生成对抗网络算法进行超分辨率图像的重建算法,然后对它们各自重建的图像进行图像融合。图像融合使用将两幅或多幅图像综合成一幅新的图像。融合能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性,可以使得融合后得到的图像对场景有更全面、清晰的描述,从而更有利于人眼的识别。借鉴了集成学习的思想,该文使用BasicSR、SRGAN和ESRGAN这三种超分辨率重建算法生成的超分辨率图像进行两两交叉融合进行仿真实验。实验结果表明,这种利用不同生成对抗网络重建的超分辨率图像进行融合简单有效,融合后的超分辨率图像质量在两个指标上PSNR和SSIM上总体优于融合前的图像质量。     

基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率重建算法

目前深度学习模式下的图像超分辨率重建存在对纹理感知不够精确、重建图像不够真实等问题,为了改善重建图像质量,提出一种基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率算法.首先,利用多感受野特征提取、可分离拉普拉斯滤波和复合残差密集块构建生成网络,使网络提取更全面的图像信息;其次,利用多维软标签对抗网络,可使生成对抗网络更容易训练且重建图像纹理更加丰富;最后,网络预训练采用L1损失函数和VGG低层特征,使重建图像获取整体特征,训练使用VGG高层特征、Charbonnier损失和生成损失,使重建结果更加精细,纹理更加充分.实验使用Div2k和Flickr2K进行模型训练,使用Set5等数据集进行测试.结果表明,该算法比USRNet等相关算法的网络规模减小40％,感知指数比USRNet平均降低0.76％,图像重建结果具有更多细节且真实性更强.     

基于多尺度融合CNN的图像超分辨率重建

针对FSRCNN模型中存在的特征提取不充分和反卷积带来的人工冗余信息的问题, 本文提出了一种基于多尺度融合卷积神经网络的图像超分辨率重建算法. 首先设计了一种多尺度融合的特征提取通道, 解决对图像不同尺寸信息利用不充分问题; 其次在图像重建部分, 采用子像素卷积进行上采样, 抑制反卷积层带来的人工冗余信息. 与FSRCNN模型相比, 在Set5和Set14数据集中, 2倍放大因子下的PSNR值和SSIM值平均提高了0.14 dB、0.001 0, 在3倍放大因子下平均提高0.48 dB、0.009 1. 实验结果表明, 本文算法可以更大程度的保留图像纹理细节, 提升图像整体重建效果.     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法.去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、...