基于递归残差网络的图像超分辨率重建

深度卷积神经网络在单图像超分辨率重建方面取得了卓越成就,但其良好表现通常以巨大的参数数量为代价.本文提出一种简洁紧凑型递归残差网络结构,该网络通过局部残差学习减轻训练深层网络的困难,引入递归结构保证增加深度的同时控制模型参数数量,采用可调梯度裁剪方法防止产生梯度消失/梯度爆炸,使用反卷积层在网络末端直接上采样图像到超分辨率输出图像.基准测试表明,本文在重建出同等质量超分辨率图像的前提下,参数数量及计算复杂度分别仅为VDSR方法的1/10和1/（2n2）.     

多通道递归残差网络的图像超分辨率重建

目的 基于神经网络的图像超分辨率重建技术主要是通过单一网络非线性映射学习得到高低分辨率之间特征信息关系来进行重建,在此过程中较浅网络的图像特征信息很容易丢失,加深网络深度又会增加网络训练时间和训练难度。针对此过程出现的训练时间长、重建结果细节信息较模糊等问题,提出一种多通道递归残差学习机制,以提高网络训练效率和图像重建质量。方法 设计一种多通道递归残差网络模型,该模型首先利用递归方法将残差网络块进行复用,形成32层递归网络,来减少网络参数、增加网络深度,以加速网络收敛并获取更丰富的特征信息。然后采集不同卷积核下的特征信息,输入到各通道对应的递归残差网络后再一起输入到共用的重建网络中,提高对细节信息的重建能力。最后引入一种交叉学习机制,将通道1、2、3两两排列组合交叉相连,进一步加速不同通道特征信息融合、促进参数传递、提高网络重建性能。结果 本文模型使用DIV2K （DIVerse 2K）数据集进行训练,在Set5、Set14、BSD100和Urban100数据集上进行测试,并与Bicubic、SRCNN （super-resolution convolutional neural network）、VDSR （super-resolution using very deep convolutional network）、LapSRN （deep Laplacian pyramid networks for fast and accurate super-resolution）和EDSR_baseline （enhanced deep residual networks for single image super-resolution_baseline）等方法的实验结果进行对比,结果显示前者获取细节特征信息能力提高,图像有了更清晰丰富的细节信息;客观数据方面,本文算法的数据有明显的提升,尤其在细节信息较多的Urban100数据集中PSNR （peak signal-to-noise ratio）平均分别提升了3.87 dB、1.93 dB、1.00 dB、1.12 dB和0.48 dB,网络训练效率相较非递归残差网络提升30%。结论 本文模型可获得更好的视觉效果和客观质量评价,而且相较非递归残差网络训练过程耗时更短,可用于复杂场景下图像的超分辨率重建。     

基于生成对抗网络的机载遥感图像超分辨率重建

为解决机载遥感图像质量易受环境影响的问题,对其进行超分辨率重建,对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进,增强图像重建效果。将生成对抗网络作为模型的整体框架,使用密集剩余残差块增强模型特征提取能力,增加跳跃连接,有效提取机载遥感图像的浅层和深层特征,引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建,在峰值信噪比评价上较对比方法约有2 dB增益,重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明,该方法有效提升了模型特征提取能力,优化了训练过程,重建的机载遥感图像效果较好。     

递归式多阶特征融合图像超分辨率算法

目的 近年来,卷积神经网络在解决图像超分辨率的问题上取得了巨大成功,不同结构的网络模型相继被提出。通过学习,这些网络模型对输入图像的特征进行抽象、组合,进而建立了从低分辨率的输入图像到高分辨率的目标图像的有效非线性映射。在该过程中,无论是图像的低阶像素级特征,还是高阶各层抽象特征,都对像素间相关性的挖掘起了重要作用,影响着目标高分辨图像的性能。而目前典型的超分辨率网络模型,如SRCNN（super-resolution convolutional neural network）、VDSR（very deep convolutional networks for super-resolution）、LapSRN（Laplacian pyramid super-resolution networks）等,都未充分利用这些多层次的特征。方法 提出一种充分融合网络多阶特征的图像超分辨率算法：该模型基于递归神经网络,由相同的单元串联构成,单元间参数共享;在每个单元内部,从低阶到高阶的逐级特征被级联、融合,以获得更丰富的信息来强化网络的学习能力;在训练中,采用基于残差的策略,单元内使用局部残差学习,整体网络使用全局残差学习,以加快训练速度。结果 所提出的网络模型在通用4个测试集上,针对分辨率放大2倍、3倍、4倍的情况,与深层超分辨率网络VDSR相比,平均分别能够获得0.24 dB、0.23 dB、0.19 dB的增益。结论 实验结果表明,所提出的递归式多阶特征融合图像超分辨率算法,有效提升了性能,特别是在细节非常丰富的Urban100数据集上,该算法对细节的处理效果尤为明显,图像的客观质量与主观质量都得到显著改善。     

基于通道注意递归残差网络的图像超分辨率重建

近年来,深度学习被广泛应用于图像超分辨率重建.针对基于深度学习的超分辨率重建方法存在的特征提取不充分、细节丢失和梯度消失等问题,提出一种基于通道注意的递归残差深度神经网络模型,用于单幅图像的超分辨率重建.该模型采用残差嵌套网络和跳跃连接构成一种简洁的递归残差网络结构,能够加快深层网络的收敛,同时避免网络退化和梯度问题.在特征提取部分,引入注意力机制来提升网络的判别性学习能力,以提取到更准确、有效的深层残差特征;随后结合并行映射重建网络,最终实现超分辨率重建.在数据集Set5,Set14,B100和Urban100上进行放大2倍、3倍和4倍的重建测试实验,并从客观指标和主观视觉效果上将所提方法与主流方法进行比较.实验结果显示,所提方法在全部4个测试数据集上的客观指标较对比方法均有明显提升,其中,相比插值法和SRCNN算法,在放大2倍、3倍、4倍时所提方法的平均PSNR值分别提升了3.965 dB和1.56 dB、3.19dB和1.42 dB、2.79 dB和1.32 dB.视觉效果对比也表明所提方法能更好地恢复图像细节.     

图像超分辨率重建的循环两级残差网络

针对当前基于深度学习图像超分辨率重建方法模型规模大、重建效率低等问题，提出了一种能够获得性能和网络规模优越平衡的图像超分辨率重建网络。首先，利用局部更宽残差块结构，设计了两级残差特征提取模块；然后，以该模块为基础，使用特征图循环传递的方式来构造深层特征提取网络，这可以使得多个网络层共享参数，提高了网络的效率；最后，改进了以往惯常使用的上采样方法，为了弥补分辨率扩张带来高频信息的损失，采用多尺度联合学习的机制构建上采样模块。实验结果表明，与相同类型网络相比，本文方法在维持网络规模较低时，获得了优秀的性能指标和视觉效果。     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

基于残差网络的医学图像超分辨率重建

提高医学图像的清晰度对于医生迅速的做出病情的诊断与分析具有重要的意义，为充分提高医学图像的纹理细节清晰度，提出一种基于残差网络的医学图像超分辨率重建算法。选取合适的数据集，使用非常深的卷积神经网络，多次级联较小的滤波器，充分提取图像中的信息；使用残差学习的方式以及Adam优化方法来加快深层网络模型的收敛；将不同放大倍数的训练集组合成混合数据集进行训练，提高性能的同时大大减少了参数数量与训练时间。实验结果表明，所提算法的PSNR、SSIM、FSIM均高于现有的几种算法，重建出的图像细节更加丰富，边缘更加完整。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

基于递归多尺度卷积网络的图像超分辨率重建

不断加深网络的深度可提高网络的超分辨率重建效果,但是网络的加深会导致网络参数量急速增加,难以进行网络训练和内存存储.为了减小深度网络的参数规模并尽量保持网络的重建性能,基于递归和多尺度的思想,文中提出精简的基于递归多尺度卷积网络的图像超分辨率重建方法.首先利用多尺度模块充分提取图像在不同尺度下的特征信息,再通过递归操作实现网络规模的加深而不增加网络的参数量,最后将每次递归操作的输出进行特征融合,作为高分辨率图像重建的输入.实验表明,文中方法在网络参数量较少时重建效果较优.     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领 域有着重要的研究意义。为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN) 的图像超分辨率重建模型。首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃 连接和特征复用模块对多层图像信息进行筛选重组,使网络模型对不同深度的图像信息综合利用;最后对重建 模型参数向量进行约束,通过对长度与方向的解耦运算使模型能够在更大学习率条件下收敛,提升模型训练速 度。在多个国际公开数据集上进行实验验证,实验结果表明,该方法获得了更好的主观视觉评价和客观量化评 价,例如对于四倍重建任务,ERDN 输出图像的峰值信噪比(PSNR)指标在 Urban100 数据集上比稠密残差网络 (RDN)提高了 0.24 dB,且模型参数量减少约 50%,可适用于各种场景图像的超分辨率重建。     

基于轻量自动残差缩放网络的图像超分辨率重建

近年来,由于深度卷积神经网络的出色性能,深度学习已成为图像超分辨率领域的研究热点,已经有许多具有很深结构的大型模型被提出。而在实际应用中,普通个人计算机或智能终端的硬件显然不适合大规模深度神经网络模型。提出了一种针对单幅图像超分辨率且具有自动残差缩放功能的轻量级网络(ARSN),与许多基于深度学习的方法相比,它的层和参数更少。此外,该网络中有特殊的残差块和跳跃连接用来进行残差缩放以及全局和局部残差学习。根据测试数据集结果,该网络在重建质量和运行速度上都达到了非常优异的性能。所提出的网络在性能、速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

基于注意力生成对抗网络的图像超分辨率重建方法

针对现有基于深度学习的图像超分辨率重建方法,其对细节纹理恢复过程中容易产生伪纹理,并且没有充分利用原始低分辨率图像丰富的局部特征层信息的问题,提出一种基于注意力生成对抗网络的超分辨率重建方法.该方法中生成器部分是通过注意力递归网络构成,其网络中还引入了密集残差块结构.首先,生成器利用自编码结构提取图像局部特征层信息,并提升分辨率;然后,通过判别器进行图像修正,最终将图像重建为高分辨率图像.实验结果表明,在多种面向峰值信噪比超分辨率评价方法的网络中,所设计的网络表现出了稳定的训练性能,改善了图像的视觉质量,同时具有较强的鲁棒性.     

基于密集残差注意力网络的图像超分辨率算法

近年来,随着科学技术的高速发展,深度学习的蓬勃兴起,实现图像超分辨率重建成为计算机视觉领域一大热门研究课题.然而网络深度增加容易引起训练困难,并且网络无法获取准确的高频信息,导致图像重建效果差.本文提出基于密集残差注意力网络的图像超分辨率算法来解决这些问题.该算法主要采用密集残差网络,在加快模型收敛速度的同时,减轻了梯度消失问题.注意力机制的加入,使网络高频有效信息较大的权重,减少模型计算成本.实验证明,基于密集残差注意力网络的图像超分辨率算法在模型收敛速度上极大地提升,图像细节恢复效果令人满意.     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。