基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signal-to-noise ratio, PSNR）,在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。     

多路径特征融合的遥感图像超分辨率重建算法

针对遥感图像超分辨率重建算法特征利用率低、重建速度慢等问题,提出一种基于多路径特征融合的遥感图像超分辨率重建算法。该算法模型包括浅层特征提取模块、特征融合模块和图像重建模块3个部分。首先,利用浅层特征提取模块提取浅层特征信息;然后,通过级联的方式将每个多路径特征融合模块输出的特征信息进行融合,提高了特征利用率;最后,通过图像重建模块重建高分辨率图像。由于减少了基本单元中卷积层的通道数,从而提高了重建效率。实验表明,该算法在客观评价指标上相对于比较算法均有提高,重建的遥感图像主观效果更好,能够恢复出更多的地物细节信息。     

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型。利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,以恢复更多细节信息。在此基础上利用重建模块重建出不同尺度的高分辨率图像。在Set5数据集上的实验结果表明,与基于双三次插值的重建模型相比,该模型能够有效提升图像的视觉效果,且峰值信噪比与结构相似度分别提高了3.92 dB和0.056。     

基于多级残差注意力的X-ray图像超分辨率重建

针对肺部X-ray图像在超分辨率重建过程中出现的肺部边缘不清晰以及器官纹理模糊等问题，提出一种基于多级残差注意力的X-ray图像超分辨率重建方法。将注意力机制嵌入残差块中构建网络基本块，在加速网络收敛的同时，使网络更加关注图像的边缘纹理特征；设计多尺度特征融合模块进行特征提取，保证结构信息的完整性；通过多级残差学习加速网络训练，并允许构建更深层次的网络；融合上采样图像与Bicubic图像完成最终重建，弥补特征提取过程中的特征损失。实验结果表明，所提出模型的PSNR、SSIM均高于现有算法，且重建出的图像具备更加丰富的细节和清晰的边缘。     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

基于多感受野的生成对抗网络医学MRI影像超分辨率重建

针对医学磁共振成像（MRI）过程中由于噪声、成像技术和成像原理等干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多感受野的生成对抗网络医学MRI影像超分辨率重建算法。首先,利用多感受野特征提取块获取不同感受野下图像的全局特征信息,为避免感受野过小或过大导致图像的细节纹理丢失,将每组特征分为两组,其中一组用于反馈不同尺度感受野下的全局特征信息,另一组用于丰富下一组特征的局部细节纹理信息;然后,使用多感受野特征提取块构建特征融合组,并在每个特征融合组中添加空间注意力模块,充分获取图像的空间特征信息,减少了浅层和局部特征在网络中的丢失,在图像的细节上取得了更逼真的还原度;其次,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最终将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,有助于生成高质量的超分辨率图像。实验结果表明,相比基于梯度引导的结构保留超分辨率算法（SPSR）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）分别提升了4.8%、2.7%、3.5%,重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真。     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

多级信息补偿的U型网络图像超分辨率重建算法

针对基于深度神经网络的图像超分辨率重建算法在特征提取过程中容易丢失特征信息,导致重建图像缺少纹理和边缘细节等问题,提出一种多级信息补偿的U型网络图像超分辨率重建算法.首先设计一个用于图像超分辨率重建的U型网络,该网络通过下通道分支对输入特征进行多层级特征提取和通道压缩,通过底层模块对压缩后的特征进行融合并提取不同通道的相关特征,通过上通道分支对压缩后的相关特征进行多层次特征提取和通道恢复;然后设计多级信息补偿模型,对U型网络的通道压缩过程中丢失的信息和通道恢复过程中难以恢复的信息进行补偿;最后在不同放大倍数下的Set5、Set14、BSD100和Urban100测试集上对所提算法和主流算法进行对比测试分析,实验结果表明所提算法相比主流算法实现了在峰值信噪比(PSNR)/结构相似度(SSIM)指标和视觉效果上的巨大提升.