基于多级跳跃残差组的运动人像去模糊网络

为解决复原后的运动模糊人像图像的轮廓模糊、细节丢失等问题，提出了基于多级跳跃残差组生成对抗网络（GAN）的运动人像去模糊方法。首先，改进残差块以构造多级跳跃残差组模块，并改进PatchGAN的结构以使GAN能够更好地结合各层的图像特征；其次，使用多损失融合的方法优化网络，从而增强重建后图像的真实纹理；最后，采用端到端的模式将运动模糊的人像图像进行盲去模糊操作，并输出清晰的人像图像。在CelebA数据集上的实验结果表明，相较于DeblurGAN(DeblurGAN)、尺度循环网络（SRN）和MSRAN(Multi-ScaleRecurrentAttention Network)等基于卷积神经网络（CNN）的方法，所提方法的峰值信噪比（PSNR）和结构相似度（SSIM）分别至少提高了0.46 dB和0.05；同时，所提方法的模型参数更少，修复速度更快，且复原后的人像图像具有更多的纹理细节。     

基于多尺度残差的图像去模糊

为有效地提升图像去模糊的效果,论文在残差网络的基础上加入多尺度结构,提出一种基于多尺度残差的图像去模糊算法。该算法由多尺度卷积单元级联而成,并采用残差学习策略提高网络性能。在伯克利数据集BSD500上进行训练,在Set5数据集上进行测试。实验结果表明,提出的这种基于多尺度残差的图像去模糊具有更强的复原能力,且对图像及其模糊类型、噪声水平等更具有稳健性,且能够获得更高的峰值信噪比(PSNR)和结构相似度(SSIM)。     

基于循环神经网络的散焦图像去模糊算法

近年来,基于深度学习的运动模糊去除算法得到了广泛关注,然而单幅散焦图像去模糊算法鲜有研究。为针对性地解决单幅图像的散焦模糊问题,提出一种基于循环神经网络的散焦图像去模糊算法。首先级联两个残差网络,分别完成散焦图估计和图像去模糊;随后,为了保证散焦图和清晰图像的深度特征可以更好地跨阶段传播以及阶段内相互作用,在残差网络中引入LSTM（long short-term memory）循环层;最后,整个残差网络进行了多次迭代,迭代过程中网络参数共享。为了训练网络,制作了一个合成散焦图像数据集,每一张散焦图像都包含对应的清晰图像和散焦图。实验结果表明,该算法相较于对比算法在主客观图像质量评价上均有显著优势,在复原结果中具有更锐利的边缘和清晰的细节。对于真实双像素图像散焦模糊数据集DPD,该算法相比DPDNet-Single在峰值信噪比（PSNR）和结构相似性（SSIM）上分别提高了0.77 dB、5.6%,因此所提方法可以有效处理真实场景散焦模糊。     

基于退化感知和序列残差的图像盲超分辨率重建

针对盲超分辨率重建中特征提取不准确且重建图像不够自然的问题,提出了一种基于退化感知和序列残差的图像盲超分辨率重建算法,设计了小残差组融合退化感知和序列残差相结合作为所提算法的主干网络,进一步构建了对称的增强型多尺度残差模块,并且在图像重建部分,将瓶颈注意力模块与像素重组上采样模块级联,强调图像的多维元素,最后进行了全局残差连接。实验表明,与当前代表性算法DASR相比,该算法在Set14×2上的PSNR和SSIM分别提高0.145 dB、0.001 4,在Set14×3/4上PSNR分别提高1.898 dB、0.252 dB,且在五个标准测试集上与几种当前流行的图像超分辨率算法相比取得了更好的性能。     

基于深度学习的双通道夜视图像复原方法

针对夜间场景光线微弱、能见度低导致夜视图像信噪比低、成像质量差的问题,提出了基于深度学习的双通道夜视图像复原方法。首先,用两种基于全连接多尺度残差学习分块（FMRB）的卷积神经网络（CNN）分别对红外夜视图像和微光夜视图像进行多尺度特征提取和层次特征融合,从而得到重建的红外图像和增强的微光图像;然后,两种处理后的图像通过自适应加权平均算法进行融合,并根据场景的不同自适应地凸显两个图像中具有更高显著性的有效信息;最后,得到分辨率高且视觉效果好的夜视复原图像。使用基于FMRB的深度学习网络得到的红外夜视重建图像,相较于卷积神经网络超分辨率（SRCNN）重建算法得到的在峰值信噪比（PSNR）和结构相似性（SSIM）的平均值上分别提升了3.56 dB和0.091 2;相较于MSRCR,得到的微光夜视增强图像在PSNR和SSIM的平均值上分别提升了6.82 dB和0.132 1。实验结果表明,所提方法得到的重建图像的清晰度明显得到改善,获得的增强图像的亮度也明显得到提升,而且前二者的融合图像的视觉效果较好,可见所提方法能有效改善夜视图像的复原效果。     

多尺度残差网络的单幅图像超分辨率重建

针对目前提高图像分辨率的卷积神经网络存在的特征提取尺度单一以及梯度消失等问题,提出了多尺度残差网络的单幅图像超分辨率重建方法。采用多尺度特征提取和特征信息融合,解决了对图像细节特征提取不够充分的问题;将局部残差学习和全局残差学习相结合,提高了卷积神经网络信息流传播的效率,减轻了梯度消失现象。在Set5、Set14和BSD100等常用测试集上进行了实验,该方法的实验结果均优于其他5种方法,相比于SRCNN方法,平均PSNR提升了0.74 dB,平均SSIM提升了0.014 3 dB;相比于VDSR方法,平均PSNR提升了0.12 dB,平均SSIM提升了0.002 5 dB。     

基于双通道卷积神经网络的图像超分辨率增强算法

针对单通道图像超分辨率方法难以同时实现快速的收敛性能以及高质量的纹理细节恢复的问题,提出一种基于双通道卷积神经网络的图像超分辨率增强算法。首先,网络分为深层通道和浅层通道,深层通道用于提取图像的详细纹理信息,浅层通道用于恢复图像的总体轮廓。然后,深层通道利用残差学习的优势,加深网络并降低模型参数规模,消除因网络过深导致的网络退化问题,构造长短期记忆块消除由反卷积层造成的伪影现象和噪声,采用多尺度方式,提取图像不同尺度的纹理信息,而浅层通道只需负责恢复图像主要轮廓。最后,融合两通道损失对网络不断优化,指导网络生成高分辨率图像。实验结果表明,相比基于深层和浅层卷积神经网络的端到端图像超分辨率算法（EEDS）,所提算法收敛更迅速,图像边缘和纹理重建效果明显提升,其峰值信噪比（PSNR）和结构相似性（SSIM）在Set5数据集上平均提高了0.15 dB、0.0031,在和Set14数据集上平均提高了0.18 dB、0.0035。     

基于自然图像块相似性和稀疏先验性的图像复原

针对物体成像过程受光学系统散焦、运动、大气扰动及光电噪声等因素影响,导致光学系统获取的图像存在噪声、模糊、畸变等降质问题,对基于自然图像块相似性和自然图像稀疏先验信息的图像复原方法进行研究,提出一种泛化的基于图像块相似性和自然图像稀疏先验的图像复原框架。首先,在研究自然图像稀疏先验模型的基础上比较了几种图像块的相似性模型,比较结果表明在图像复原中利用图像块的高相似性先验条件模型能够提升图像复原的性能;接着,构建和优化了基于图像块的期望log相似性模型,减少了运行时间,简化了学习过程;最后,通过构建一种近似的最大后验估计（MAP）算法,最终实现了基于优化的期望块log相似性和混合高斯模型（GMM）的图像复原。仿真实验结果表明,所提方法能够很好地复原包含有各种模糊和加性噪声的退化图像,所得图像的峰值信噪比（PSNR）和结构相似度（SSIM）都优于当前技术条件下的其他稀疏先验复原方法,并具有更好的视觉效果。     

利用残差密集网络的运动模糊复原方法

针对图像生成过程中由于物体运动或相机抖动产生的运动模糊问题,提出了利用残差密集网络的运动模糊图像复原方法。设计对抗网络结构,以残差密集网络为生成器,通过长短连接实现不同层次特征的融合,生成复原图像,以深度卷积网络为判别器,判断图像真伪,在生成器和判别器的对抗中提高网络性能;采用对抗损失和内容损失结合的损失函数,提高网络的复原效果;以端到端的方式,省略模糊核的估计过程,输入模糊图像直接获取复原图像。实验结果表明,该方法能够取得较好的复原效果。     

一种SPIHT编码和运动补偿相结合的可扩展视频压缩算法

提出了一种SPIHT(set partition in hierarchical trees)编码和分块运动补偿相结合的视频压缩算法．适用于视频监控、视频会议、可视电话等许多视频图像的运动范围较小的场合。该算法具有如下3个特点：一是采用基于最低码率的自适应算法，实现了波动带宽下编码端和解码端参考帧的一致性；二是采用对预测残差帧的小波压缩编码，进一步增加了残差图的零像素数量，从而获得了更高的压缩比；三是采用了SPIHT多级树集合分裂算法，实现了码率的可扩展性，能适应波动带宽和不同性能接受端的需要。运用本文提出的算法，能进一步提高视频编码的压缩比和解码复原质量。实验结果表明，本算法对于运动范围较小的视频序列Akiyo，具有很高的压缩比和较好的复原质量，在27kbps带宽下，压缩比可达355：1，相应的PSNR(Y)=36．33dB，PSNR(U)=40．22dB，PSNR(V)=42．52dB；对于运动范围较大的Singer序列，本算法与MPEG-4校验模型相比，性能相差不大。此外，在最大码率下，本算法的PSNR(Y)比MPEG-4校验模型平均提高约4．0dB。     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题, 提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络, 通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息, 提出了一种改进残差网络模块, 并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型, 本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降, 提出的多尺度渐进式网络算法能够有效去除各种雨痕。结论 提出的算法能够获得最高的客观评价指标值和最优的视觉效果。在有效解决雨痕重叠问题的同时能够更好地保持图像的细节信息。     

注意力与多尺度融合的图像阴影去除算法

针对图像阴影去除算法中复杂地物或与阴影区域纹理相似的暗区域阴影去除不完全的问题,提出了一种注意力与多尺度融合的图像阴影去除算法。该算法基于生成对抗网络框架构建。利用自定义的空洞残差块进行特征提取,获得精确的阴影特征信息并输入到注意力引导的编码网络;在注意力引导的编码阶段进行多尺度的特征融合,获取不同层次的感受野,使编码器能够在不同尺度上捕捉上下文信息;利用多重注意力机制引导判别网络对生成的无阴影图像进行鉴别,进而减少判别网络关键信息损失,提高判别网络的鉴别效果。分别在ISTD(dataset with image shadow triplets)与SRD(dataset for shadow removal)公开数据集上进行验证,实验结果表明：该算法视觉效果表现良好,单幅阴影去除后的图片与数据集中真实无阴影图片进行对比,SSIM(structural similarity)可达到0.978,PSNR(peak signal to noise ratio)可达到32.2 dB,RMSE(root mean squared error)可达到6.2,相比同类算法,具有显著优势,且对复杂地物...     

融合残差和对抗网络的跨模态PET图像合成方法

针对现有跨模态图像合成方法不能很好地捕获人体组织的空间信息与结构信息,合成的图像具有边缘模糊、信噪比低等问题,提出一种融合残差模块和生成对抗网络的跨模态PET图像合成方法。该算法在生成器网络中引入改进的残差初始模块和注意力机制,减少参数量的同时增强了生成器的特征学习能力。判别器采用多尺度判别器,以提升判别性能。损失函数中引入多层级结构相似损失,以更好地保留图像的对比度信息。该算法在ADNI数据集上与主流算法进行对比,实验结果表明,合成PET图像的MAE指标有所下降,SSIM与PSNR指标有所提升。实验结果显示,提出的模型能很好地保留图像的结构信息,在视觉和客观指标上都能提高合成图像的质量。     

基于混合深度卷积网络的图像超分辨率重建

针对传统图像超分辨率重建方法存在的重建图像模糊、噪声量大、视觉感差等问题,提出了一种基于混合深度卷积网络的图像超分辨率重建方法。首先,在上采样阶段将低分辨率图像放缩至指定大小;然后,在特征提取阶段提取低分辨率图像的初始特征;接着,将提取到的初始特征送入卷积编解码结构进行图像特征去噪;最后,在重建层用空洞卷积进行高维特征提取与运算,重建出高分辨率图像,并且使用残差学习快速优化网络,在降低噪声的同时,使重建图像的清晰度及视觉效果更优。在Set14数据集放大尺度×4的基准下,将所提方法与双三次插值（Bicubic）、锚定邻域回归（A+）、超分辨卷积神经网络（SRCNN）、极深度超分辨网络（VDSR）、编解码网络（REDNet）等超分辨率重建方法进行对比。在超分辨实验中,所提方法与对比方法比较,峰值信噪比（PSNR）分别提升了2.73 dB、1.41 dB、1.24 dB、0.72 dB和1.15 dB,结构相似性（SSIM）分别提高了0.067 3,0.020 9,0.019 7,0.002 6和0.004 6。实验结果表明,混合深度卷积网络能够有效地对图像进行超分辨率重建。     

融合运动信息的图像运动模糊去除算法

现有运动去模糊算法难以有效复原含有大尺度旋转的复合运动模糊,针对此问题提出了一种基于U-net模型的神经网络框架。该框架通过融合运动信息至网络输入,给定每一像素点不同的运动约束。经过网络的编码器与解码器结构,得到每一像素点的预测值,实现端对端的方式直接获得复原图像。实验在通用数据集上与当前先进去模糊算法进行比较,该方法相比性能最好的算法PSNR(peak signal-to-noise ratio)值提高了0.14 dB,相比实时性最好的算法运行时间减少了0.1 s;同时在含有旋转运动的测试集上进行验证,证明了该算法可获得较好的复原质量。     

基于蓝图可分离卷积的轻量级水下图像超分辨率重建

由于水体中存在的悬浮颗粒以及高频随机运动的湍流引起光的散射和吸收而导致水下图像存在纹理模糊、分辨率低、扭曲失真等系列问题,而目前存在的大部分深度学习图像超分辨率重建算法存在着计算复杂、模型的复杂度大、内存占用高等不足。针对这些不足,提出基于蓝图可分离卷积的轻量级水下图像超分辨率重建网络,该模型分为浅层特征提取、深度特征提取、多层特征融合以及图像重建四个阶段,深度特征提取阶段中,在BSRN的基础上去除特征蒸馏分支、采用增加通道数进行补偿,同时利用三个蓝图卷积来进行残差局部特征学习以简化特征聚合,实现网络的轻量化。实验结果表明,所提出的方法在运行时间、参数量、模型复杂度方面均优于目前已提出的超分算法,放大因子为2和4时,峰值信噪比(PSNR)和结构相似度(SSIM)均值分别达到了31.5560dB、0.8620和27.7088dB、0.7213,重建质量获得进一步提升。     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。