改进残差块和对抗损失的GAN图像超分辨率重建

图像超分辨率(Super Resolution,SR)重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术,针对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长、重建图像视觉效果不理想的问题,本文提出了一种改进残差块和对抗损失的GAN(Generative Adversarial Networks)图像超分辨率重建模型.首先,在模型结构上,设计剔除多余批规范化操作的残差块并组合成生成模型,将深度卷积网络作为判别模型把控重建图像的训练方向,以减少模型的计算量;然后,在损失函数中,引入Earth-Mover距离设计对抗损失以缓解模型梯度消失的问题,采用L1距离作为重建图像与高分辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果.在DIV2K、Set5、Set14数据集上的实验结果表明:该模型剔除多余批规范化后的训练时间相比改进前模型减少约14%并有效提高图像的重建效果,结合Earth-Mover距离与L1距离的损失函数有效地缓解了梯度消失的问题.模型相较于双三次插值、SRCNN、VDSR、DSRN模型,提高了对低分辨率图像的超分辨率重建效率和视觉效果.     

结合小波与递归神经网络的低分辨率人脸识别

针对低分辨率人脸图像缺少有效信息而导致识别率较低的问题,提出一种结合哈尔小波与递归神经网络的低分辨率人脸识别方法。首先,通过深层网络直接预测小波系数,经过小波逆变换得到高分辨率人脸图像,可以有效地重建高频信息;其次,在卷积神经网络中加入递归模块,在增加网络深度的同时减少参数冗余,提升模型的映射能力;最后,提出一种优化的重建与感知损失融合方法,将小波系数重建损失与感知损失进行加权融合,用以生成有利于识别的人脸图像。基于公开数据集,对图像重建质量与识别性能进行了对比。实验结果表明,即使在极低的分辨率条件下(8×8,16×16),仍然能够重建出更加锐利的人脸图像。在此基础上,其识别能力优于目前领先的超分辨率重建算法。     

基于时空注意力的双分支视频超分辨率网络

视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像.基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题.本网络由一个重建高分辨率图像的图像分支和一个产生高分辨率梯度图的梯度分支组成.图像分支采用一组运动补偿后的低分辨...     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题，提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型，把输入的低分辨率图像转化为高分辨率图像，并利用原始图像的特征图计算内容损失；应用判别网络判别图像的真实性并计算对抗损失，不断反馈这两种损失来更新模型；通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上，经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9，使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富，在指标和图像效果上更优。     

基于改进Transformer的结构化图像超分辨网络

针对现有的结构化图像超分辨重建算法大多只能解决特定单一种类的结构化图像超分辨问题，提出一种基于改进Transformer的结构化图像超分辨率网络（TransSRNet）.该网络利用Transformer的自注意力机制在空间序列中挖掘大范围的全局信息.采用沙漏块结构搭建空间注意力单元，关注低分辨率空间和高分辨率空间在局部区域的映射关系，提取图像映射过程中的结构化信息，使用高效通道注意力模块对自注意力模块和空间注意力模块做特征融合.在高度结构化CelebA、Helen、TCGA-ESCA和TCGA-COAD数据集上的模型评估结果表明，相较于主流超分辨算法，TransSRNet整体性能表现更好.在放大因子为8时，人脸数据集和医学峰值信噪比（PRNR）可以分别达到28.726、26.392 dB,结构相似性（SSIM）可以分别达到0.844、0.881.     

超分辨率人脸图像重构识别

为了解决单幅低分辨率人脸图像重构问题,提出了基于线性物体类理论重构超分辨率人脸图像的新方法。首先利用ICA和PCA提取不同分辨率人脸的特征子空间,然后利用通过训练得到的分辨率转换矩阵重构其相对应的超分辨率人脸图像,实验表明该算法与传统的算法相比重构出的人脸图像质量和识别率都有了很大的提高。     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

基于卷积神经网络和PCA的低分辨率人脸识别

针对真实场景下采集的人脸图像受环境、设备影响导致分辨率低且图像识别率较低的问题,应用深度学习技术,提出一种基于卷积神经网络(CNN)和主成分分析(PCA)的低分辨率人脸识别算法.首先利用图像超分辨率重构将低分辨率图像重建为高分辨率图像;其次利用CNN提取重建后人脸图像特征,对损失函数进行优化;再利用PCA对特征进行降维,得到更优的分类特征;最后利用支持向量机(SVM)、向量间距离等算法筛选出最优人脸分类并计算准确率.实验表明,该算法在LFW和FERET上均取得更好的识别效果,当人脸图像分辨率下降到8×8时,准确率仍能到达94.5％,优于其他算法并且降低了运算时间.     

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

结合注意力机制的人脸超分辨率重建

因受成像设备限制,得到的人脸图像分辨率通常较低,针对此问题提出了一种将生成对抗网络和注意力机制相结合的方法,来对人脸图像进行多尺度超分辨率重建。将深度残差网络和深度神经网络分别作为生成器和判别器,并将注意力模块与深度残差网络中的残差块相结合,重建出与高分辨率图像高度相似且难以被判别器区分的超分辨率人脸图像。实验结果证明,所提出的方法能够有效地提升人脸图像的分辨率,同时也证明了注意力机制在图像细节信息重建中的重要作用。