单幅人脸图像的全景纹理图生成方法

目的 针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法 将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果 实验与当前最新方法进行了比较,在CelebA-HQ和LFW （labled faces in the wild）数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比（peak signal to noise ratio,PSNR）和全局结构相似性（structural similarity index,SSIM）分别提高了7.9 dB和0.088,局部PSNR和局部SSIM分别提高了2.8 dB和0.053;相比于OSTeC,全局PSNR和全局SSIM分别提高了5.45 dB和0.043,局部PSNR和局部SSIM分别提高了0.4 dB和0.044;相比于MVF-Net （multi-view 3D face network）,局部PSNR和局部SSIM分别提高了0.6和0.119。实验结果证明,提出的人脸全景纹理图生成方法解决了从单幅人脸图像中重建面部纹理不完整的问题,改善了生成纹理图的显示细节。结论 本文提出的人脸全景纹理图生成方法,利用人脸参数和网络模型的特性,使生成的人脸纹理图更完整,尤其是对原图不可见区域,像素恢复自然连贯,纹理细节更真实。     

自适应双向保带宽对数变换及低照度图像增强

目的 在低照度环境下,由于受图像采集设备的限制,导致获取到的图像往往亮度低、对比度差。针对这一问题,提出一种自适应双向保带宽对数变换的增强算法。方法 首先通过标准化变换将低照度图像处理成标准化图像,然后根据标准化图像的平均亮度进行自适应双向保带宽对数变换,最后对图像取整输出,从而得到增强后的图像。结果 实验选用LIVE database release2标准库中29幅高质量图像作为参考图像,然后经Photoshop CS5统一处理成低照度图像,使用本文算法对其增强,并与直方图均衡化（HE）、多尺度Retinex增强（MSR）、自然保持的增强算法（NPEA）的结果进行比较。本文算法增强后的图像其整体对比度和亮度在主观上都有较大提高,增强效果优于其他3种方法;同时,本文算法峰值信噪比（PSNR）和结构相似度（SSIM）客观指标平均值分别为22.75和0.86,明显高于其他3种算法。另外,在算法运行效率方面,本文算法平均运行时间也较短,约为74 ms。结论 本文算法增强后的图像更自然、更符合人眼视觉特性,且算法简单易于实现,运行效率高。该算法广泛适用于背光或光照不均的低照度环境下的图像增强。     

CGAN样本生成的遥感图像飞机识别

目的 基于深度学习的飞机目标识别方法在遥感图像解译领域取得了很大进步,但其泛化能力依赖于大规模数据集。条件生成对抗网络（conditional generative adversarial network,CGAN）可用于产生逼真的生成样本以扩充真实数据集,但对复杂遥感场景的建模能力有限,生成样本质量低。针对这些问题,提出了一种结合CGAN样本生成的飞机识别框架。方法 改进条件生成对抗网络,利用感知损失提高生成器对遥感图像的建模能力,提出了基于掩膜的结构相似性（structural similarity,SSIM）度量损失函数（masked-SSIM loss）以提高生成样本中飞机区域的图像质量,该损失函数与飞机的掩膜相结合以保证只作用于图像中的飞机区域而不影响背景区域。选取一个基于残差网络的识别模型,与改进后的生成模型结合,构成飞机识别框架,训练过程中利用生成样本代替真实的卫星图像,降低了对实际卫星数据规模的需求。结果 采用生成样本与真实样本训练的识别模型在真实样本上的进行实验,前者的准确率比后者低0.33%;对于生成模型,在加入感知损失后,生成样本的峰值信噪比（peak signal to noise ratio,PSNR）提高了0.79 dB,SSIM提高了0.094;在加入基于掩膜的结构相似性度量损失函数后,生成样本的PSNR提高了0.09 dB,SSIM提高了0.252。结论 本文提出的基于样本生成的飞机识别框架生成了质量更高的样本,这些样本可以替代真实样本对识别模型进行训练,有效地解决了飞机识别任务中的样本不足问题。     

改进的曲率滤波强噪声图像去噪方法

目的 医学影像获取和视频监控过程中会出现一些恶劣环境,导致图像有许多强噪声斑点,质量较差。在处理强噪声图像时,传统的基于变分模型的算法,因需要计算高阶偏微分方程,计算复杂且收敛较慢;而隐式使用图像曲率信息的曲率滤波模型,在处理强噪声图像时,又存在去噪不完全的缺陷。为了克服这些缺陷,在保持图像边缘和细节特征的同时去除图像的强噪声,实现快速去噪,提出了一种改进的曲率滤波算法。方法 本文算法在隐式计算曲率时,通过半窗三角切平面和最小三角切平面的组合,用投影算子代替传统曲率滤波的最小三角切平面投影算子,并根据强噪声图像存在强噪声斑点的特征,修正正则能量函数,增添局部方差的正则能量,使得正则项的约束更加合理,提高了算法的去噪性能,从而达到增强去噪能力和保护图像边缘与细节的目的。结果 针对多种不同强度的混合噪声图像对本文算法性能进行测试,并与传统的基于变分法的去噪算法（ROF）和曲率滤波去噪等算法进行去噪效果对比,同时使用峰值信噪比（PSNR）和结构相似性（SSIM）作为滤波算法性能的客观评价指标。本文算法在对强噪声图像去噪处理时,能够有效地保持图像的边缘和细节特征,具备较好的PSNR和SSIM,在PSNR上比ROF模型和曲率滤波算法分别平均提高1.67 dB和2.93 dB,SSIM分别平均提高0.29和0.26。由于采用了隐式计算图像曲率,算法的处理速度与曲率滤波算法相近。结论 根据强噪声图像噪声特征对曲率滤波算法进行优化,改进投影算子和能量函数正则项,使得曲率滤波算法能够更好地适用于强噪声图像,实验结果表明,该方法与传统的变分法相比,对强噪声图像去噪效果显著。     

求解低秩矩阵融合高动态范围图像

目的 利用低秩矩阵恢复方法可从稀疏噪声污染的数据矩阵中提取出对齐且线性相关低秩图像的优点,提出一种新的基于低秩矩阵恢复理论的多曝光高动态范围（HDR）图像融合的方法,以提高HDR图像融合技术的抗噪声与去伪影的性能。方法 以部分奇异值（PSSV）作为优化目标函数,可构建通用的多曝光低动态范围（LDR）图像序列的HDR图像融合低秩数学模型。然后利用精确增广拉格朗日乘子法,求解输入的多曝光LDR图像序列的低秩矩阵,并借助交替方向乘子法对求解算法进行优化,对不同的奇异值设置自适应的惩罚因子,使得最优解尽量集中在最大奇异值的空间,从而得到对齐无噪声的场景完整光照信息,即HDR图像。结果 本文求解方法具有较好的收敛性,抗噪性能优于鲁棒主成分分析（RPCA）与PSSV方法,且能适用于多曝光LDR图像数据集较少的场合。通过对经典的Memorial Church与Arch多曝光LDR图像序列的HDR图像融合仿真结果表明,本文方法对噪声与伪影的抑制效果较为明显,图像细节丰富,基于感知一致性（PU）映射的峰值信噪比（PSNR）与结构相似度（SSIM）指标均优于对比方法：对于无噪声的Memorial Church图像序列,RPCA方法的PSNR、SSIM值分别为28.117 dB与0.935,而PSSV方法的分别为30.557 dB与0.959,本文方法的分别为32.550 dB与0.968。当为该图像序列添加均匀噪声后,RPCA方法的PSNR、SSIM值为28.115 dB与0.935,而PSSV方法的分别为30.579 dB与0.959,本文方法的为32.562 dB与0.967。结论 本文方法将多曝光HDR图像融合问题与低秩最优化理论结合,不仅可以在较少的数据量情况下以较低重构误差获取到HDR图像,还能有效去除动态场景伪影与噪声的干扰,提高融合图像的质量,具有更好的鲁棒性,适用于需要记录场景真实光线变化的场合。     

利用条件生成对抗网络的光场图像重聚焦

目的 传统的基于子视点叠加的重聚焦算法混叠现象严重,基于光场图像重构的重聚焦方法计算量太大,性能提升困难。为此,本文借助深度神经网络设计和实现了一种基于条件生成对抗网络的新颖高效的端到端光场图像重聚焦算法。方法 首先以光场图像为输入计算视差图,并从视差图中计算出所需的弥散圆(circle of confusion,COC)图像,然后根据COC图像对光场中心子视点图像进行散焦渲染,最终生成对焦平面和景深与COC图像相对应的重聚焦图像。结果 所提算法在提出的仿真数据集和真实数据集上与相关算法进行评价比较,证明了所提算法能够生成高质量的重聚焦图像。使用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)进行定量分析的结果显示,本文算法比传统重聚焦算法平均PSNR提升了1.82 dB,平均SSIM提升了0.02,比同样使用COC图像并借助各向异性滤波的算法平均PSNR提升了7.92 dB,平均SSIM提升了0.08。结论 本文算法能够依据图像重聚焦和景深控制要求,生成输入光场图像的视差图,进而生成对应的COC图像。所提条件生成对抗神经网络模型能够依据得到的不同COC图像对输入的中心子视点进行散焦渲染,得到与之对应的重聚焦图像,与之前的算法相比,本文算法解决了混叠问题,优化了散焦效果,并显著降低了计算成本。     

条件生成对抗遥感图像时空融合

目的 卫星遥感技术在硬件方面的局限导致获取的遥感图像在时间与空间分辨率之间存在矛盾,而时空融合提供了一种高效、低成本的方式来融合具有时空互补性的两类遥感图像数据（典型代表是Landsat和MODIS （moderate-resolution imaging spectroradiometer）图像）,生成同时具有高时空分辨率的融合数据,解决该问题。方法 提出了一种基于条件生成对抗网络的时空融合方法,可高效处理实际应用中的大量遥感数据。与现有的学习模型相比,该模型具有以下优点：1）通过学习一个非线性映射关系来显式地关联MODIS图像和Landsat图像;2）自动学习有效的图像特征;3）将特征提取、非线性映射和图像重建统一到一个框架下进行优化。在训练阶段,使用条件生成对抗网络建立降采样Landsat和MODIS图像之间的非线性映射,然后在原始Landsat和降采样Landsat之间训练多尺度超分条件生成对抗网络。预测过程包含两层：每层均包括基于条件生成对抗网络的预测和融合模型。分别实现从MODIS到降采样Landsat数据之间的非线性映射以及降采样Landsat与原始Landsat之间的超分辨率首建。结果 在基准数据集CIA （coleam bally irrigation area）和LGC （lower Gwydir catchment）上的结果表明,条件生成对抗网络的方法在4种评测指标上均达到领先结果,例如在CIA数据集上,RMSE （root mean squared error）、SAM （spectral angle mapper）、SSIM （structural similarity）和ERGAS （erreur relative global adimensionnelle desynthese）分别平均提高了0.001、0.15、0.008和0.065;在LGC数据集上分别平均提高了0.001 2、0.7、0.018和0.008 9。明显优于现有基于稀疏表示的方法与基于卷积神经网络的方法。结论 本文提出的条件生成对抗融合模型,能够充分学习Landsat和MODIS图像之间复杂的非线性映射,产生更加准确的融合结果。     

条件生成对抗网络的低照度图像增强方法

目的 在日常的图像采集工作中,由于场景光照条件差或设备的补光能力不足,容易产生低照度图像。为了解决低照度图像视觉感受差、信噪比低和使用价值低（难以分辨图像内容）等问题,本文提出一种基于条件生成对抗网络的低照度图像增强方法。方法 本文设计一个具备编解码功能的卷积神经网络（CNN）模型作为生成模型,同时加入具备二分类功能的CNN作为判别模型,组成生成对抗网络。在模型训练的过程中,以真实的亮图像为条件,依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈,使得本文网络模型具备更好的低照度图像增强能力。在本文方法使用过程中,无需人工调节参数,图像输入模型后端到端处理并输出结果。结果 将本文方法与现有方法进行比较,利用本文方法增强的图像在亮度、清晰度以及颜色还原度等方面有了较大的提升。在峰值信噪比、直方图相似度和结构相似性等图像质量评价指标方面,本文方法比其他方法的最优值分别提高了0.7 dB、3.9%和8.2%。在处理时间上,本文方法处理图像的速度远远超过现有的传统方法,可达到实时增强的要求。结论 通过实验比较了本文方法与现有方法对于低照度图像的处理效果,表明本文方法具有更优的处理效果,同时具有更快的处理速度。     

密集连接卷积网络图像去模糊

目的 非均匀盲去运动模糊是图像处理和计算机视觉中的基础课题之一。传统去模糊算法有处理模糊种类单一、耗费时间两大缺点,且一直未能有效解决。随着神经网络在图像生成领域的出色表现,本文把去运动模糊视为图像生成的一种特殊问题,提出一种基于神经网络的快速去模糊方法。方法 首先,将图像分类方向表现优异的密集连接卷积网络（dense connected convolutional network, DenseNets）应用到去模糊领域,该网络能充分利用中间层的有用信息。在损失函数方面,采用更符合去模糊目的的感知损失（perceptual loss）,保证生成图像和清晰图像在内容上的一致性。采用生成对抗网络（generative adversarial network,GAN）,使生成的图像在感官上与清晰图像更加接近。结果 通过测试生成图像相对于清晰图像的峰值信噪比 （peak signal to noise ratio,PSNR）,结构相似性 （structural similarity,SSIM）和复原时间来评价算法性能的优劣。相比DeblurGAN（blind motion deblurring using conditional adversarial networks）,本文算法在GOPRO测试集上的平均PSNR提高了0.91,复原时间缩短了0.32 s,能成功恢复出因运动模糊而丢失的细节信息。在Kohler数据集上的性能也优于当前主流算法,能够处理不同的模糊核,鲁棒性强。结论 本文算法网络结构简单,复原效果好,生成图像的速度也明显快于其他方法。同时,该算法鲁棒性强,适合处理各种因运动模糊而导致的图像退化问题。     

联合多重对抗与通道注意力的高安全性图像隐写

目的 现有基于对抗图像的隐写算法大多只能针对一种隐写分析器设计对抗图像,且无法抵御隐写分析残差网络(steganalysis residual network,SRNet)、Zhu-Net等最新基于卷积神经网络隐写分析器的检测。针对这一现状,提出了一种联合多重对抗与通道注意力的高安全性图像隐写方法。方法 采用基于U-Net结构的生成对抗网络生成对抗样本图像,利用对抗网络的自学习特性实现多重对抗隐写网络参数迭代优化,并通过针对多种隐写分析算法的对抗训练,生成更适合内容隐写的载体图像。同时,通过在生成器中添加多个轻量级通道注意力模块,自适应调整对抗噪声在原始图像中的分布,提高生成对抗图像的抗隐写分析能力。其次,设计基于多重判别损失和均方误差损失相结合的动态加权组合方案,进一步增强对抗图像质量,并保障网络快速稳定收敛。结果 实验在BOSS Base 1.01数据集上与当前主流的4种方法进行比较,在使用原始隐写图像训练后,相比于基于U-Net结构的生成式多重对抗隐写算法等其他4种方法,使得当前性能优异的5种隐写分析器平均判别准确率降低了1.6%;在使用对抗图像和增强隐写图像再训练后,相比其他4种方法,仍使得当前性能优异的5种隐写分析器平均判别准确率降低了6.8%。同时也对对抗图像质量进行分析,基于测试集生成的2 000幅对抗图像的平均峰值信噪比(peak signal-tonoise ratio,PSNR)可达到39.925 1 dB,实验结果表明本文提出的隐写网络极大提升了隐写算法的安全性。结论 本文方法在隐写算法安全性领域取得了较优秀的性能,且生成的对抗图像具有很高的视觉质量。     

面向车型识别的夜间车辆图像增强网络RIC-NVNet

目的 由于夜间图像具有弱曝光、光照条件分布不均以及低对比度等特点,给基于夜间车辆图像的车型识别带来困难。此外,夜间车辆图像上的车型难以肉眼识别,增加了直接基于夜间车辆图像的标定难度。因此,本文从增强夜间车辆图像特征考虑,提出一种基于反射和照度分量增强的夜间车辆图像增强网络（night-time vehicle image enhancement network based on reflectance and illumination components,RIC-NVNet）,以增强具有区分性的特性,提高车型识别正确率。方法 RIC-NVNet网络结构由3个模块组成,分别为信息提取模块、反射增强模块和照度增强模块。在信息提取模块中,提出将原始车辆图像与其灰度处理图相结合作为网络输入,同时改进了照度分量的约束损失,提升了信息提取网络的分量提取效果;在反射分量增强网络中,提出将颜色恢复损失和结构一致性损失相结合,以增强反射增强网络的颜色复原能力和降噪能力,有效提升反射分量的增强效果;在照度分量增强网络中,提出使用自适应性权重系数矩阵,对夜间车辆图像的不同照度区域进行有区别性的增强。结果 在模拟夜间车辆图像数据集和真实夜间车辆图像数据集上开展实验,从主观评价来看,该网络能够提升图像整体的对比度,同时完成强曝光区域和弱曝光区域的差异性增强。从客观评价分析,经过本文方法增强后,夜间车型的识别率提升了2%,峰值信噪比（peak signal to noise ratio, PSNR）和结构相似性（structural similarity, SSIM）指标均有相应提升。结论 通过主观和客观评价,表明了本文方法在增强夜间车辆图像上的有效性,经过本文方法的增强,能够有效提升夜间车型的识别率,满足智能交通系统的需求。     

自适应残差图像的分数阶全变分去噪算法

目的 全变分（TV）去噪模型具有较好的去噪效果,但对于图像的弱边缘和纹理细节的保持不够理想。自适应分数阶全变分（AFTV）模型根据图像局部信息,区分图像的纹理区域和非纹理区域,自适应计算投影算法中的软阈值,可较好地保持图像的弱边缘和纹理细节,但该方法当噪声增大时“阶梯”效应比较明显,弱边缘和纹理细节保持效果不够理想。针对该问题,提出一种改进的分数阶全变分去噪算法。方法 该算法在计算残差图像时,用分数阶全变分模型替代整数一阶全变分模型,并根据较精确的残差图像的局部方差区分图像纹理区域和平坦区域,使保真项参数的自适应选取更加合理,提高了算法的去噪性能。结果 针对3种不同类型的噪声图像,将本文模型与TV模型和AFTV模型进行对比实验,并采用峰值信噪比（PSNR）和结构相似性（SSIM）评定去噪效果和纹理保持能力。对于高斯噪声图像,本文算法在PSNR方面比TV模型和AFTV模型分别可平均提高2.72 dB和1.38 dB,SSIM分别可平均提高0.047和0.020。对于椒盐噪声图像,本文算法结合中值滤波算法在PSNR和SSIM方面比传统中值滤波算法分别可平均提高1.308 dB和0.011。对于泊松噪声图像,本文算法在PSNR、SSIM方面与AFTV较接近,比TV分别可提高1.59 dB和0.005。结论 通过对添加不同类型的噪声图像进行实验,结果表明提出的算法在去噪性能上与TV和AFTV相比均有较大提高,尤其对于噪声较大的图像效果更为显著,在去噪效率上与AFTV的时间复杂度相当,时耗接近略有降低。且本文算法普适性较好,能有效去除多种典型类型的噪声。     

融合梯度信息的改进引导滤波

目的 为了有效消除引导滤波平滑图像后产生的光晕现象,提出一种新型的融合梯度信息的改进引导滤波算法。方法 该算法借助引导图像的梯度信息来判断图像边缘位置,并结合指数函数框架设计权值来控制不同图像区域内的平滑倍数,使改进后的引导滤波能够自适应地区分和强调边缘,从而避免边缘附近由于过度模糊所引入的光晕现象。结果 与引导滤波算法相比,本文算法能在保边平滑的同时较好地抑制光晕,并在结构相似性（SSIM）评价和峰值信噪比（PSNR）评价中分别取得最高约30%和15%左右的质量提升。结论 本文算法具有较好的鲁棒性,在图像平滑、图像细节增强、多曝光图像融合等多种图像处理相关应用中均有着良好的表现。     

风格强度可变的人脸风格迁移网络

目的 针对人脸风格迁移算法StarGAN （star generative adversarial network）、MSGAN （mode seeking generative adversarial network）等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点，提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN （multilayer StarGAN）。方法 首先，通过特征金字塔网络（feature pyramid network，FPN）构建前置编码器，生成蕴含有图像细节特征的多层特征向量，增强生成图像在风格传输时能学习到的风格图像的细节风格；其次，使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合，利用组合后的风格向量进行风格传输，使生成图像具有不同的风格迁移强度；最后，采用权重解调算法作为生成器中的风格传输模块，通过对卷积权重的操作代替在特征图上的归一化操作，消除特征图中的特征伪影，减少生成图像中的失真。结果 在Celeba_HQ数据集上进行实验，与MSGAN、StarGAN v2等对比算法相比，在参考引导合成实验中，MStarGAN的FID （Frechét inception distance score）指标分别降低了18.9和3.1，LPIPS （learnedperceptual image patch similarity）指标分别提升了0.094和0.018。在潜在引导合成实验中，MStarGAN的FID指标分别降低了20.2和0.8，LPIPS指标分别提升了0.155和0.92，并能够生成具有不同风格强度的结果图像。结论 提出的算法能够传输图像的细节风格，生成具有不同强度的输出图像，并减少生成图像的失真。     

结合扰动约束的低感知性对抗样本生成方法

目的 对抗样本是指在原始数据中添加细微干扰使深度模型输出错误结果的合成数据。视觉感知性和攻击成功率是评价对抗样本的两个关键指标。当前大多数对抗样本研究侧重于提升算法的攻击成功率,对视觉感知性的关注较少。为此,本文提出了一种低感知性对抗样本生成算法,构造的对抗样本在保证较高攻击成功率的情况下具有更低的视觉感知性。方法 提出在黑盒条件下通过约束对抗扰动的面积与空间分布以降低对抗样本视觉感知性的方法。利用卷积网络提取图像中对输出结果影响较大的关键区域作为约束,限定扰动的位置。之后结合带有自注意力机制的生成对抗网络在关键区域添加扰动,最终生成具有低感知性的对抗样本。结果 在3种公开分类数据集上与多种典型攻击方法进行比较,包括7种白盒算法FGSM （fast gradient sign method）、BIM （basic iterative method）、DeepFool、PerC-C&W （perceptual color distance C&W）、JSMA （Jacobian-based saliency map attacks）、APGD （auto projected gradient descent）、AutoAttack和2种黑盒算法OnePixel、AdvGAN （adversarial generative adversarial network）。在攻击成功率（attack success rate,ASR）上,本文算法与对比算法处于同一水平。在客观视觉感知性对比中,本文算法较AdvGAN在低分辨率数据集上,均方误差（mean square error,MSE）值降低了42.1%,结构相似性值（structural similarity,SSIM）提升了8.4%;在中高分辨率数据集上,MSE值降低了72.7%,SSIM值提升了12.8%。与视觉感知性最好的对比算法DeepFool相比,在低分辨率数据集上,本文算法的MSE值降低了29.3%,SSIM值提升了0.8%。结论 本文分析了当前算法在视觉感知性上存在的问题,提出了一种对抗样本生成方法,在攻击成功率近似的情况下显著降低了对抗样本的视觉感知性。     

基于卷积自编码生成式对抗网络的 高分辨率破损图像修复

目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少。对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法。方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复。结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息。与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)值最高分别提升了31.6% 和18.0%,与DCGAN(deep convolutional generative adversarial network)方法相比,本文方法修复的图像内容符合度更高,破损区域修复结果更加清晰,PSNR和SSIM值最高分别提升了24.4% 和50.0%。结论 本文方法更适用于大面积破损图像与高分辨率图像的修复工作。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

YCbCr空间分治的双分支低照度图像增强网络

目的 现有的低照度图像增强算法通常在RGB颜色空间采用先增强后去噪的方式提升对比度并抑制噪声,由于亮度失真和噪声在RGB颜色空间存在复杂的耦合关系,往往导致增强结果不理想。先增强后去噪的方式也放大了原本隐藏在黑暗中的噪声,使去噪变得困难。为有效处理亮度失真并抑制噪声,提出了一个基于YCbCr颜色空间的双分支低照度图像增强网络,以获得正常亮度和具有低噪声水平的增强图像。方法 由于YCbCr颜色空间可以分离亮度信息与色度信息,实现亮度失真和噪声的解耦,首先将低照度图像由RGB颜色空间变换至YCbCr颜色空间,然后设计一个双分支增强网络,该网络包含亮度增强模块和噪声去除模块,分别对亮度信息和色度信息进行对比度增强和噪声去除,最后使用亮度监督模块和色度监督模块强化亮度增强模块和噪声去除模块的功能,确保有效地提升对比度和去除噪声。结果 在多个公开可用的低照度图像增强数据集上测试本文方法的有效性,对比经典的低照度图像增强算法,本文方法生成的增强图像细节更加丰富、颜色更加真实,并且含有更少噪声,在LOL（low-light dataset）数据集上,相比经典的KinD++（kindling the darkness）,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了3.09 dB,相比URetinex（Retinex-based deep unfolding network）,PSNR提高了2.74 dB。结论 本文提出的空间解耦方法能够有效地分离亮度失真与噪声,设计的双分支网络分别用于增强亮度和去除噪声,能够有效地解决低照度图像中亮度与噪声的复杂耦合问题,获取低噪声水平的亮度增强图像。     

生成对抗网络驱动的图像隐写与水印模型

目的 图像信息隐藏包括图像隐写术和图像水印技术两个分支。隐写术是一种将秘密信息隐藏在载体中的技术,目的是为了实现隐秘通信,其主要评价指标是抵御隐写分析的能力。水印技术与隐写术原理类似,但其是通过把水印信息嵌入到载体中以达到保护知识产权的作用,追求的是防止水印被破坏而尽可能地提高水印信息的鲁棒性。研究者们试图利用生成对抗网络（generative adversarial networks,GANs）进行自动化的隐写算法以及鲁棒水印算法的设计,但所设计的算法在信息提取准确率、嵌入容量和隐写安全性或水印鲁棒性、水印图像质量等方面存在不足。方法 本文提出了基于生成对抗网络的新型端到端隐写模型（image information hiding-GAN,IIH-GAN）和鲁棒盲水印模型（image robust blind watermark-GAN,IRBW-GAN）,分别用于图像隐写术和图像鲁棒盲水印。网络模型中使用了更有效的编码器和解码器结构SE-ResNet（squeeze and excitation ResNet）,该模块根据通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。结果 实验结果表明隐写模型IIH-GAN相对其他方法在性能方面具有较大改善,当已知训练好的隐写分析模型的内部参数时,将对抗样本加入到IIH-GAN的训练过程,最终可以使隐写分析模型的检测准确率从97.43%降低至49.29%。该隐写模型还可以在256×256像素的图像上做到高达1 bit/像素（bits-per-pixel）的相对嵌入容量;IRBW-GAN水印模型在提升水印嵌入容量的同时显著提升了水印图像质量以及水印提取正确率,在JEPG压缩的攻击下较对比方法提取准确率提高了约20%。结论 本文所提IIH-GAN和IRBW-GAN模型在图像隐写和图像水印领域分别实现了领先于对比模型的性能。     

融合感知损失的生成式对抗超分辨率算法

目的 现有的基于深度学习的单帧图像超分辨率重建算法大多采用均方误差损失作为目标优化函数,以期获得较高的图像评价指标,然而重建出的图像高频信息丢失严重、纹理边缘模糊,难以满足主观视觉感受的需求。同时,现有的深度模型往往通过加深网络的方式来获得更好的重建效果,导致梯度消失问题的产生,训练难度增加。为了解决上述问题,本文提出融合感知损失的超分辨率重建算法,通过构建以生成对抗网络为主体框架的残差网络模型,提高了对低分率图像的特征重构能力,高度还原图像缺失的高频语义信息。方法 本文算法模型包含生成器子网络和判别器子网络两个模块。生成器模块主要由包含稠密残差块的特征金字塔构成,每个稠密残差块的卷积层滤波器大小均为3×3。通过递进式提取图像不同尺度的高频特征完成生成器模块的重建任务。判别器模块通过在多层前馈神经网络中引入微步幅卷积和全局平均池化,有效地学习到生成器重建图像的数据分布规律,进而判断生成图像的真实性,并将判别结果反馈给生成器。最后,算法对融合了感知损失的目标函数进行优化,完成网络参数的更新。结果 本文利用峰值信噪比（PSNR）和结构相似度（SSIM）两个指标作为客观评价标准,在Set5和Set14数据集上测得4倍重建后的峰值信噪比分别为31.72 dB和28.34 dB,结构相似度分别为0.892 4和0.785 6,与其他方法相比提升明显。结论 结合感知损失的生成式对抗超分辨率重建算法准确恢复了图像的纹理细节,能够重建出视觉上舒适的高分辨率图像。