基于卷积神经网络的彩色铅笔画算法

为了解决传统彩色铅笔画算法生成结果单一的问题,提出了一种基于卷积神经网络（CNN）生成彩色铅笔画的算法.采用分数阶微分获取原始图像轮廓信息,用卷积神经网络获取艺术家手绘铅笔画风格,利用直方图匹配获取与手绘铅笔画相似的色调,并使用L-BFGS优化算法来合成具有铅笔画效果的图像.该算法能够生成具有不同风格的彩色铅笔画图像.实验结果表明,该算法生成的图像保留了更多原始图像的细节信息,风格更加灵活多样.     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

基于生成对抗网络的异质人脸图像合成:进展与挑战

异质人脸图像合成旨在生成逼真、可识别的多种视觉形态的人脸肖像,包括画像、漫画等多种模态.异质人脸图像合成在公共安全和数字娱乐领域具有广泛的应用前景和重要的研究价值,已成为当前研究热点之一.近年来,随着生成对抗网络的发展以及其在多种图像风格转换任务中的成功,研究人员利用生成对抗网络构建了多种异质人脸图像合成的新方法.本文简要回顾了异质人脸图像合成的发展历史,并从异质人脸图像合成的应用进展、模型结构、性能评估、数据集和定性分析等方面综述了该领域最新的关键技术的发展情况,展望了异质人脸图像合成面临的挑战以及其关键技术的发展趋势.     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

用USM锐化生成铅笔画的新方法

给出了一种根据真实2D图像自动生成相应的非真实感铅笔画的新方法。首先将彩色图像进行Unsharp Mask(USM)锐化处理,再进行色彩缩放运算,得到具有一定半径的图像的边缘细节。然后,为了更好地产生铅笔画的光线效果及其局部走势纹理,采用线积分卷积(LIC)的方法生成类似的效果,并且用适当的图像分割方法来获取有意义的区域进行LIC处理。最后,把前面得到的边缘细节和LIC处理的结果分为两层进行叠底和透明处理就能得到较好的铅笔画效果。试验结果表明:使用本文方法可以产生更接近于手绘铅笔画的效果,并且生成的速度更快。     

人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影.对其关键模块进行了改进,并引入了新的损失函数.直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能.通过两步训练法,解决网络训练时调参困难的问题.引入热图损失、面部注意力损失和对抗性损失训练,提高超分辨率人脸图像的质量.实验结果证明,采用改进后的方法,可以生成面部细节更加清晰的高质量人脸图像.     

基于递归双对抗网络模型的人脸表情生成

针对目前表情生成网络中存在的人脸表情失真、不同帧间图像明暗差异明显的问题,提出一种基于递归双对抗网络模型的人脸表情生成框架。首先通过提取深度人脸特征并生成表情特征图,将其作为监督信号,生成人脸表情种子图像;然后使用生成的种子图像和原始目标人脸一起作为输入,生成特征保持图像,作为当前帧的输出,同时该特征保持图像也作为下一帧种子图像生成的输入;最后,将种子图像生成网络和特征保持图像生成网络递归进行下一帧图像的生成,多次递归得到与原始输入表情一致的特征保持人脸表情视频序列。在CK+和MMI数据库上的实验结果表明,提出的方法能够生成清晰自然的人脸表情视频帧,且在目标人脸形状和驱动的表情特征图像有较大形状差异时具有鲁棒性。     

基于DCGANs的二维页岩图像重构方法

利用现代物理实验技术可以有效获取真实的页岩孔隙图像,但是成本高昂。采用数值模拟方法重构页岩,提出了利用深度卷积生成对抗网络重构页岩图像,且该对抗网络允许隐式描述二维图像数据集所表示的概率分布。实验结果证明,该方法能够生成与真实样本更相似的页岩二维图像。     

基于生成对抗网络的图像风格迁移

生成对抗网络（Generative Adversarial Network，GAN）可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型，GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题，提出了新的风格迁移方法，有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象，将残差模块引入GAN的生成器，并引入自注意力机制，获得更多的图像特征，提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象，在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象，引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明，该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。