一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

多尺度生成式对抗网络图像修复算法

图像修复作为深度学习领域的一个研究热点,在人们现实生活中有着重要的意义。现有图像修复算法存在各种问题,导致视觉上无法达到人们的要求。针对现有图像修复算法精确度低、视觉一致性差以及训练不稳定等缺陷,提出了一种基于生成式对抗网络(GAN)模型的图像修复算法。该算法主要对判别器的网络结构进行改进,在全局判别器和局部判别器的基础上引入多尺度判别器。多尺度判别器在不同分辨率的图像上进行训练,不同尺度的判别器具有不同的感受野,能够引导生成器生成更全局的图像视图以及更精细的细节。针对GAN训练中经常出现的梯度消失或梯度爆炸问题,使用WGAN(Wasserstein GAN)的思想,采用EM距离模拟样本数据分布。在CelebA、ImageNet以及Place2图像数据集上对该算法的网络模型进行了训练和测试,结果显示与先前的算法模型相比,该算法提高了图像修复的精确度,能够生成更为逼真的修复图片,并且适用于多种类型图片的修复。     

基于多角度约束与谱归一化的图像修复算法

针对图像修复任务过于困难的问题,采用基于生成对抗网络的双判别器模型,通过增设局部判别器追踪图像局部缺失区域信息,有效提升了修复准确性.但模型在产生合理语义性信息方面并不乐观.为此,提出Multi-Angle GAN模型.在双判别器模型基础上增设分类器和Vgg19特征提取网络,分别向生成网络提供类别、风格和内容损失约束.针对GANs判别器设计存在的训练不稳定问题,向判别器设计中引入谱归一化和Wasser-stein距离.在CelebA、Places2数据集上进行大量实验,结果表明,Multi-Angle GAN较之前方法在PSNR和SSIM上分别提升0.6～0.8 dB和0.02～0.05.     

基于Wasserstein距离与生成对抗网络的高光谱图像分类

近年来, 基于生成对抗网络的高光谱图像分类方法取得了很大进展. 它们虽可以缓解训练样本数量有限的问题, 但是容易受到训练数据不平衡的影响, 并且存在模式崩溃问题. 针对这些问题, 提出了一种用于高光谱图像分类的SPCA-AD-WGAN模型. 首先, 为了解决训练数据不平衡导致分类精度降低的问题, 添加了单独的分类器, 与判别器分开训练. 其次, 将Wasserstein距离引入网络, 以缓解GAN模型崩溃的问题; 在两个HSI数据集上的实验结果表明, SPCA-AD-WGAN具有更好的分类性能.     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

多尺度特征融合的双判别器残差生成对抗网络

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。     

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network, GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题, 本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先, 生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系, 在低、高卷积层间增加跳跃连接, 降低无关图像域特征信息损失.其次, 判别器使用谱规范化防止因鉴别能力突变造成的梯度消失, 增强训练过程中整体模型的稳定性.最后, 在损失函数中基于循环重构增加自我重构一致性约束条件, 专注目标域的转变, 设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈, 完成无监督的图像翻译.在Horse & Zebra、Summer & Winter以及AerialPhoto & Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法, 本文能够建立更真实的图像域映射关系, 提高了生成图像的翻译质量.     

基于近端策略优化与对抗学习的对话生成

对话生成是自然语言处理的重点研究方向，对抗生成网络GAN最近在对话生成领域得到了较好的应用。为了进一步改善对话生成的质量，并且解决GAN训练过程中判别模型返回奖励重复利用率低从而导致模型训练效率低的问题，提出一种基于近端策略优化PPO的对话生成算法PPO_GAN。该算法通过GAN模型生成对话，通过判别模型区分生成的对话与真实的对话。并采用近端策略优化的方法训练GAN，能处理GAN在对话生成时导致的反向传播不可微分的情况，在保证生成模型单调非减训练的同时，通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。实验结果表明，对比于极大似然估计与Adver-REGS等对话生成算法，PPO_GAN算法提高了对话训练的效率并且改善了对话生成的质量。     

基于条件梯度Wasserstein生成对抗网络的图像识别

生成式对抗网络GAN功能强大,但是具有收敛速度慢、训练不稳定、生成样本多样性不足等缺点。该文结合条件深度卷积对抗网络CDCGAN和带有梯度惩罚的Wasserstein生成对抗网络WGAN-GP的优点,提出了一个混合模型-条件梯度Wasserstein生成对抗网络CDCWGAN-GP,用带有梯度惩罚的Wasserstein距离训练对抗网络保证了训练稳定性且收敛速度更快,同时加入条件c来指导数据生成。另外为了增强判别器提取特征的能力,该文设计了全局判别器和局部判别器一起打分,最后提取判别器进行图像识别。实验结果证明,该方法有效的提高了图像识别的准确率。     

基于生成对抗网络的分级联合图像补全方法

已有的图像补全工作大都基于规则的、区域较小或者有足够上下文信息的待补全 区域。当待补全区域面积较大时,由于上下文信息的缺失及生成对抗网络(GAN)训练的不稳定 性,往往会产生模糊或失真的补全结果。尤其是当缺失区域位于图像边缘位置时,补全结果会 出现较大的空白及伪彩色。基于以上情况,在已有的基于 GAN 的补全方法的基础上提出一种 分级联合图像补全方法,并针对 GAN 训练不稳定的问题对网络结构做出了改进。一方面改善 了由于缺失区域面积较大产生的补全结果有空白生成的问题,从而使补全结果的纹理细节更加 真实、清晰;另一方面使得对抗网络训练更加稳定,抑制了伪彩色的生成。实验结果表明分级 联合图像补全方法取得了更好的补全结果。     

改进生成对抗网络在图片数据生成中的应用

图片数据生成旨在根据现有的图片数据,产生与原始图片数据分布相似的图片数据。当前主流的生成对抗网络模型（generative adversarial networks,GAN）产生的图片数据质量较差,模型的训练总是遇到调试困难、训练不稳定、梯度消失、模式崩溃等一系列问题。根据稀疏表达结构和残差结构组合而成的生成器,残差结构组成的辨别器,提出了一种能够生成高质量图片的GAN模型。根据分支网络模型构成的生成器,设计了多种类图片数据生成模型,可以使用一个模型同时训练生成多种类型的图片数据。为了更好地对数据进行训练,设计了一种动态匀速下降学习率,能够根据运行时间对学习率的衰减进行指导。在各个数据集上的实验结果表明,改进模型结构在图像数据生成上比其他算法更加稳定、鲁棒,能够生成更高质量的图片数据。     

生成式对抗网络及其计算机视觉应用研究综述

目的 生成式对抗网络（GAN）的出现为计算机视觉应用提供了新的技术和手段,它以独特零和博弈与对抗训练的思想生成高质量的样本,具有比传统机器学习算法更强大的特征学习和特征表达能力。目前在机器视觉领域尤其是样本生成领域取得了显著的成功,是当前研究的热点方向之一。方法 以生成式对抗网络的不同模型及其在计算机视觉领域的应用为研究对象,在广泛调研文献特别是GAN的最新发展成果基础上,结合不同模型的对比试验,对每种方法的基本思想、方法特点及使用场景进行分析,并对GAN的优势与劣势进行总结,阐述了GAN研究的现状、在计算机视觉上的应用范围,归纳生成式对抗网络在高质量图像生成、风格迁移与图像翻译、文本与图像的相互生成和图像的还原与修复等多个计算机视觉领域的研究现状和发展趋势,并对每种应用的理论改进之处、优点、局限性及使用场景进行了总结,对未来可能的发展方向进行展望。结果 GAN的不同模型在生成样本质量与性能上各有优劣。当前的GAN模型在图像的处理上取得较大的成就,能生成以假乱真的样本,但是也存在网络不收敛、模型易崩溃、过于自由不可控的问题。结论 GAN作为一种新的生成模型具有很高的研究价值与应用价值,但目前存在一些理论上的桎梏亟待突破,在应用方面生成高质量的样本、逼真的场景是值得研究的方向。     

基于深度残差生成式对抗网络的样本生成方法

作为样本生成的重要方法之一,生成式对抗网络(GAN)可以根据任意给定数据集中的数据分布生成样本,但它在实际的训练过程中存在生成样本纹理模糊、训练过程不稳定以及模式坍塌等问题.针对以上问题,在深度卷积生成式对抗网络(DCGAN)的基础上,结合残差网络,设计一种基于深度残差生成式对抗网络的样本生成方法RGAN.该样本生成方法利用残差网络和卷积网络分别构建生成模型和判别模型,并结合正负样本融合训练的学习优化策略进行优化训练.其中:深度残差网络可以恢复出丰富的图像纹理;正负样本融合训练的方式可以增加对抗网络的鲁棒性,有效缓解对抗网络训练不稳定和模式坍塌现象的发生.在102 Category Flower Dataset数据集上设计多个仿真实验,实验结果表明RGAN能有效提高生成样本的质量.     

基于Transformer实现文本导向的图像编辑

为方便非专业用户修图,提出一种基于Transformer的图像编辑模型TMGAN,使用户可通过自然语言描述自动修改图像属性。TMGAN整体框架采用生成对抗网络,生成器采用Transformer编码器结构提取全局上下文信息,解决生成图像不够真实的问题;判别器包含基于Transformer的多尺度判别器和词级判别器两部分,给生成器细粒度的反馈,生成符合文本描述的目标图像且保留原始图像中与文本描述无关的内容。实验表明,此模型在CUB Bird数据集上,IS（inception score）、FID（Fréchet inception distance）以及MP（manipulation precision）度量指标分别达到了9.07、8.64和0.081。提出的TMGAN模型对比现有模型效果更好,生成图像既满足了给定文本的属性要求又具有高语义性。     

一种双判别器GAN的古彝文字符修复方法EI北大核心CSCD

在中国,彝文古籍文献日益流失而且损毁严重,由于通晓古彝文的研究人员缺乏,使得古籍恢复工作进展十分缓慢.人工智能在图像文本领域的应用,为古籍文献的自动修复提供可能.本文设计了一种双判别器生成对抗网络(Generative adversarial networks with dual discriminator,D2GAN),以还原古代彝族字符中的缺失部分.D2GAN是在深度卷积生成对抗网络的基础上,增加一个古彝文筛选判别器.通过三个阶段的训练来迭代地优化古彝文字符生成网络,以获得古彝文字符的文字生成器.根据筛选判别器的损失结果优化D2GAN模型,并使用生成的字符恢复古彝文中丢失的笔画.实验结果表明,在字符残缺低于1/3的情况下,本文提出的方法可使文字笔画的修复率达到77.3%,有效地加快了古彝文字符修复工作的进程.     

生成对抗网络研究综述

自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点.GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最优效果.GAN模型的提出无疑是很新颖的,但也存在很多缺点,比如梯度消失问题、模式崩溃等.随着研究的深入,GAN不断优化扩展,GAN的衍生模型也层出不穷.GAN可应用于不同领域,主要为计算机图像和视觉领域,在图像领域有着突出的效果,能生成高分辨率逼真的图像,能对图像进行修复、风格迁移等,也能生成视频并进行预测等.GAN也能生成文本,可以进行对话生成、机器翻译、语音生成等.同时,GAN在其他领域也有涉及,比如生成音乐、密码破译等.但是GAN在其他领域的应用效果并不显著,那么,如何提高GAN在其他领域的应用效果将值得深入研究,使生成对抗网络在人工智能方面大放异彩.