多尺度特征融合的双判别器残差生成对抗网络

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。     

一种改进的SRGAN图像超分辨重建算法

现存的图像超分辨率重建算法存在模型训练不稳定、参数量多、模型收敛速度慢等缺点.在生成对抗网络的超分辨率算法(SRGAN)基础上,将轻量化的密集连接网络(DenseNet)作为生成对抗网络的生成器,使用WGan对判别器进行优化,利用Wasserstein代替SRGAN的JS散度,使其能够在网络参数更少、计算量更小的基础上实现更优的性能.实验结果表明,在四个公开的数据集上,所提出的模型比较主流重建模型在图像重建质量的峰值信噪比(PSNR)和结构相似性(SSIM)两个客观指标和主观视觉效果上都有所提高.     

生成对抗网络在医学图像处理中的应用

生成对抗网络（Generative Adversarial Nets,GANs）模型可以无监督学习到更丰富的数据信息,其包括生成模型与判别模型,凭借二者之间的对抗提高性能。针对传统GANs存在着梯度消失、模式崩溃及无法生成离散数据分布等问题,已经提出了大量的变体模型。介绍了生成对抗网络模型的理论和组成结构;介绍了几种典型的变体模型,重点介绍了生成对抗网络模型在图像生成、图像分割、图像分类、目标检测及图像超分辨率重建应用领域上的研究进展及现状。在研究现状和问题基础上进行了深入分析,进一步总结和探讨了GANs模型在医学图像处理领域中未来发展的趋势和所面临的挑战。     

生成式对抗网络在图像补全中的应用*

图像补全是数字图像处理领域的重要研究方向,具有广阔的应用前景。提出了一种基于生成式对抗网络(GAN)的图像补全方法。生成式对抗网络模型由生成器模型和判别器模型两部分构成,通过采用卷积神经网络(CNN)实现。首先,通过生成器模型对图像的缺失区域进行补全;然后,利用判别器模型对图像的补全效果进行判别。采用马尔科夫随机场(MRF)与均方误差(MSE)相结合的损失函数训练生成器模型,加强对图像纹理细节的处理能力。实验结果证明,基于生成式对抗网络的图像补全方法,相较于其他现有的方法,具有更好的补全效果。     

基于GAN先验的图像补全方法

设计和利用良好的图像先验知识是解决图像补全问题的重要方式. 生成对抗网络(GAN)作为一种优秀的生成式模型, 其生成器可以从大型图像数据集中学习到丰富的图像语义信息, 将预训练GAN模型作为图像先验是一种好的选择. 为了利用预训练GAN模型更好地解决图像补全问题, 本文在使用多个隐变量的基础上, 在预训练生成器中间层同时对通道和特征图添加自适应权重, 并在训练过程中微调生成器参数. 最后通过图像重建和图像补全实验, 定性和定量分析相结合, 证实了本文提出的方法可以有效地挖掘预训练模型的先验知识, 进而高质量地完成图像补全任务.     

一种强真实感的图像生成算法设计与仿真

传统方法下生成的跨模态图像易造成目标部分重要信息缺失,生成的图像缺乏真实感,于是提出改进生成式对抗网络和半监督学习的跨模态图像生成方法.建立生成式对抗网络,分析半监督学习特征,经融合后组成半监督生成式对抗网络.在判别器中使用卷积神经网络、在生成器中引入反卷积神经网络,在半监督生成式对抗网络中添加分类器,改进所建的网络模...     

基于一种条件熵距离惩罚的生成式对抗网络

生成高质量的样本一直是生成式对抗网络（Generative Adversarial Networks,GANs）领域的主要挑战之一.鉴于此,本文利用条件熵构建一种距离,并将此直接惩罚于GANs生成器目标函数,在尽可能地保持熵不变的条下,迫使生成分布逼近目标分布,从而大幅地提高网络生成样本的质量.除此之外,本文还通过优化GANs的网络结构以及改变两个网络的初始化策略,来进一步提高GANs的训练效率.在多个数据集上的实验结果显示,本文所提出的算法显著提高了GANs生成样本的质量;尤其在CIFAR10,STL10和CelebA数据集上,将最佳的FID值从20.70,16.15,4.65分别降低到14.02,12.83,3.22.     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

基于预测对抗网络的图像二分类模型

正未标记学习仅使用无标签样本和正样本训练一个二分类器, 而生成式对抗网络(generative adversarial networks, GAN)中通过对抗性训练得到一个图像生成器. 为将GAN的对抗训练方法迁移到正未标记学习中以提升正未标记学习的效果, 可将GAN中的生成器替换为分类器C, 在无标签数据集中挑选样本以欺骗判别器D, 对C与D进行迭代优化. 本文提出基于以Jensen-Shannon散度(JS散度)为目标函数的JS-PAN模型. 最后, 结合数据分布特点及现状需求, 说明了PAN模型在医疗诊断图像二分类应用的合理性及高性能. 在MNIST, CIFAR-10数据集上的实验结果显示: KL-PAN模型与同类正未标记学习模型对比有更高的精确度(ACC)及F1-score; 对称化改进后, JS-PAN模型在两个指标上均有所提升, 因此JS-PAN模型的提出更具有合理性. 在Med-MNIST的3个子图像数据集上的实验显示: KL-PAN模型与4个benchmark有监督模型有几乎相同的ACC, JS-PAN也有更高表现. 因此, 综合PAN模型的出色分类效果及医疗诊断数据的分布特征, PAN作为半监督学习方法可获得更快、更好的效果, 在医学图像的二分类的任务上具有更高的性能.     

基于浅层GANs的引水隧洞充水试验数据生成分析

针对水工程现场运行环境恶劣,监测仪器损坏率高、实时性分析不及时,不具备大型计算分析设备, 从而导致统计分析和建模样本容量不够的问题。基于有限稀疏样本采用轻量化生成式对抗网络(GANs)进行数据现场生成试验研究。在优化生成器和判别网络结构及优选激活函数的基础上,搭建轻量化 GANs 模型,采用笔记本电脑在工程现地实现数据快速生成。KL 散度及 Wasserstein 距离分析表明,与时间序列预测方法相比, 生成数据与原始数据概率分布之间的距离最高减少 33.3%。研究表明：采用基于轻量化 GANs 的数据生成方法可用于现场数据便捷生成,解决样本数量不够问题,为今后应用大样本建模和实测数据总体特征分析提供有效的解决方法,对进一步推广人工智能在水利工程上的应用具有重要意义。     

基于子样本集构建的DCGANs训练方法

深度卷积生成式对抗网络(Deep convolutional generative adversarial networks, DCGANs) 是一种改进的生成式对抗网络, 尽管生成图像效果比传统GANs有较大提升, 但在训练方法上依然存在改进的空间. 本文提出了一种基于训练图像子样本集构建的DCGANs训练方法. 推导给出了DCGANs的生成样本、子样本与总体样本的统计分布关系, 结果表明子样本集分布越趋近于总体样本集, 则生成样本集也越接近总体样本集. 设计了基于样本一阶颜色矩和清晰度的特征空间的子样本集构建方法, 通过改进的按概率抽样方法使得构建的子样本集之间近似独立同分布并且趋近于总体样本集分布. 为验证本文方法效果, 利用卡通人脸图像和Cifar10图像集, 对比分析本文构建子样本集与随机选取样本的DCGANs训练方法以及其他训练策略实验结果. 结果表明, 在Batchsize约为2 000的条件下, 测试误差、KL距离、起始分数指标有所提高, 从而得到更好的生成图像.     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中。条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据。传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图像,而cGAN只是对GAN的目标函数加以改进,并没有改变其网络结构,因此cGAN生成的图像中仍然存在长距离特征之间相关性相对较小的问题,从而导致cGAN生成图像的细节不清楚。为了解决这个问题,将自注意力机制引入cGAN中,并提出了一个新的模型SA-cGAN。该模型通过将图像中相距较远的特征相互关联起来生成一致的对象或场景,进而提升生成对抗网络生成细节的能力。将SA-cGAN在CelebA和MNIST手写数据集上进行了实验,并将其与DCGAN,cGAN等几种常用的生成模型进行了比较,结果证明该模型相比其他几种模型在图像生成领域有一定的进步。     

基于线性注意力机制的单样本生成对抗网络研究

目前,使用单样本训练生成对抗网络已经成为研究人员关注的重点。但是,网络模型不容易收敛,生成的图像结构易崩塌,训练速度慢等问题依旧亟待解决。研究人员提出在生成对抗网络中使用自注意力模型用以获取样本更大范围的结构,提高生成图像的质量。但是,传统的卷积自注意力模型由于注意力图谱中的信息冗余,容易造成计算资源浪费。提出了一种新的线性注意力模型,在该模型中使用了双重归一化方法来缓解注意力模型对输入特征敏感的问题,并且基于该模型搭建了一种新的单样本生成对抗网络模型。此外,模型还使用了残差网络和光谱归一化方法用于稳定训练,降低了发生崩塌的风险。实验结果表明,相较于使用已有的网络结构,该模型具有训练速度快,生成图像的分辨率高且评价指标改善明显等特点。     

协作式生成对抗网络

生成对抗网络（Generative adversarial nets,GANs）将生成模型与判别模型进行了巧妙结合,采用无监督的训练方式,通过相互对抗共同提高,其在学术界掀起了一股新的机器学习热潮.GANs的学习目标是可以完整拟合任意真实样本的数据分布,然而在实际当中,真实样本分布的复杂程度难以预计,容易发生模式坍塌（Mode collapse）等问题,从而导致结果冗余,模型不收敛等.为提高无监督条件下的GANs生成能力,减少或消除模式坍塌,本文提出一种全新的协作式生成网络结构,通过构建多个生成模型,引入协作机制,使得生成模型在训练过程中能够相互学习,共同进步,从而提高模型对真实数据的拟合能力,进一步提高生成质量.通过在三组不同类型的数据集上进行实验,分析对比结果后发现新模型在二维图像生成方面,特别是人脸图片,有着显著的效果,协作机制不仅可以加快模型收敛速度,提高训练效率,还能消除损失函数噪声,在三维模型生成方面也产生了一定的影响.通过调整模型参数,模式坍塌问题也得到了遏制.本文还设计了一种动态学习方法,动态调节模型的学习速率,有效减少了过大或过小的梯度惩罚.     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像生成中的研究进展做一个小结和分析:本文首先从模型的架构、目标函数的设计、生成对抗网络在训练中存在的问题、以及如何处理模式崩溃问题等角度对生成对抗网络进行一个详细地总结和归纳;其次介绍生成对抗网络在图像生成中的两种方法;随后对一些典型的、用来评估生成图像质量和多样性的方法进行小结,并且对基于图像生成的应用进行详细分析;最后对生成对抗网络和图像生成进行总结,同时对其发展趋势进行一个展望.     

基于生成式对抗网络的道路交通模糊图像增强

为了提高道路交通模糊图像增强的质量,进一步促进道路交通管理,针对道路交通场景下的运动模糊图像增强问题,提出了一种基于生成式对抗网络的多尺度多路径学习的模型。首先,选用具有多尺度卷积核的神经网络,对输入的图像进行更细致地特征值提取;其次,将局部残差学习和全局残差学习相结合,采用多路径多权重共享的递归学习,并利用判别网络和生成网络间的对抗训练优化网络参数;最后,实现端到端直接生成图像。实验结果表明:提出的模型可以有效地增强道路交通场景下的运动模糊图像,生成的图像细节更加丰富,具有较好的图像视觉效果。     

基于多域VQGAN的文本生成国画方法研究

随着生成式对抗网络的出现,从文本描述合成图像最近成为一个活跃的研究领域.然而,目前文本描述往往使用英文,生成的对象也大多是人脸和花鸟等,专门针对中文和中国画的研究较少.同时,文本生成图像任务往往需要大量标注好的图像文本对,制作数据集的代价昂贵.随着多模态预训练的出现与推进,使得能够以一种优化的方式来指导生成对抗网络的生成过程,大大减少了对数据集和计算资源的需求.提出一种多域VQGAN模型来同时生成多种域的中国画,并利用多模态预训练模型WenLan来计算生成图像和文本描述之间的距离损失,通过优化输入多域VQGAN的隐空间变量来达到图片与文本语义一致的效果.对模型进行了消融实验,详细比较了不同结构的多域VQGAN的FID及R-precisoin指标,并进行了用户调查研究.结果表示,使用完整的多域VQGAN模型在图像质量和文本图像语义一致性上均超过原VQGAN模型的生成结果.     

基于半监督编码生成对抗网络的图像分类模型

在实际应用中,为分类模型提供大量的人工标签越来越困难,因此,近几年基于半监督的图像分类问题获得了越来越多的关注.而大量实验表明,在生成对抗网络(Generative adversarial network,GANs)的训练过程中,引入少量的标签数据能获得更好的分类效果,但在该类模型的框架中并没有考虑用于提取图像特征的结构,为了进一步利用其模型的学习能力,本文提出一种新的半监督分类模型.该模型在原生成对抗网络模型中添加了一个编码器结构,用于直接提取图像特征,并构造了一种新的半监督训练方式,获得了突出的分类效果.本模型分别在标准的手写体识别数据库MNIST、街牌号数据库SVHN和自然图像数据库CIFAR-10上完成了数值实验,并与其他半监督模型进行了对比,结果表明本文所提模型在使用少量带标数据情况下得到了更高的分类精度.