基于生成对抗网络的图像清晰度提升方法

视频监控、军事目标识别以及消费型摄影等众多领域对图像清晰度有很高的要求.近年来,深度神经网络在视觉和定量评估的应用研究中取得较大进展,但是其结果一般缺乏图像纹理的细节,边缘过度平滑,给人一种模糊的视觉体验.本文提出了一种基于生成对抗网络的图像清晰度提升方法.为了更好的传递图像的细节信息,采用改进的残差块和跳跃连接作为生...     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于生成对抗网络的眼底图像生成方法

提出一种带出血病症的眼底图像生成方法,该方法可以丰富眼底图像样本,提升眼底出血检测系统的准确率。该方法用图像分割技术从现有图像中分割出血管树和出血块,利用GAN生成大量血管树和出血块,并经过预处理合并,把合并后的图片和真实眼底图片一起输入到改进的CycleGAN中,生成大量眼底图片。其中对CycleGAN进行改进：改进模型结构,引入Wassertein距离,并加入同一映射损失和感知损失。实验表明,用该方法生成图像的PSNR值比现有技术提高9.82%,SSIM值提高4.17%且收敛速度更快。把生成图像添加到出血检测系统的训练集中,系统的AUC值提升3.51%,证明该方法优于现有技术。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于二分生成对抗网络的图像翻译

翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。     

基于生成对抗网络的CT图像数据扩增

训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.     

生成对抗网络文字生成图像算法综述

生成对抗网络是图像合成的重要方法,也是目前实现文字生成图像任务最多的手段。随着跨模态生成研究不断地深入,文字生成图像的真实度与语义相关性得到了巨大提升,无论是生成花卉、鸟类、人脸等自然图像,还是生成场景图和布局,都取得了较好的成果。同时,文字生成图像技术也存在面临着一些挑战,如难以生成复杂场景中的多个物体,以及现有的评估指标不能准确地评估新提出的文字生成图像算法,需要提出新的算法评价指标。回顾了文字生成图像方法自提出以来的发展状况,列举了近年提出的文字生成图像算法、常用数据集和评估指标。最后从数据集、指标、算法和应用方面探讨了目前存在的问题,并展望了今后的研究方向。     

基于条件生成对抗网络的图像描述生成方法

图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks, CNN)和长短期记忆网络(long short-term memory, LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditionalgenerativeadversarial network, CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.     

生成对抗网络与文本图像生成方法综述

随着多传感器的普及,多模态数据获得科研和产业面的持续关注,通过深度学习来处理多源模态信息的技术是核心所在。文本生成图像是多模态技术的方向之一,由于生成对抗网络（GAN）生成图像更具有真实感,使得文本图像生成取得卓越进展。它可用于图像编辑和着色、风格转换、物体变形、照片增强等多个领域。将基于图像生成功能的GAN网络分为四大类：语义增强GAN、可增长式GAN、多样性增强GAN、清晰度增强GAN,并根据分类法提供的方向将基于功能的文本图像生成模型进行整合比较,厘清脉络;分析了现有的评估指标以及常用的数据集,阐明了对复杂文本的处理等方面的可行性以及未来的发展趋势;系统性地补充了生成对抗网络在文本图像生成方面的分析,将有助于研究者进一步推进这一领域。     

自然场景下的文本定位

首先阐述了文本定位的基本流程,然后列举了现有的主要文本定位方法,分析了基于区域、纹理、边缘、角点的文本定位方法和机器学习的文本定位方法的优缺点,详细说明了文本区域验证和文本块区域合并的方法,最后总结了各种文本定位方法。     

多方向自然场景文本检测

针对自然场景图像背景复杂和文本方向不确定的问题,提出一种多方向自然场景文本检测的方法。首先利用颜色增强的最大稳定极值区域(C-MSER)方法对图像中的字符候选区域进行提取,并利用启发式规则和LIBSVM分类器对非字符区域进行消除;然后设计位置颜色模型将被误滤除的字符找回,并利用字符区域中心进行拟合估计文本行倾斜角度;最后通过一个CNN分类器得到精确的结果。该算法在两个标准数据集上(ICDAR2011和ICDAR2013)上进行了测试,f-score分别为0.81和0.82,证明了该方法的有效性。     

基于改进EAST的自然场景文本定位算法

目前在图像处理领域,自然场景下的文本定位算法是一项具有困难的挑战,EAST算法是近年来性能比较出色的自然场景文本定位算法之一,具有较高的召回率和识别率,但是仍存在感受野不够大,样本权重不合理的问题。因此对EAST算法进行改进,对EAST网络结构进行改进,加入ASPP网络,提高了感受野,对loss进行改进,优化了样本权重不合理的问题,提高了对文本的定位效果。实验结果表明,提出的算法在保持18 f/s的同时,在ICDAR 2015文本定位任务的召回率为78.43%,准确率为85.78%,F-score为81.94%,优于经典EAST算法。     

自然场景图像中的文本检测综述

本文对自然场景文本检测问题及其方法的研究进展进行了综述.首先,论述了自然场景文本的特点、自然场景文本检测技术的研究背景、现状以及主要技术路线.其次,从传统文本检测以及深度学习文本检测的视角出发,梳理、分析并比较了各类自然场景文本检测方法的优缺点,并介绍了端对端文本识别技术.再次,论述了自然场景文本检测技术所面临的挑战,探讨了相应的解决方案.最后,本文列举了测试基准数据集、评估方法,将最具代表性的自然场景文本检测方法的性能进行了比较,本文还展望了本领域的发展趋势.     

联合边界框校准的自然场景文本检测

针对自然场景下多方向文本对象,提出一种基于深度学习的文本检测方法.该方法在设计锚框时剥离锚框的方向特征但保留其长宽比特征,在覆盖相同长宽比范围时,锚框设计数量减少,从而缓解采样密集时正负样本类别失衡的影响.在方法的后处理阶段,提出一种边界框校准算法,该算法利用最大稳定极值区域(MSER)获取字符边缘信息,通过基于规则的...     

一种直接高效的自然场景汉字逼近定位方法

为了提高经典目标检测算法对自然场景文本定位的准确性,以及克服传统字符检测模型由于笔画间存在非连通性引起的汉字错误分割问题,提出了一种直接高效的自然场景汉字逼近定位方法。采用经典的EAST算法对场景图像中的文字进行检测。对初检的文字框进行调整使其更紧凑和更完整地包含文字,主要由提取各连通笔画成分、汉字分割和文字形状逼近三部分组成。矫正文字区域和识别文字内容。实验结果表明,提出的算法在保持平均帧率为3.1 帧/s的同时,对ICDAR2015、ICDAR2017-MLT和MSRA-TD500三个多方向数据集上文本定位任务中的F-score分别达到83.5%、72.8%和81.1%;消融实验验证了算法中各模块的有效性。在ICDAR2015数据集上的检测和识别综合评估任务中的性能也验证了该方法相比一些最新方法取得了更好的性能。     

基于深度学习的自然场景文本检测与识别综述

自然场景文本检测与识别研究对于从场景中获取信息有重要意义,而深度学习技术有助于提高文本检测与识别的能力.主要对基于深度学习的自然场景文本检测与识别方法和其研究进展进行整理分类、分析和总结.首先论述自然场景文本检测与识别的相关研究背景及主要技术研究路线;然后,根据自然场景文本信息处理的不同阶段,进一步介绍文本检测模型、文本识别模型和端到端的文本识别模型,并阐述和分析每类模型方法的基本思路和优缺点;另外,列举了常见公共标准数据集以及性能评估指标和方法,并对不同模型相关实验结果进行了对比分析;最后总结基于深度学习的自然场景文本检测与识别技术面临的挑战和发展趋势.     

卷积深度置信网络的场景文本检测

自然场景中的文本检测对于视频、图像和图片等海量信息的检索管理具有重要意义.针对自然场景中的文本检测面临着图像背景复杂、分辨率低和分布随意的问题,提出一种场景文本检测的方法.该方法将最大稳定极值区域算法与卷积深度置信网络进行结合,把从最大稳定极值区域中提取出来的候选文本区域输入到卷积深度置信网络中进行特征提取,由Softmax分类器对提取的特征进行分类.该方法在ICDAR数据集和SVT数据集上进行实验,实验结果表明该方法有助于提高场景文本检测的精确率及召回率.     

基于FCN的多方向自然场景文字检测方法

传统的自然场景文字检测方法所采用的手工设计特征在应对复杂自然场景时缺乏鲁棒性。针对复杂自然场景中的多方向文字检测问题,提出了一种新的基于深度学习文字检测方法,采用全卷积网络（Fully Convolutional Networks,FCN）并融合多尺度文字特征图,结合语义分割的方法分割文字候选区域,利用分割得到的文字候选区域直接获取文字候选检测框并进行扩大补偿处理,对文字候选检测框进行后处理得到最终检测结果。该方法在ICDAR2013、ICDAR2015标准数据集进行了测评,实验结果表明该方法相比一些最新方法取得了更好的性能。     

局部与全局双重特征融合的自然场景文本检测

自然场景中文本的形状、方向和类别等变化丰富,场景文本检测仍然面临挑战.为了能够更好地将文本与非文本分隔并准确定位自然场景图像中的文本区域,本文提出一种局部与全局双重特征融合的文本检测网络,通过跳跃连接的方式实现多尺度全局特征融合,对恒等残差块进行改进实现局部细粒度特征融合,从而减少特征信息丢失,增强对文本区域特征提取力...