基于生成对抗网络的医学图像超分辨率重建

针对医学图像分辨率低导致视觉效果差的问题,提出一种基于生成对抗网络的医学图像超分辨率重建方法.使用生成对抗网络架构,由生成器重建高分辨率图像,再将生成器生成的高分辨率图像送入判别器判断真伪.通过实验验证了该方法的有效性,在视觉效果和数值结果上都有所提高.     

一种基于融合的单幅图像超分辨率重建

图像超分辨率重建是由一幅或者多幅低分辨率图像序列重建与之对应的高分辨率图像。高分辨率图像具有更高像素密度,可以提供更多的图像细节,这些细节往往在一些具体应用场景中起到关键性作用。针对单幅低分辨率重建超分辨率应用问题,提出了一种基于图像融合的方法,该方法选取两种或者两种以上利用生成对抗网络算法进行超分辨率图像的重建算法,然后对它们各自重建的图像进行图像融合。图像融合使用将两幅或多幅图像综合成一幅新的图像。融合能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性,可以使得融合后得到的图像对场景有更全面、清晰的描述,从而更有利于人眼的识别。借鉴了集成学习的思想,该文使用BasicSR、SRGAN和ESRGAN这三种超分辨率重建算法生成的超分辨率图像进行两两交叉融合进行仿真实验。实验结果表明,这种利用不同生成对抗网络重建的超分辨率图像进行融合简单有效,融合后的超分辨率图像质量在两个指标上PSNR和SSIM上总体优于融合前的图像质量。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...     

增强壁画图像艺术性的超分辨率重建

针对现有壁画图像中分辨率低、图像细节粗糙导致壁画图像艺术价值降低等问题,提出一种增强艺术性壁画图像的超分辨率重建算法优化壁画图像.以生成对抗网络为框架,使用生成网络输出重建的高分辨率图像,在判别网络中提取壁画图像的特征,用于判断生成网络的输出是否为真实高分辨率壁画图像.采用迁移学习思想、去除批标准化、将网络模型分阶段构...     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

使用VGG能量损失的单图像超分辨率重建

单幅图像的超分辨率重建（single image super-resolution,简称SR）是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络（generative adversarial network,简称GAN）的对抗损失.但是,基于传统的GAN的超分辨率重建模型（SRGAN）在判别器接收高分辨率图像作为输入时,输出判别信号不稳定.为了缓解这个问题,在SRGAN以及常用的VGG重构损失框架上,设计了一个稳定的基于能量的辅助对抗损失,称为VGG能量损失.该能量损失使用重构损失中的VGG编码部分,针对VGG编码设计相应的解码器,构建一个U-Net自编码结构VGG-UAE,利用VGG-UAE的重构损失表示能量,并使用该能量函数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE使生成器生成的高分辨率样本追踪真实数据的能量流.实验部分验证了使用VGG能量损失将比使用传统的GAN损失可以生成更有效的高分辨率图像.     

基于反馈生成对抗网络的单图像超分辨率重建

针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈流的同时,自适应地选择有用的特征信息;利用相对平均最小二乘GAN(Ra LSGAN)损失引导模型获得更真实的图像。实验结果表明,与现有基于GAN的超分辨方法相比,该方法重建出的图像纹理更加逼真自然。     

基于注意力生成对抗网络的图像超分辨率重建方法

针对现有基于深度学习的图像超分辨率重建方法,其对细节纹理恢复过程中容易产生伪纹理,并且没有充分利用原始低分辨率图像丰富的局部特征层信息的问题,提出一种基于注意力生成对抗网络的超分辨率重建方法.该方法中生成器部分是通过注意力递归网络构成,其网络中还引入了密集残差块结构.首先,生成器利用自编码结构提取图像局部特征层信息,并提升分辨率;然后,通过判别器进行图像修正,最终将图像重建为高分辨率图像.实验结果表明,在多种面向峰值信噪比超分辨率评价方法的网络中,所设计的网络表现出了稳定的训练性能,改善了图像的视觉质量,同时具有较强的鲁棒性.     

基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法

针对目前的图像超分辨率重建算法中存在的大尺度因子的重建效果较差、不同尺度的图像重建均需要单独训练等问题,提出一种基于拉普拉斯金字塔生成对抗网络(GAN)的图像超分辨率重建算法.算法中的生成器使用金字塔结构实现多尺度的图像重建,从而以渐进上采样的方式降低了大尺度因子的学习难度,并在层与层之间使用密集连接加强特征传播,从而...     

基于权重量化与信息压缩的车载图像超分辨率重建

针对智能驾驶领域中需要在内存受限的情况下得到高质量的超分辨率图像的问题,提出一种基于权重八位二进制量化的车载图像超分辨率重建算法。首先,基于八位二进制量化卷积设计信息压缩模块,减少内部冗余,增强网络内信息流动,提高重建速率;然后,整个网络由一个特征提取模块、多个堆叠的信息压缩模块和一个图像重建模块构成,并利用插值后超分辨率空间的信息与低分辨率空间重建后的图像融合,在不增加模型复杂度的基础上,提高网络表达能力;最后,算法中整个网络结构基于对抗生成网络（GAN）框架进行训练,使得到的图片有更好主观视觉效果。实验结果表明,所提算法的车载图像重建结果的峰值信噪比（PSNR）比基于GAN的超分辨率重建（SRGAN）算法提高了0.22 dB,同时其生成模型大小缩小为LapSRN的39%,重建速度提高为LapSRN的7.57倍。     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于深度残差生成对抗网络的医学影像超分辨率算法

针对医学影像超分辨率重建过程中细节丢失导致的模糊问题,提出了一种基于深度残差生成对抗网络（GAN）的医学影像超分辨率算法。首先,算法包括生成器网络和判别器网络,生成器网络生成高分辨率图像,判别器网络辨别图像真伪。然后,通过设计生成器网络的上采样采用缩放卷积来削弱棋盘效应,并去掉标准残差块中的批量规范化层以优化网络;进一步增加判别器网络中特征图数量以加深网络等方面提高网络性能。最后,用生成损失和判别损失来不断优化网络,指导生成高质量的图像。实验结果表明,对比双线性内插、最近邻插值、双三次插值法、基于深度递归神经网络、基于生成对抗网络的超分辨率方法（SRGAN）,所提算法重建出了纹理更丰富、视觉更逼真的图像。相比SRGAN方法,所提算法在峰值信噪比（PSNR）和结构相似度（SSIM）上有0.21 dB和0.32%的提升。所提算法为医学影像超分辨率的理论研究提供了深度残差生成对抗网络的方法,在其实际应用中可靠、有效。     

基于多尺度特征融合的人脸图像修复方法

传统图像修复方法在修复受损区域较大的图像时会出现修复结果过于平滑或模糊的现象,并且较难重建合理的人脸图像结构.在传统生成对抗网络的鉴别器中引入多尺度特征融合方法,将不同深度的特征图经过上采样后直接相加,使浅层信息和深层信息有效结合.通过借助高层特征把握图像的整体规律,同时利用低层特征填充人脸图像的细节纹理,进而使一张图...     

基于生成对抗网络的文本图像联合超分辨率与去模糊方法

针对现有的超分辨率方法难以从模糊的低分辨率图像中重建出清晰的高分辨率图像的问题,提出了一种基于生成式对抗网络（GAN）的文本图像联合超分辨率与去模糊方法。首先,本方法聚焦于严重模糊的低分辨率文本图像,由上采样模块和去模糊模块两部分组成生成器网络;然后,通过上采样模块对输入图像上采样,生成模糊的超分辨率图像;进一步利用去模糊模块重建出清晰的超分辨率图像;最后,为了更好地恢复文本图像,引入了一个联合训练损失,包含超分辨率像素损失与去模糊像素损失、语义层的特征匹配损失以及对抗损失。在合成图像和真实图像上的大量实验结果表明,与现有的先进算法——单类GAN （SCGAN）相比,峰值信噪比（PSNR）、结构相似度（SSIM）和光学字符识别（OCR）精度分别提高了1.52 dB、0.011 5和13.2个百分点。所提方法能更好地处理真实场景下的退化文本图像,同时计算成本较低。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

基于多分辨率生成对抗网络的空间数据不确定性重建方法

在空间数据不确定性重建领域,多点统计法(MPS)得到了广泛的应用,但由于计算成本较高,其适用性受到了影响.通过使用金字塔结构的全卷积生成对抗网络(GAN)模型学习不同分辨率的训练图像,提出了一种基于多分辨率GAN模型的空间数据重建方法.该方法从高分辨率训练图像中捕获细节特征,从低分辨率训练图像中捕获大范围特征,因此该方...