基于改进生成对抗网络的低剂量CT去噪算法

针对低剂量计算机断层扫描(computerized tomography,CT)在图像采集过程中引入较多噪声,造成图像质量严重下降的问题, 提出一种基于残差注意力机制与复合感知损失的低剂量CT去噪算法。在该算法中,利用生 成对抗网络完成对低剂量CT图像的去噪,在网络框架中引入多尺度特征提取及残差注意力 模块,以融合图像中不同尺度的信息,提高网络对噪声特征的区分能力,避免在去噪过程中 丢失图像细节信息。同时采用复合感知损失函数,以加快网络收敛速度,促使去噪图像在感 知上与原图像更接近。实验结果表明:与现有的算法相比,所提算法能够有效抑制低剂量 CT图像中的噪声,并恢复更多的纹理细节;对比低剂量CT图像,所提算法处理后的CT 图像峰值信噪比(peak signal-to-noise ratio,PSNR) 值提高了31.72%, 结构相似性(structural similarity,SSIM)值提高了13.15%,可以满足更高的医学影像诊断要求 。     

小样本图像处理方法赋能的宽带频谱感知

针对强噪声环境下频谱感知方法计算复杂度高、难以获取大量标注样本、检测准确率低等问题,该文提出由图像去噪和图像分类思想驱动的频谱感知方法(IDCSS)。首先,对感知用户的接收信号进行时频变换,将无线电数值信号转换为图像。强噪声环境下感知用户接收信号图像与噪声图像相关度高,因此搭建生成对抗网络(GAN)来增加低信噪比下接收信号样本的数量,提高图像的质量。在生成器中,利用残差-长短时记忆网络取代生成网络U-Net结构中的跳跃连接,对图像进行去噪、提取感知用户接收信号图像的多尺度特征、建立基于熵的损失函数来构建网络的抗噪能力;在判决器中,设计适用无线电图像信号的多维度判决器来增强生成图像的质量、保留低信噪比感知用户信号的图像细节。最后利用分类器识别频谱占用状态。仿真结果表明,与现有频谱感知算法相比,所提算法具有较好的检测性能。     

基于双通道生成对抗网络的镜片缺陷数据增强

针对小样本条件下深度学习缺陷检测算法识别率较低的问题,提出一种基于双通道生成对抗网络的数据增强方法.由全局鉴别层和局部鉴别层两通道组成生成对抗网络,其中局部鉴别器可以增加缺陷类型的置信度损失,实现对局部信息的增强.采用所提方法在镜片缺陷图像数据集上进行实验.实验结果表明,所提方法的最近邻留一指标、最大均值差异和Wasserstein距离分别达到0.52、0.15和2.81;对于麻点、划痕、气泡和异物的缺陷类型图像,生成的图像质量优于条件生成对抗网络、Wasserstein距离生成对抗网络和马尔科夫判别器.双通道生成对抗网络生成的镜片图像有着多样性的全局信息和高质量的细节特征,可以有效增强镜片缺陷数据集.     

基于最小噪声分离和生成对抗网络的影像阴影去除

为了提高影像阴影去除的效果，提出一种基于最小噪声分离（MNF）和生成对抗网络（GAN）的影像阴影去除算法。它以GAN作为基本框架，在生成器和判别器中分别引入条件信息，采用端到端共同学习的多任务模式。生成网络采用编码解码结构，判别网络采用马尔可夫判别器结构。此外，此算法使用MNF，将消除噪声的影像灰度化后与阴影影像一起训练，进而恢复无阴影的影像。这样的网络在训练时可以专注于MNF变换后的单独特征嵌入，而非传统的跨任务共享嵌入。实验结果表明，在指定数据集上，所提算法的结构相似性（SSIM）的平均值达0.9780，像素均方根误差（RMSE）的平均值减小到9.8717。在主观感知和客观评价指标上，所提算法的实验结果均优于对比算法。     

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于图像纹理渲染的智能绘画效果生成算法设计

针对计算机智能绘画算法模型在纹理细节处理上效果不佳的问题,文中提出了一种基于图像纹理渲染的智能绘画算法。该算法以生成对抗神经网络为基础,设计了分层融合生成对抗神经网络架构。并利用结构GAN生成了一幅具有图像结构线条的图片,且将输出的图像与均匀分布的噪声作为纹理GAN的输入数据。通过纹理GAN融合图像的结构与纹理特征,进而渲染生成逼真的图像。测试结果表明,利用该种算法绘制出的素描图像纹理清晰、形象逼真,且在定量分析中IS指标达到了2.31,高于其他对比算法。     

结合全局语义优化的对抗性灰度图像彩色化

针对当前灰度图像彩色化算法容易出现色彩枯燥、颜色溢出和图像细节损失等问题,本文提出一种结合全局语义优化的对抗性灰度图像彩色化算法。其中,生成网络采用自主改进的U-Net网络。一方面,改进的U-Net网络利用多层卷积对输入图像进行逐步下采样,在获取多尺度层级特征和全局特征的同时,在跳跃连接中将全局特征和多尺度层级特征进行自适应融合,从而有效增强算法对全局语义信息的理解能力并缓解颜色溢出的现象;另一方面,改进的U-Net网络在上采样过程中融合通道注意力模块,使得在提取卷积特征时能够有效抑制噪声并降低特征冗余性。判别网络主要采用全卷积结构,通过反向传播误差以达到优化生成网络的目的。此外,本文算法的损失函数将WGAN-GP网络的优化思想和颜色损失相结合,从而解决传统生成对抗网络训练时出现的梯度消失和模式崩溃等问题。本文算法在Place365测试集上所获取的峰值信噪比、结构相似性和信息熵指标分别为24.455dB、0.943和7.489。实验结果表明,本文算法能够缓解颜色溢出,且细节保持和颜色饱和度方面都具有一定优势。     

时空自适应的分焦平面偏振视频PCA去噪

分焦平面式（DoFP）偏振成像探测器通过集成式微偏振阵列实现偏振信息的实时获取。然而由于成像过程中存在噪声,对后续的偏振图像去马赛克超分辨、场景偏振信息解算产生了严重影响。基于主成分分析（PCA）提出一种时空自适应DoFP视频数据去噪算法,对于每个待去噪的DoFP图像块,在其局部时空邻域内选取相似的图像块,然后利用主成分分析对其去噪。该算法充分利用DoFP视频数据的时空信息构建训练样本,且块匹配过程无需采用运动估计,可直接用于DoFP视频数据去噪。进一步提出基于双边滤波的残余噪声去除算法,从而得到更好的去噪效果。通过模拟与真实数据对所提算法进行实验验证,结果证明:所提算法可有效抑制噪声,在相同测试条件下,所提算法优于现有算法。     

基于GAN的广播通讯过程多链路信息融合方法

为了降低广播媒体噪声干扰、提升融合效果，提出了基于生成对抗网络的广播通讯过程多链路信息融合方法。通过小波去噪的信道估计算法清除广播通讯过程中的多链路信息噪声，将各链路信息划分为高频信息和低频信息；构建级联生成对抗网络，第一级网络依据汇总后低频信息构建多链路信息的基本结构，输出初级融合信息，第二级网络以低频到高频的转换信息为辅助任务，使第一级网络初级融合信息的细节信息更饱满。实验结果表明，该方法的信道去噪估计均方误差低；融合效果受噪声干扰较小，且融合超调量始终低于规定阈值。     

基于改进的U-Net生成对抗网络的图像翻译算法

针对传统生成对抗网络(Generative Adversarial Networks,GAN)在图像翻译过程中生成图像的轮廓、纹理等特征丢失以及造成图像翻译效果不佳的问题,提出了基于改进U-Net模型的生成对抗网络图像翻译算法。首先,实验研究Pix2Pix生成对抗网络优化算法、学习率以及迭代次数对图像翻译效果的影响,确定生成对抗网络模型参数与优化方法;其次,通过增加反卷积跳跃连接的重复次数增强特征的表达能力;最后,在CUFS人脸数据库上进行实验确定模型参数。实验表明,反卷积跳跃连接的重复次数为5次时,图像翻译的用户调研满意评价指标达到42%,图像翻译的质量达到最优。     

Exploration of the Relation between Input Noise and Generated Image in Generative Adversarial Networks

In this paper, we propose a hybrid model aiming to map the input noise vector to the label of the generated image by the generative adversarial network (GAN). This model mainly consists of a pre-trained deep convolution generative adversarial network (DCGAN) and a classifier. By using the model, we visualize the distribution of two-dimensional input noise, leading to a specific type of the generated image after each training epoch of GAN. The visualization reveals the distribution feature of the input noise vector and the performance of the generator. With this feature, we try to build a guided generator (GG) with the ability to produce a fake image we need. Two methods are proposed to build GG. One is the most significant noise (MSN) method, and the other utilizes labeled noise. The MSN method can generate images precisely but with less variations. In contrast, the labeled noise method has more variations but is slightly less stable. Finally, we propose a criterion to measure the performance of the generator, which can be used as a loss function to effectively train the network.     

Constrained adversarial loss for generative adversarial network‐based faithful image restoration

Generative adversarial networks (GAN) have been successfully used in many image restoration tasks, including image denoising, super‐resolution, and compression artifact reduction. By fully exploiting its characteristics, state‐of‐the‐art image restoration techniques can be used to generate images with photorealistic details. However, there are many applications that require faithful rather than visually appealing image reconstruction, such as medical imaging, surveillance, and video coding. We found that previous GAN‐training methods that used a loss function in the form of a weighted sum of fidelity and adversarial loss fails to reduce fidelity loss. This results in non‐negligible degradation of the objective image quality, including peak signal‐to‐noise ratio. Our approach is to alternate between fidelity and adversarial loss in a way that the minimization of adversarial loss does not deteriorate the fidelity. Experimental results on compression‐artifact reduction and super‐resolution tasks show that the proposed method can perform faithful and photorealistic image restoration.     

基于域自适应的红外图像去噪算法

在红外图像去噪任务中,由于真实的红外噪声图像难以大量获取,而使深度学习算法高度依赖于人工合成噪声,无法很好地去除真实的红外噪声。本文提出一种基于域自适应的红外图像去噪算法,包括一个图像转换模块和两个图像去噪模块。首先利用图像转换模块将合成红外噪声图像和真实红外噪声图像相互转换,然后将转换后的图像和原图像作为去噪模块的训练数据,采用一致性损失函数使两个图像去噪模块产生一致的结果,最后将训练后的去噪网络框架用于红外图像去噪任务。实验表明,本文提出的算法与BM3D、DnCNN和ADNet算法相比在合成红外噪声数据集上有更高的指标数值和更好的视觉效果,在真实红外噪声数据集上有同样优秀的去噪效果。证明了该算法具有良好的泛化能力,能够在真实噪声下恢复清晰的红外图像。     

基于循环生成对抗策略的遥感图像匹配算法北大核心CSCD

针对异源遥感影像成像模式、时相、分辨率等不同导致的图像匹配困难问题,提出了一种基于循环生成对抗策略的遥感图像匹配算法。构建了跨数据域图像特征迁移的循环生成对抗网络(generative adversarial network,GAN),设计SmoothL损失函数对网络进行优化,提高遥感图像特征提取精度,并基于图像特征迁移结果,建立三元组距离排序损失函数(trioplet margin ranking loss,TMRL)降低遥感图像的误匹配点数,实现异源遥感图像的准确匹配。实验结果表明,本文方法将异源遥感图像匹配平均准确率提升了33.51%,与CMM-Net(cross modlity matching net)方法相比,具有更好的遥感图像匹配效果。此外,本文方法不需要目标域图像的标注信息,匹配时间缩短了0.073s,能快速准确实现异源遥感图像匹配。     

基于迭代深度网络的红外图像增强算法

由于现有基于深度网络的图像增强模型直接学习退化图像与清晰图像之间的映射函数,忽略了观测模型保真项的约束,导致恢复的图像存在虚假纹理和细节丢失。本文提出了一种用于红外图像增强的改进深度网络,该网络将深度学习网络嵌入到一个迭代的图像增强任务中,通过图像增强模块和反投影模块交错优化,实现数据一致性约束。本文提出的深度网络不仅可以利用深度特征学习先验,还可以利用观测模型的一致性先验。实验结果表明,本文提出的算法可以在图像去噪和去模糊任务上获得非常有竞争力的重建结果,在低对比度区域也能获得清晰的重建效果。     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。