基于深度残差神经网络的红外图像超分辨率重构算法

提出了一种基于深度残差神经网络的红外灰度图像超分辨率重构算法。首先使用残差卷积模块增加网络深度提高了网络的学习能力,使得卷积层在学习过程中能够利用到更多的邻域信息对于复杂场景有更好的学习能力。然后使用跳跃连接方式增加高频信息传输以实现对于图像细节的增强。实验结果表明,该网络能够有效地丰富重构图像的细节,重构图像中的目标轮廓有明显改善。     

基于深度残差网络的图像混合噪声去除

深度卷积神经网络的提出引发了图像处理算法的一系列突破。但是,使用更深入的网络并不总是有帮助,训练它们的巨大障碍是逐渐消失的梯度、大量增长的参数和过长的时间。本文提出了一种基于深度残差网络的图像混合噪声去除算法。通过全局残差学习与局部残差学习,有效地解决了梯度消失与网络参数的增长,提升了模型对图像特征的选择与提取能力,减少了训练时间。实验结果表明,深度残差网络在图像混合噪声去除中效果显著,本文提出的算法得到的去噪图像更好地恢复图像的原始结构,信息丰富,对比度高,鲁棒性强,并且可以更好地保持图像的细节。     

基于迁移学习的三子网图像去雾方法

目前大部分图像去雾算法只在一种或几种均匀雾图数据集中有较好的表现,对于不同风格或非均匀雾图数据集去雾效果较差,同时算法在实际应用中会因模型泛化能力差导致模型场景受限。针对上述情况,该文提出一种基于迁移学习的卷积神经网络(CNN)用于解决去雾算法中非均匀雾图处理效果不佳和模型泛化能力差等问题。首先,该文使用ImageNet预训练的模型参数作为迁移学习模型的初始参数,以加速模型训练收敛速度。其次,主干网络模型由3个子网组成:残差特征子网络、局部特征提取子网络和整体特征提取子网络。3子网结合以保证模型可从整体和局部两个方面进行特征提取,在现实雾场景(浓雾、非均匀雾)中获得较好的去雾效果。该文在模型训练效率、去雾质量和雾图场景选择灵活性3个方面进行了研究和改进,为衡量模型性能,模型选择在去雾难度较大的非均匀雾图数据集NTIRE2020和NTIRE2021上进行定量与定性实验。实验结果证明3子网模型在图像主观和客观评价指标两个方面都取得了较好的效果。该文模型改善了算法泛化性能差和小数据集难以进行模型训练的问题,可将该文成果广泛应用于小规模数据集和多变场景图像的去雾工作中。     

基于深度学习的图像去雾算法研究进展

图像是信息的重要承载形式。雾霾的出现降低了图像采集设备采集到的图像质量,容易出现色彩暗淡、对比度和饱和度降低、细节信息丢失等问题,直接影响了有用信息的表达和利用。目前对图像去雾的研究多采用深度学习的方法,卷积神经网络代替了人工特征提取方式,取得了优于传统算法的去雾效果,但普遍存在着对真实世界雾霾图像和清晰图像对的依赖。无监督学习的方法带来了新的解决思路。从监督学习和无监督学习的角度对有代表性的深度学习图像去雾算法进行分类,归纳了常用的数据集、评价指标,概括分析了有影响力的去雾模型的核心思想,总结了各算法的优缺点和适用场景。针对目前工作存在的不足,探索了下一步研究的方向。     

基于深度卷积神经网络的低剂量CT肺部去噪

为了降低低剂量CT肺部噪声对肺癌筛查后期诊断的影响,该文提出一种基于深度卷积神经网络的低剂量CT肺部去噪算法。以完整的CT肺部图像作为输入,池化层对输入图像进行降维处理;批规范化解决随着网络深度的增加性能降低的问题;引入残差学习,学习模型中每一层的残差,最后输出去噪图像。与经典去噪算法实验结果对比,所提方法在解决去噪方面达到了很好的滤波效果,同时也较好地保留了肺部图像的细节信息,大大优于传统的去噪算法。     

基于改进AOD-Net网络模型的车载图像去雾方法

基于现有去雾算法存在去雾效果不佳和去雾效率低等问题,提出了一种改进AOD-Net网络模型。首先对输入图像进行随机噪声添加,提高图像模型去雾鲁棒性。接着对不同尺度的卷积核进行多线程处理,同时将图像中的特征信息提取,然后利用注意力机制进行权重分配,采集图像中的纹理信息和细腻化特征信息,提升图像的质量。最后对提取的特征信息利用AOD-Net模型的前两层卷积进行二次特征提取,估计出联合参数,输出去雾后的图像。实验结果表明,采用本算法得到的第一组和第二组图像峰值信噪比分别为20.05和16.92,结构相似性分别为0.85和0.83,IE熵值分别为7.48和7.75,各项数值均有提升,图像去雾效果更好,证明了本算法的有效性。     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

改进的卷积神经网络红外图像超分辨率算法

基于卷积神经网络的图像超分辨率算法可以分为图像尺寸放大和图像细节恢复/增强两个步骤,在细节恢复过程中,卷积层直接从输入图像中学习特征并将该特征作为下一个卷积层的输入数据。为了加强输入图像和卷积层各通道图像的特征表达能力,提出了一种新的卷积神经网络算法,该算法对输入图像和通道图像进行选择性灰度变换而增强特征表达的能力。实验结果表明,在公共红外图像数据集和实验室采集的红外图像数据集上,所提方法的超分辨率重建效果均优于当前的几种典型算法,能够恢复的细节信息更多。     

基于多流扩张残差稠密网络的图像去雨算法

针对传统图像去雨算法未考虑多尺度雨条纹及图像去雨后细节信息丢失的问题,提出一种基于多流扩张残差稠密网络的图像去雨算法,利用导向滤波器将图像分解为基础层和细节层。通过直接学习含雨图像细节层和无雨图像细节层的残差来训练网络,缩小映射范围。采用3条带有不同扩张因子的扩张卷积对细节层进行多尺度特征提取,获得更多上下文信息,提取复杂多向的雨线特征;同时,将扩张残差密集块作为网络的参数层,加强特征传播,扩大接受域。在合成图片和真实图片上的实验结果表明,所提算法能有效去除不同密度的雨条纹,并较好地恢复图像细节信息。通过对比其他算法,证明了所提算法在主观效果和客观指标上都有提升。     

多尺度卷积神经网络的噪声模糊图像盲复原

图像盲复原是从一幅观测的模糊图像恢复出模糊核和清晰图像,传统盲去卷积算法采用简化模型估计模糊核,导致预测模糊核与真实值误差较大,最终复原结果不理想。针对此问题提出一种基于改进残差模块的多尺度卷积神经网络模型,采用端到端模式,无需估计模糊核。提出了一种基于限制网络输入的改进Wasserstein GAN （WGAN）,增加了一层输入限制层,能够限定参数初始值,提高了网络收敛速度。设计了多重损失函数,融合了基于多尺度网络的感知损失和基于条件式生成对抗网络的对抗损失。实验结果表明:所提方法在定量和定性评价指标上优于已有的代表性方法,并且运行速度比相近算法快了4倍。     

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

Attention mechanism enhancement algorithm based on cycle consistent generative adversarial networks for single image dehazing

This paper proposes AMEA-GAN, an attention mechanism enhancement algorithm. It is cycle consistency-based generative adversarial networks for single image dehazing, which follows the mechanism of the human retina and to a great extent guarantees the color authenticity of enhanced images. To address the color distortion and fog artifacts in real-world images caused by most image dehazing methods, we refer to the human visual neurons and use the attention mechanism of similar Horizontal cell and Amazon cell in the retina to improve the structure of the generator adversarial networks. By introducing our proposed attention mechanism, the effect of haze removal becomes more natural without leaving any artifacts, especially in the dense fog area. We also use an improved symmetrical structure of FUNIE-GAN to improve the visual color perception or the color authenticity of the enhanced image and to produce a better visual effect. Experimental results show that our proposed model generates satisfactory results, that is, the output image of AMEA-GAN bears a strong sense of reality. Compared with state-of-the-art methods, AMEA-GAN not only dehazes images taken in daytime scenes but also can enhance images taken in nighttime scenes and even optical remote sensing imagery.     

Adaptive single image dehazing method based on support vector machine

A dehazing method often only shows good results when processing the image for a certain haze concentration. So an adaptive hazy image dehazing method based on SVM is proposed. The innovation points are as follows: Firstly, combining the characteristics of the degraded images of haze weather, the dark channel histogram and texture features of the input images are extracted to form the feature vectors. These are trained by supervised learning through SVM algorithm to realize automatic binary classification of images; Secondly, the defined dehazing methods are called to process the classified result as a hazy image and the same quality evaluation indexes are used to evaluate each image output by different dehazing methods. Then, it outputs the highest evaluation image after haze removal. Finally, the output image is classified again by SVM until the image reaches the clearest it can be. The experimental results show that the proposed algorithm exhibits good contrast, brightness and color saturation from the visual effect. Also the scene adaptability and robustness of the algorithm are improved.     

From synthetic to natural — single natural image dehazing deep networks using synthetic dataset domain randomization

Image dehazing methods aim to solve the problem of poor visibility in images due to haze. Techniques proposed for image dehazing in literature focus on image priors, haze lines or data driven statistical models. Variations of the classical methods relying on prior model or haze line model use no-reference image quality metrics to prove their dehazing performance. Recently developed deep learning models rely on huge amounts of hazy, haze-free pairs for training, and uses PSNR and SSIM like image reconstruction metrics to show their performance. These methods perform poorly on no-reference image quality assessments and also dehazes poorly at the depths of the image. These methods though can be optimized for memory usage and are faster. This work presents a deep learning model (Feature Fusion Attention Network) trained on a domain randomized synthetic dataset generated in simulation. The proposed model achieves the highest scores on blind image assessments through the gradient rationing technique for a deep learning-based approach by a significant margin. The images were evaluated on full-reference metrics as well and obtained favorable results. This approach also yields one of the highest edge sharpness obtained after dehazing. The training procedure adopted to obtain significant gains on real-world dehazing, without using any real-world data is also detailed in this paper.     

基于雾气特征与不等关系约束的去雾方法

针对现有去雾算法未充分考虑图像雾气信息、复原图像细节模糊等问题,提出一种新颖的反映图像雾信息分布的雾气特征图,并采用不等关系约束方法提高图像质量。首先,提取退化图像的极值通道以实现雾气信息的粗略估计,并通过L-1正则化对其进行优化从而得到雾气特征图。其次,提出一种基于雾气特征的初级大气光幕函数,通过对颜色通道和大气光幕作深入分析,利用均值不等式获得约束后的退化场景大气光幕。最后,利用雾气特征图对局部大气光进行改进,并基于大气散射模型实现图像去雾。将所提算法在真实雾图和合成数据集雾图上与其他经典方法进行比较分析,可以发现,所提算法在单幅图像去雾中展现了较好的性能,且在夜间雾图复原中更具优势。     

单幅图像的快速去雾算法

雾的存在使得户外图像的处理变得困难。雾、霭、烟等现象会使彩色图像退化,对比度降低。介绍了一种单幅图像的去雾新算法,不需要分割图像,直接利用高斯低通滤波器分离出背景空气光,利用改良的暗通道法对大气光进行估计,结合雾天图像的物理模型对图像进行复原,最后再对图像的饱和度进行校正,得到最终的复原效果。该算法的主要优点是速度快,...     

一种联合雾线和凸优化的单幅图像去雾算法

为解决传统去雾算法容易在天空区域出现光晕效应和复原后的图像颜色过饱和等问题,提出了一种联合雾线和凸优化的单幅图像去雾算法。该算法使用雾线先验来估计大气光值,并通过离散小波变换构建了一个降维的子带雾图模型,进一步将双线性耦合项和大气光传输分布作为线性优化变量进行凸优化求解来得到透射率,最后通过大气散射模型恢复出无雾图像。实验结果表明该算法在大多数情况下恢复的图像清晰自然,与其他几种常用的图像去雾算法的客观对比,也证实了该算法的可行性和有效性。     

A joint cumulative distribution function and gradient fusion based method for dehazing of long shot hazy images

Hazy or foggy weather conditions significantly degrade the visual quality of an image in an outdoor environment. It also changes the color and reduces the contrast of an image. This paper introduces a novel single image dehazing technique to restore a hazy image without considering the physical model of haze formation. In order to find haze-free image, the proposed method does not require the transmission map and its costly refinement process. Since haze effect is dependent on the depth, it severely degrades the visibility of the objects located at a far distance. The objects close to the camera are unaffected. In this paper, we propose a fusion-based haze removal method based on the joint cumulative distribution function (JCDF) that treats faraway haze and nearby haze separately. The output images after the JCDF module, fused in the gradient domain to produce a haze-free image. The proposed method not only significantly enhances visibility but also preserves texture details. The proposed method is experimented and evaluated on a large set of challenging hazy images (large scene depth, night time, dense fog, etc.). Both qualitative and quantitative measures show that the performance of the proposed method is better than the state-of-the-art dehazing techniques.