Underwater image restoration based on exponentiated mean local variance and extrinsic prior

Due to the absorption and scattering of light when it travels in water, underwater imaging has various problems, such as color distortion and low contrast. In general, it is difficult to accurately estimate the transmission map of underwater image during the restoration process, while it is easy to introduce external noise. In view of the above two problems, firstly, we estimate the original transmission map of underwater images by the intrinsic boundary constraint based on the scene radiance. Then, we develop a novel variational framework combined with the exponentiated mean local variance and extrinsic prior of transmission map for keeping the image edge and removing noise. Finally, we make quantitative and qualitative analyses of the restored underwater images. The experiments demonstrate that the method proposed in this paper has certain advantages compared with other methods. In quantitative comparison, our proposed method has higher image quality evaluation score. For qualitative analysis, the images restored using our method not only have natural colors and good contrast, but the details of the images are also well maintained.

     

基于深度学习的水下图像超分辨率重建方法

由于水体本身的特性以及水中悬浮颗粒对光的吸收和散射作用,水下图像普遍存在信噪比（SNR）低、分辨率低等一系列问题,但大部分方法传统处理方法包含图像增强、复原及重建,都依赖退化模型,并存在算法病态性问题。为进一步提高水下图像恢复算法的效果和效率,提出了一种改进的基于深度卷积神经网络的图像超分辨率重建方法。该方法网络中引入了改良的密集块结构（IDB）,能在有效解决深度卷积神经网络梯度弥散问题的同时提高训练速度。该网络对经过配准的退化前后的水下图像进行训练,得到水下低分辨率图像和高分辨率图像之间的一个映射关系。实验结果表明,在基于自建的水下图像作为训练集上,较卷积神经网络的单帧图像超分辨率重建算法（SRCNN）,使用引入了改良的密集块结构（IDB）的深度卷积神经网络对水下图像进行重建,重建图像的峰值信噪比（PSNR）提升达到0.38 dB,结构相似度（SSIM）提升达到0.013,能有效地提高水下图像的重建质量。     

不同颜色模型下自适应直方图拉伸的水下图像增强

目的 水下图像是海洋信息的重要载体,然而与自然环境下的图像相比,其成像原理更复杂、对比度低、可视性差。为保证不同类型水下图像的增强效果,本文提出在两种颜色模型下自适应直方图拉伸的水下图像增强方法。方法 首先,进行基于Gray-World理论对蓝、绿色通道进行颜色均衡化预处理。然后,根据红绿蓝（R-G-B）通道的分布特性和不同颜色光线在水下传播时的选择性衰减,提出基于参数动态优化的R-G-B颜色模型自适应直方图拉伸,并采用引导滤波器降噪。接下来,在CIE-Lab颜色模型,对‘L’亮度和‘a’‘b’色彩分量分别进行线性和曲线自适应直方图拉伸优化。最终,增强的水下图像呈现出高对比度、均衡的饱和度和亮度。结果 选取不同类型的水下图像作为数据集,将本文方法与融合颜色模型（ICM）、非监督颜色纠正模型（UCM）、基于暗通道先验性（DCP）的水下图像复原和基于水下暗通道先验（UDCP）的图像复原方法相比较,增强后的图像具有高对比度和饱和度。定性和定量分析实验结果说明本文提出的方法能够获得更好视觉效果,增强后的图像拥有更高信息熵和较低噪声。结论 在RGB颜色模型中,通过合理地考虑水下图像的分布特性和水下图像退化物理模型提出自适应直方图拉伸方法;在CIE-Lab颜色模型中,引入拉伸函数和指数型曲线函数重分布色彩和亮度两个分量,本方法计算复杂度低,适用于不同复杂环境下的水下图像增强。     

结构相似性的水下偏振图像复原

目的 针对水下偏振图像存在雾状模糊和场景细节不明显的问题,以水体透射率图与目标反射光图像存在的相互独立性为基础,提出一种基于结构相似性的水下偏振图像复原方法,旨在提高水下偏振图像的清晰度、对比度和色彩真实度。方法 首先,获取同一水下场景下具有正交偏振方向且分别具有最大和最小光强的两幅偏振图像;然后根据透射率图与目标反射光之间的统计无关性,使用结构相似性推导求解透射率的关系式,并通过偏振差分图像计算透射率的初始值,利用该关系式进行水体透射率的迭代求解;最后将透射率代入偏振成像模型得到目标反射光图像,进而进行颜色校正得到复原图像。结果 选取多组正交的水下偏振图像作为研究对象,采用本文提出的方法与另两种偏振复原算法对其进行复原处理,使用对比度、信息熵、灰度平均梯度、峰值信噪比、增强量以及时间等量化指标进行评估。对比实验结果表明,本文算法在对比度、信息熵、灰度平均梯度、增强量以及颜色恢复上都优于另两种偏振图像复原方法,并有较大幅度的提高;灰度平均梯度和对比度较YY算法提高了一倍左右;本文复原图像的色彩分布较均匀使得图像的信息含量大,信息熵高;而突出的EME也证明本文算法的结果纹理清晰、对比度高以及图像复原程度好;提出算法的复原效果有显著的改善,但算法运行时间较长,实时性有待提高。结论 本文基于水下偏振成像模型的分析以及透射率图与目标反射光图像之间的统计无关性,从水体透射率的估计出发进行图像复原,有效地解决了水下偏振图像细节模糊、对比度低的问题。通过对算法实验效果的主客观分析表明,本文算法能有效地复原水下偏振图像,得到对比度高、细节明显和色彩丰富的恢复图像。     

一种基于色彩补偿的水下图像综合增强算法

针对退化的水下图像在高级视觉分析任务中无法进行有效的目标检测及识别的问题,提出了一种通过色彩补偿和对比度拉伸,HSV空间γ校正和亮度通道去模糊系列方法实现了对水下图像的色彩校正、色彩对比度、饱和度和细节清晰度的综合提高.其中,提出了基于高斯滤波的亮度通道去散射方法,并对典型水体水下图像综合增强参数进行了分析.实验对比了...     

De-hazing and enhancement method for underwater and low-light images

Because underwater and low-light images have different characteristics, there are few methods to jointly improve the visibility of these images. This paper proposes a de-hazing and enhancement method for underwater and low-light images to describe the two types of images uniformly. Multi-scale retinex color recovery (MSRCR) and guided filtering methods are used for de-hazing; the proposed method of white balance fusion global guided image filtering (G-GIF), effectively solve the problems of dim light, color distortion, and loss of edge details. Experiments show that compared with other methods, this method can effectively solve the image exposure, and at the same time, it can better protect and enhance the image’s color saturation and edge texture details, thus achieving a very good visual effect.

     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

结合背景光融合及水下暗通道先验和色彩平衡的#br# 水下图像增强

水下环境、光线衰减和拍摄方式造成水下图像具有不同色调、对比度和模糊度.基于图像成像模型的水下图像复原方法通常基于暗通道先验或最大像素先验,容易受到水下复杂环境的干扰而输出低质量的复原图像,因此文中提出基于背景光融合及水下暗通道先验和色彩平衡的水下图像增强方法.首先,提出多候选背景光融合方法,估计正确的背景光.然后,基于高质量水下图像统计得出水下暗通道先验,计算更准确的RGB分量传输地图.将复原图像从RGB颜色模型转换到CIE-Lab颜色模型,对L亮度分量和a、b色彩分量分别进行归一化拉伸和优化调整,进一步提高复原后水下图像的亮度和对比度.多种定性和定量分析说明文中方法增强的图像在对比度、亮度和颜色上的显示效果优于大部分现有的水下图像增强方法复原的图像.     

基于改进CycleGAN的水下图像颜色校正与增强

针对水下观测图像的颜色失真和散射模糊问题,提出一种基于改进循环一致性生成对抗网络(Cycle-consistent generative adversarial networks, CycleGAN)的水下图像颜色校正与增强算法.为了利用CycleGAN学习水下降质图像到空气中图像的映射关系,对传统CycleGAN的损失函数进行了改进,提出了基于图像强边缘结构相似度(Strong edge and structure similarity, SESS)损失函数的SESS-CycleGAN, SESS-CycleGAN可以在保留原水下图像的边缘结构信息的前提下实现水下降质图像的颜色校正和对比度增强.为了确保增强后图像和真实脱水图像颜色的一致性,建立了SESSCycleGAN和正向生成网络G相结合的网络结构;并提出了两阶段学习策略,即先利用非成对训练集以弱监督方式进行SESS-CycleGAN学习,然后再利用少量成对训练集以强监督方式进行正向生成网络G的监督式学习.实验结果表明:本文算法在校正水下图像颜色失真的同时还增强了图像对比度,且较好地实现了增强后图像和真实脱水图像视觉颜色的一致性.     

多残差联合学习的水下图像增强

目的 由于海水中悬浮的颗粒会吸收和散射光,并且不同波长的光在海水中的衰减程度也不同,使得水下机器人拍摄的图像呈现出对比度低、颜色失真等问题。为解决上述问题以呈现出自然清晰的水下图像,本文提出了基于神经网络的多残差联合学习的方法来对水下图像进行增强。方法 该方法包括3个模块：预处理、特征提取和特征融合。首先,采用Sigmoid校正方法对原始图像的对比度进行预处理,增强失真图像的对比度,得到校正后的图像;然后,采用双分支网络对特征进行提取,将原始图像送入分支1——残差通道注意分支网络,将校正后的图像与原始图像级联送入分支2——残差卷积增强分支网络。其中,通道注意分支在残差密集块中嵌入了通道注意力模型,通过对不同通道的特征重新进行加权分配,以加强有用特征;卷积增强分支通过密集级联和残差学习,提取校正图像中边缘等高频信息以保持原始结构与边缘。最后,在特征融合部分,将以上双分支网络的特征级联后,通过残差学习进一步增强;增强后的特征与分支1的输出、分支1与分支2的输出分别经过自适应掩膜进行再次融合。选取通用UIEB(underwater image benchmark dataset)数据集中的800幅水下图像作为训练集进行训练,设计了结合图像内容感知、均方误差、梯度和结构相似性的联合损失函数对网络进行端到端训练。结果 在通用UIEB数据集上选取非训练集中有参考图像的90幅图像与当前10种方法进行测试。结果显示,本文方法增强后的水下图像的PSNR(peak signal-to-noise ratio)指标平均达到了20.739 4 dB,SSIM(structural similarity)为0.876 8,UIQM(underwater image quality measure)为3.183 3,均高于对比方法。结论 本文方法不仅在客观质量上超越了对比方法,且在主观质量上也显著提高了对比度,能够产生颜色丰富并且清晰度较高的增强图像。尤其是对于深水场景中偏蓝的水下图像,本文方法获得显著的质量提升。     

自监督学习的单幅透射图像恢复

现有基于学习的单幅透射图像恢复方法常需要大量成对的标签数据来训练模型,因缺乏成对图像集的监督约束,致使透射图像恢复效果欠佳,限制了其实用性.提出了一种基于自监督学习的单幅透射图像恢复方法,利用循环一致性生成对抗网络的循环结构和约束转移学习能力实现非成对图像的模型训练,通过设计自学习模块,从大规模的无监督数据中挖掘自身的监督信息对网络进行训练,以此形成有效的从浅层到深层的特征提取,提高透射图像正面内容的纹理、边缘等细节信息恢复质量,实现单幅图像的透射去除.实验结果表明,该方法在合成图像数据集、公共图像数据集以及真实图像数据集上都取得了较好的透射图像恢复结果.     

The Retinex based improved underwater image enhancement

The underwater images suffer from low contrast and color distortion due to variable attenuation of light and nonuniform absorption of red, green and blue components. In this paper, we propose a Retinex-based underwater image enhancement approach. First, we perform underwater image enhancement using the contrast limited adaptive histogram equalization (CLAHE), which limits the noise and enhances the contrast of the dark components of the underwater image at the cost of blurring the visual information. Then, in order to restore the distorted colors, we perform the Retinex-based enhancement of the CLAHE processed image. Next, in order to restore the distorted edges and achieve smoothing of the blurred parts of image, we perform bilateral filtering on the Retinex processed image. In order to utilize the individual strengths of CLAHE, Retinex and bilateral filtering algorithms in a single framework, we determine the suitable parameter values. The qualitative and quantitative performance comparison with some of the existing approaches shows that the proposed approach achieves better enhancement of the underwater images.

     

采用双尺度图像分解的水下彩色图像增强

目的 为解决水下图像的色偏和低对比度等问题,提出一种基于双尺度图像分解的水下彩色图像增强算法。方法 通过基于均值和方差的对比度拉伸方法改善图像的色偏问题,并利用中值滤波降低红通道对比度拉伸后引入的噪声;采用双尺度图像分解绿通道图像补偿红通道图像细节;在处理后的红通道图像中引入原始图像红通道的真实细节与颜色。结果 选取不同水下图像作为实验数据集,将本文方法与暗通道先验的方法、基于融合的方法、自动红通道恢复方法以及一种基于卷积神经网络深度学习的方法相比较,首先从主观视觉效果进行定性分析,然后通过不同评测指标进行定量分析。主观定性分析结果表明,提出的方法相比较其他方法能够更好地解决图像色偏和红色阴影问题;定量分析中,自然图像质量评价（natural image quality evaluation,NIQE）指标和信息熵（information entropy,IE）值较基于融合的方法和深度学习的方法分别提高了1.8%和13.6%,且水下图像质量评价指标（underwater image quality measurement method,UIQM）较其他方法更优。结论 提出的双尺度图像分解方法利用水下图像成像特点解决图像色偏以及低对比度问题,具有良好的适应能力,同时算法复杂度低且鲁棒性较高,普遍适用于复杂的水下彩色图像增强。     

基于颜色衰减先验和白平衡的水下图像复原

由于水体中悬浮颗粒对光线的吸收及散射作用,以及不同波长的光在水下的衰减程度不同,水下图像通常存在细节模糊、对比度低、颜色失真等问题。为改善水下图像质量,提出一种基于颜色衰减先验和白平衡的水下图像复原方法。首先,根据图像在HSV颜色空间中的颜色衰减先验获得场景深度图;其次,利用水下光学衰减特性估计RGB三通道对应的背景光强度与水下透射率,以实现水下图像的清晰化;最后,采用改进的白平衡方法对清晰化后的水下图像进行颜色校正。实验结果表明,该方法可以显著提升水下图像的细节清晰度与颜色保真度,视觉效果更接近自然场景下的图像。     

基于新生成器结构的图像修复方法

针对目前图像修复算法存在的修复效果不连续、缺失大小受限、训练过程不稳定等缺点,提出了一种基于生成对抗网络的图像修复方法.利用卷积神经网络,我们可以真实地修复任意分辨率的图像.为了实现高分辨率的真实修复效果和对图像特征的充分学习,我们提出基于DenseNet传播源图像的细节和结构得到高分辨率的图像,实现图像缺失生成;由于Iizuka等人提出的基于双判别器方法中膨胀卷积部分所产生的巨大运算量,我们提出使用JPU (Joint Pyramid Upsampling,联合金字塔上采样)来加速计算.在CelebA和ImageNet上的实验表明,所提方法能真实地修复大多数的破损图像.     

融合区域和边缘特征的水平集水下图像分割

目的 水平集模型是图像分割中的一种先进方法,在陆地环境图像分割中展现出较好效果。特征融合策略被广泛引入到该模型框架,以拉伸目标-背景对比度,进而提高对高噪声、杂乱纹理等多类复杂图像的处理性能。然而,在水下环境中,由于水体高散射、强衰减等多因素的共同作用,使得现有图像特征及水平集模型难以适用于对水下图像的分割任务,分割结果与目标形态间存在较大差异。鉴于此,提出一种适用于水下图像分割的区域-边缘水平集模型,以提高水下图像目标分割的准确性。方法 综合应用图像的区域特征及边缘特征对水下目标进行辨识。对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。所提方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。结果 基于YouTube和Bubblevision的水下数据集的实验结果表明,所提方法不仅对高散射强衰减的低对比度水下图像实现较好的分割效果,同时对处理强背景噪声图像也有较好的鲁棒性,与水平集分割方法（local pre-fitting,LPF）相比,分割精确度至少提高11.5%,与显著性检测方法（hierarchical co-salient detection via color names,HCN）相比,精确度提高6.7%左右。结论 实验表明区域-边缘特征融合以及其基础上的水平集模型能够较好地克服水下图像分割中的部分难点,所提方法能够较好分割水下目标区域并拟合目标轮廓,与现有方法对比获得了较好的分割结果。     

水下图像增强和复原方法研究进展

目的 近年来随着水下图像/视频在海洋军事、海洋环境保护和海洋工程等科研和工业领域扮演越来越重要的角色,水下图像增强和复原作为关键技术之一,越来越多地成为研究的热点和难点问题。目前有关水下图像增强和复原方法研究进展的综述论文在国内外相对较少,为使即将进入该研究领域的学者比较全面地了解该领域的研究现状,促进该领域的快速发展,本文对其系统综述。方法 在广泛调研大量文献的基础上,按照是否基于物理模型对已有方法进行分类讨论,对其基本思想、方法特点、实验方法进行归纳和总结,其中对典型的方法进行具体介绍和分析。同时,介绍了水下图像质量的评测体系,针对典型方法的处理结果进行定性和定量的评测。进而,总结该研究领域目前存在的不足,展望未来可能的发展方向。结果 总结了水下图像退化的原因、水下图像增强和复原所采用的主要技术和方法、水下图像质量评测体系的发展历程,给出了亟待解决的问题,展望了未来的发展方向。结论 作为新兴的研究领域,水下图像增强和复原在工业界和学术界都具有广阔的应用前景和研究价值,但针对目前存在的一些局限性还需要进一步深入研究。     

An improved K-means algorithm for underwater image background segmentation

Conventional algorithms fail to obtain satisfactory background segmentation results for underwater images. In this study, an improved K-means algorithm was developed for underwater image background segmentation to address the issue of improper K value determination and minimize the impact of initial centroid position of grayscale image during the gray level quantization of the conventional K-means algorithm. A total of 100 underwater images taken by an underwater robot were sampled to test the aforementioned algorithm in respect of background segmentation validity and time cost. The K value and initial centroid position of grayscale image were optimized. The results were compared to the other three existing algorithms, including the conventional K-means algorithm, the improved Otsu algorithm, and the Canny operator edge extraction method. The experimental results showed that the improved K-means underwater background segmentation algorithm could effectively segment the background of underwater images with a low color cast, low contrast, and blurred edges. Although its cost in time was higher than that of the other three algorithms, it none the less proved more efficient than the time-consuming manual segmentation method. The algorithm proposed in this paper could potentially be used in underwater environments for underwater background segmentation.

     

Classification and recognition of computed tomography images using image reconstruction and information fusion methods

In this paper, we propose a diagnosis and classification method of hydrocephalus computed tomography (CT) images using deep learning and image reconstruction methods. The proposed method constructs pathological features differing from the other healthy tissues. This method tries to improve the accuracy of pathological images identification and diagnosis. Identification of pathological features from CT images is an essential subject for the diagnosis and treatment of diseases. However, it is difficult to accurately distinguish pathological features owing to the variability of appearances, fuzzy boundaries, heterogeneous densities, shapes and sizes of lesions, etc. Some study results reported that the ResNet network has a better classification and diagnosis performance than other methods, and it has broad application prospectives in the identification of CT images. We use an improved ResNet network as a classification model with our proposed image reconstruction and information fusion methods. First, we evaluate a classification experiment using the hydrocephalus CT image datasets. Through the comparative experiments, we found that gradient features play an important role in the classification of hydrocephalus CT images. The classification effect of CT images with small information entropy is excellent in the evaluation of hydrocephalus CT images. A reconstructed image containing two channels of gradient features and one channel of LBP features is very effective in classification. Second, we apply our proposed method in classification experiments on CT images of colonography polyps for an evaluation. The experimental results have consistency with the hydrocephalus classification evaluation. It shows that the method is universal and suitable for classification of CT images in these two applications for the diagnosis of diseases. The original features of CT images are not ideal characteristics in classification, and the reconstructed image and information fusion methods have a great effect on CT images classification for pathological diagnosis.

     

水下光学图像重建方法研究进展

水下光学图像可以提供直观丰富的海洋信息,近年来在海洋资源开发、环境保护和海洋工程等诸多领域发挥越来越重要的作用。但是受恶劣复杂的水下成像环境影响,水下光学图像普遍存在对比度低、图像模糊以及颜色失真等质量退化问题,严重制约水下智能处理系统的性能和应用。如何清晰地重建水下光学图像是国内外广泛关注的、具有挑战性的难点问题。随着深度学习技术的蓬勃发展,利用深度学习来提升水下图像质量成为当前的研究热点。鉴于目前国内在水下光学图像重建方面的研究综述较少,本文全面综述其研究进展。分析了水下图像退化机理,总结了现有水下成像模型以及水下图像重建的挑战;梳理了水下光学图像重建方法的发展历程,根据是否采用深度学习以及是否基于成像模型,将现有方法分为4大类,并按照研究发展顺序,依次介绍4类方法的基本思想,分析其优缺点;归纳了目前公开的水下图像数据集以及常用的水下图像质量评价方法,并对8种典型的水下图像重建方法进行了性能评测和对比分析;总结了该领域目前仍存在的问题,展望了后续研究方向,以便于相关研究人员了解该领域的研究现状,促进该领域的技术发展。