YCbCr空间分治的双分支低照度图像增强网络

目的 现有的低照度图像增强算法通常在RGB颜色空间采用先增强后去噪的方式提升对比度并抑制噪声,由于亮度失真和噪声在RGB颜色空间存在复杂的耦合关系,往往导致增强结果不理想。先增强后去噪的方式也放大了原本隐藏在黑暗中的噪声,使去噪变得困难。为有效处理亮度失真并抑制噪声,提出了一个基于YCbCr颜色空间的双分支低照度图像增强网络,以获得正常亮度和具有低噪声水平的增强图像。方法 由于YCbCr颜色空间可以分离亮度信息与色度信息,实现亮度失真和噪声的解耦,首先将低照度图像由RGB颜色空间变换至YCbCr颜色空间,然后设计一个双分支增强网络,该网络包含亮度增强模块和噪声去除模块,分别对亮度信息和色度信息进行对比度增强和噪声去除,最后使用亮度监督模块和色度监督模块强化亮度增强模块和噪声去除模块的功能,确保有效地提升对比度和去除噪声。结果 在多个公开可用的低照度图像增强数据集上测试本文方法的有效性,对比经典的低照度图像增强算法,本文方法生成的增强图像细节更加丰富、颜色更加真实,并且含有更少噪声,在LOL（low-light dataset）数据集上,相比经典的KinD++（kindling the darkness）,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了3.09 dB,相比URetinex（Retinex-based deep unfolding network）,PSNR提高了2.74 dB。结论 本文提出的空间解耦方法能够有效地分离亮度失真与噪声,设计的双分支网络分别用于增强亮度和去除噪声,能够有效地解决低照度图像中亮度与噪声的复杂耦合问题,获取低噪声水平的亮度增强图像。     

一种矿井图像增强算法

针对煤矿井下视频监控系统采集图像对比度低、光照不均、伴有大量噪声等问题,提出一种基于加权引导滤波同步去噪的单尺度Retinex算法对矿井图像进行增强。该算法首先采用加权引导滤波代替单尺度Retinex算法的高斯滤波对图像的低频分量进行照度估计,然后采用加权引导滤波对图像的高频分量进行去噪处理,最后由对数域转换到实数域得到增强后的图像。通过主观视觉效果和客观质量评价对该算法进行验证,结果表明该算法较传统图像增强算法可获得更好的图像视觉效果,且图像处理速度更快。     

一种矿井低照度图像增强算法

针对小波变换在图像边缘保持和细节处理方面无法保持平衡及多尺度Retinex算法易造成图像出现光晕伪影和噪声污染严重等问题,将小波变换与基于多尺度引导滤波的多尺度Retinex算法相结合,提出了一种矿井低照度图像增强算法。该算法首先将低照度图像进行小波分解得到高频分量和低频分量;然后对图像高频分量采用三段式阈值函数进行小波去噪,对图像低频分量采用非线性全局亮度校正以增强图像亮度,同时采用多尺度引导滤波函数代替传统多尺度Retinex算法的高斯滤波函数来估计照射分量,进而求取反射分量,并运用主成分分析法对反射分量与非线性全局亮度校正的图像进行融合,有效提升图像边缘细节保持效果;最后对图像高频分量和低频分量进行小波重构,并对小波重构后的图像进行非线性变换,解决图像泛灰问题。实验结果表明,该算法具有很强的噪声抑制能力,可有效提升图像亮度和对比度,使图像边缘保持性能和细节信息丰富度得到有效平衡,避免了图像出现光晕伪影、颜色失真等现象。     

基于亮度传播图的低照度图像增强算法

由于低照度图像的整体亮度比较暗、动态范围低、噪声大等特点,提出一种基于亮度传播图的低照度图像增强算法。考虑到低照度图像增强的同时也会放大噪声,因此在增强图像之前对图像进行去噪处理。使用BM3D在YCb Cr空间对图像进行去噪之后,在HSI空间对图像进行增强,利用亮度分量估计亮度传播图,利用物理模型还原低照度图像。实验表明该方法能够快速有效地提高低照度图像的整体亮度和对比度,增强图像的细节并减少噪声,得到视觉效果良好的图像。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

低照度图像增强算法

针对多尺度Retinex算法(MSR)以及其它图像增强算法处理后的图像峰值信噪比较低的缺陷,本文提出结合Retinex理论,根据照射分量和反射分量的特性,对二者分别采用不同的非线性函数进行调整来提高图像的对比度和增强图像细节,并在低亮度区域进行噪声抑制的方法。实验结果表明,在HSV和RGB彩色空间,运用本算法处理在低照度情况下的图像,处理后图像的峰值性噪比以及对比度高于其他算法,并且处理速度也快于MSR算法。     

一种煤矿井下低照度图像增强算法

针对多尺度Retinex算法在处理煤矿井下低照度图像时存在细节增强不足和耗时等问题,提出了一种基于光照校正的快速多尺度Retinex算法对煤矿井下低照度图像进行增强。该算法通过计算高斯模糊后图像的每个像素点的亮度值,将图像划分为暗调区域和高光区域,并对不同区域进行光照校正,从而降低高光区域的亮度,保证不过分曝光,同时提升较暗区域的亮度,凸显更多细节信息;利用三次快速均值滤波代替高斯滤波来估计光照强度,减少算法耗时。实验结果表明,该算法能有效提高图像的亮度和对比度,增强图像中暗调区域和高光区域的细节,具有较快的处理速度。     

自适应双向保带宽对数变换及低照度图像增强

目的 在低照度环境下,由于受图像采集设备的限制,导致获取到的图像往往亮度低、对比度差。针对这一问题,提出一种自适应双向保带宽对数变换的增强算法。方法 首先通过标准化变换将低照度图像处理成标准化图像,然后根据标准化图像的平均亮度进行自适应双向保带宽对数变换,最后对图像取整输出,从而得到增强后的图像。结果 实验选用LIVE database release2标准库中29幅高质量图像作为参考图像,然后经Photoshop CS5统一处理成低照度图像,使用本文算法对其增强,并与直方图均衡化（HE）、多尺度Retinex增强（MSR）、自然保持的增强算法（NPEA）的结果进行比较。本文算法增强后的图像其整体对比度和亮度在主观上都有较大提高,增强效果优于其他3种方法;同时,本文算法峰值信噪比（PSNR）和结构相似度（SSIM）客观指标平均值分别为22.75和0.86,明显高于其他3种算法。另外,在算法运行效率方面,本文算法平均运行时间也较短,约为74 ms。结论 本文算法增强后的图像更自然、更符合人眼视觉特性,且算法简单易于实现,运行效率高。该算法广泛适用于背光或光照不均的低照度环境下的图像增强。     

改进的曲率滤波强噪声图像去噪方法

目的 医学影像获取和视频监控过程中会出现一些恶劣环境,导致图像有许多强噪声斑点,质量较差。在处理强噪声图像时,传统的基于变分模型的算法,因需要计算高阶偏微分方程,计算复杂且收敛较慢;而隐式使用图像曲率信息的曲率滤波模型,在处理强噪声图像时,又存在去噪不完全的缺陷。为了克服这些缺陷,在保持图像边缘和细节特征的同时去除图像的强噪声,实现快速去噪,提出了一种改进的曲率滤波算法。方法 本文算法在隐式计算曲率时,通过半窗三角切平面和最小三角切平面的组合,用投影算子代替传统曲率滤波的最小三角切平面投影算子,并根据强噪声图像存在强噪声斑点的特征,修正正则能量函数,增添局部方差的正则能量,使得正则项的约束更加合理,提高了算法的去噪性能,从而达到增强去噪能力和保护图像边缘与细节的目的。结果 针对多种不同强度的混合噪声图像对本文算法性能进行测试,并与传统的基于变分法的去噪算法（ROF）和曲率滤波去噪等算法进行去噪效果对比,同时使用峰值信噪比（PSNR）和结构相似性（SSIM）作为滤波算法性能的客观评价指标。本文算法在对强噪声图像去噪处理时,能够有效地保持图像的边缘和细节特征,具备较好的PSNR和SSIM,在PSNR上比ROF模型和曲率滤波算法分别平均提高1.67 dB和2.93 dB,SSIM分别平均提高0.29和0.26。由于采用了隐式计算图像曲率,算法的处理速度与曲率滤波算法相近。结论 根据强噪声图像噪声特征对曲率滤波算法进行优化,改进投影算子和能量函数正则项,使得曲率滤波算法能够更好地适用于强噪声图像,实验结果表明,该方法与传统的变分法相比,对强噪声图像去噪效果显著。     

基于暗原色先验的低照度视频增强算法

在低照度条件下,视频质量总是不容乐观.对比度低,边缘细节不清晰,亮度低等情况会给视频后续处理带来很多不必要的麻烦.针对这种情况,本文提出了一种改进的基于暗原色先验的低照度视频增强算法.首先将输入的低照度图像取反,再对该图像进行去雾操作.大气光值由输入图像的暗通道最大值估计,同时,利用快速导向滤波计算并优化透射率,实现了保边降噪.最后,通过再次取反图像得到增强后的图像.透过实验结果证实,该算法能有效增强低照度图像的对比度,突出图像边缘的细节,提高图像的亮度,有效增强低照度图像.     

应用雾天退化模型的低照度图像增强

目的 针对目前低照度图像增强算法存在噪声敏感、易饱和等现象,提出了一种基于雾天退化模型的低照度图像间接增强算法。方法 首先将低照度图像反转成为拟雾图;拟雾图与真实雾天图像有所不同,一是通常具有大面积明亮区域,二是大气光值较高。对于大面积明亮区域,暗原色先验理论并不适用,不容易精确估计相应透射率,因此,提出利用卷积神经网络求解透射率的方法;又针对全局大气光值易出现饱和现象,提出使用局部大气光值代替全局大气光值,从而得到大气光图;之后,利用导向滤波对透射率图和大气光图进行修正;最后基于大气散射模型还原出无雾图像,再次反转无雾图像得到低照度图像的增强结果。结果 设计了3组实验,第1组实验为各算法的主观对照,第2组实验从客观指标上对各算法进行比较分析,第3组为实验透射率与大气光值的组合对照实验。结果表明,无论是与Retinex和MSRCR（multi-scale retinex with color restoration）为代表的直接增强算法比较,还是与基于He算法的间接增强等算法相比,本文算法在平均梯度、信息熵、峰值信噪比上均表现良好,且本文算法峰值信噪比平均比次优结果高了2.6 dB,相对应的方差较小,可以有效提高视觉效果,不仅有效提升了低照度图像的亮度,又避免了明显的颜色失真、曝光过度等现象。结论 通过定性及定量的实验结果表明,本文算法不仅提高了视觉效果,且场景适应能力较强,能很好地增强室内和室外的低照度图像,且本文算法运行时间中等,若结合cuda技术,还可用于监控视频的实时增强。     

基于细节特征融合的低照度全景图像增强

为了提高低照度条件下采集的全景图像的视觉效果,提出一种基于细节特征加权融合的低照度全景图像增强算法.首先,利用双边滤波算法提取出图像的光照分量,并分别采用自适应伽马校正和对比度受限的自适应直方图均衡化算法对光照分量进行处理;然后,与原始光照信息进行加权融合得到校正后的光照分量,并在反射分量调整时,提出一种自适应调整函数来校正反射信息;最后,将光照分量与反射分量合并,以实现对低照度全景图像的增强.实验结果表明,所提出的算法在提高图像亮度的同时,可以增强图像细节信息,去除噪声,使增强后图像色彩信息更加丰富自然.     

一种基于色彩保持的低照度图像增强算法

保持色彩不变是彩色图像增强的一个重要问题.针对低照度图像,提出一种快速保持色彩增强方法,采用抛物线函数进行亮度增强,获得亮度增益后,对RGB值进行同比增强,在增强亮度的同时,保持色彩不变.实验表明,本算法运算速度快且增强效果良好.     

基于CUDA的并行多尺度Retinex视频增强算法

多尺度Retinex图像增强算法增强效果明显,被广泛应用于图像和视频的增强处理中,但复杂的计算量限制了其在实时性应用中的推广,对于高清及多路视频的处理更是如此,因此研究其高速并行算法具有重要意义。本文以通用型GPU为基础,提出了一种基于CUDA的多尺度Retinex实时视频增强并行算法。根据算法各模块的耦合性将计算复杂的高斯滤波、对数空间差分及动态范围压缩等模块采用CUDA并行处理的方式实现,并利用视频序列之间的相似性降低多尺度Retinex算法的参数更新频率,以节省大量的计算耗时。实验结果表明所提算法能显著提高计算速度。     

A two-step approach to see-through bad weather for surveillance video quality enhancement

Adverse weather conditions such as snow, fog or heavy rain greatly reduce the visual quality of outdoor surveillance videos. Video quality enhancement can improve the visual quality of surveillance videos providing clearer images with more details to better meet human perception needs and also improve video analytics performance. Existing work in this area mainly focuses on the quality enhancement for high-resolution videos or still images, but few algorithms are developed for enhancing surveillance videos, which normally have low resolution, high noises and compression artifacts. In addition, for snow or rain conditions, the image quality of near-field view is degraded by the obscuration of apparent snowflakes or raindrops, while the quality of far-field view is degraded by the obscuration of fog-like snowflakes or raindrops. Very few video quality enhancement algorithms have been developed to handle both problems. In this paper, we propose a novel video quality enhancement algorithm for see-through snow, fog or heavy rain. Our algorithm not only improves human visual perception experiences for video surveillance, but also reveal more video contents for better video content analyses. The proposed algorithm handles both near-field and far-field snow/rain effects by proposed a two-step approach: (1) the near-field enhancement algorithm identifies obscuration pixels by snow or rain in the near-field view and removes these pixels as snowflakes or raindrops; different from state-of-the-art methods, our proposed algorithm in this step can detect snowflakes on foreground objects or background, and apply different methods to fill in the removed regions. (2) The far-field enhancement algorithm restores the image’s contrast information not only to reveal more details in the far-field view, but also to enhance the overall image’s quality; in this step, the proposed algorithm adaptively enhances the global and local contrast, which is inspired on the human visual system, and accounts for the perceptual sensitivity to noises, compression artifacts, and the texture of image content. From our extensive testing, the proposed approach significantly improves the visual quality of surveillance videos by removing snow/fog/rain effects.     

红外热像视频的细微变化放大

目的 针对红外热像视频对比度低、成像模糊和难以进行细节观测的缺点,提出一种基于欧拉视角的红外热像视频细微变化放大方法。该方法可以将红外热像视频中细微的色彩变化和动作变化进行放大,将原本人眼无法察觉到的变化清晰地展示出来。方法 该方法首先采用对比度金字塔算法对红外热像视频中每一帧图像进行空域分解,其次对各个尺度的图像进行时域滤波,选择出感兴趣的变化频率并进行线性放大,然后对放大后的信号进行重构,最后对重构得到的图像进行降噪处理,从而获得细微变化放大的红外视频。结果 针对色彩放大和动作放大,实验采集了若干红外热像视频。其中,对人脸侧面的颜色进行放大时,选择像素值变化频率在0.751 Hz 范围内的信号进行滤波并放大,得到像素值变化被放大100倍的视频;对吉他弦的动作进行放大时,选择变化频率在100120 Hz范围内的信号进行滤波并放大,得到弦的动作幅度被放大的视频。结果表明该方法可以使视频中所选择的变化频段得到有效增强。结论 本文方法可以放大红外视频中原本无法观测到的细微变化,并使之清晰呈现,在军用和民用领域中有着广泛用途。     

即时全变差优化的低延时视频稳像方法

目的 传统的视频稳像方法为了获得理想的稳像效果,一般耗费较多的计算时间,且存在较长的延时。针对此问题,提出一种即时全变差优化的低延时视频稳像方法。方法 首先利用特征点检测和匹配计算帧间单应变换,得到抖动视频的运动路径;然后通过即时全变差优化方法对抖动路径进行平滑优化,获得稳定的运动路径;最后通过运动补偿,生成稳定的视频。结果 对公共视频数据集中的抖动视频进行稳像效果测试,并与当前稳像效果较好的几种稳像算法和商业软件进行效果和时间对比。在时间方面,统计了不同方法的每帧平均消耗时间和处理延迟帧数,不同于后期处理方法需要得到大部分视频帧才能够进行计算,本文算法能够在只有一帧延时的情况下获得最终的稳像结果,相比于MeshFlow方法有15%左右的速度提升;在稳像效果方面,计算了不同方法稳像后的视频扭曲率和裁剪率,并邀请非专业用户进行了稳定程度的主观判断,本文算法的实验结果并不输于目前被公认较好的3种后期稳像方法,优于Kalman滤波方法。结论 本文所提稳像方法能够兼顾速度和有效性,相对于传统方法,更适合低延时要求的应用场景。     

基于顶帽底帽变换的仿生图像增强算法

针对低照度图像对比度低、细节模糊、色彩饱和度低的问题,通过分析人眼的主观亮度感受和光照强度的非线性关系以及人眼的视网膜神经节细胞中感受野的传输特性,提出一种顶帽变换和底帽变换相结合的仿生图像增强算法。首先,将低照度图像的RGB色彩空间转换为HSV空间,对亮度分量进行全局亮度对数变换;其次,采用视网膜神经元感受野三高斯模型对图像局部边缘的对比度进行调整;最后,用顶帽变换和底帽变换辅助对较亮背景的提取。实验结果表明,所提算法增强的低照度图像不仅细节清楚、对比度高,同时还没有设备采集图像存在的光照不均匀和图像景深的问题,而且增强后的图像色彩饱和度高,具有很强的视觉感受效果。     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。