一种混合的单图像去运动模糊方法

图像的盲恢复一直是数字图像处理领域的难点,对运动模糊图像的复原进行研究,提出了一种混合的单图像去运动模糊方法。首先估计PSF,然后利用PSF和原始模糊图像评估潜像,并对边缘恢复、模糊核估计和反卷积进行多次迭代,采用自适应非盲反卷积方法得到高质量的去模糊图像。最后,与维纳滤波、露西-理查德森这两种经典算法的实验效果进行比较。实验结果表明,本算法保持细节的能力强,去模糊效果更好。     

密集连接卷积网络图像去模糊

目的 非均匀盲去运动模糊是图像处理和计算机视觉中的基础课题之一。传统去模糊算法有处理模糊种类单一、耗费时间两大缺点,且一直未能有效解决。随着神经网络在图像生成领域的出色表现,本文把去运动模糊视为图像生成的一种特殊问题,提出一种基于神经网络的快速去模糊方法。方法 首先,将图像分类方向表现优异的密集连接卷积网络（dense connected convolutional network, DenseNets）应用到去模糊领域,该网络能充分利用中间层的有用信息。在损失函数方面,采用更符合去模糊目的的感知损失（perceptual loss）,保证生成图像和清晰图像在内容上的一致性。采用生成对抗网络（generative adversarial network,GAN）,使生成的图像在感官上与清晰图像更加接近。结果 通过测试生成图像相对于清晰图像的峰值信噪比 （peak signal to noise ratio,PSNR）,结构相似性 （structural similarity,SSIM）和复原时间来评价算法性能的优劣。相比DeblurGAN（blind motion deblurring using conditional adversarial networks）,本文算法在GOPRO测试集上的平均PSNR提高了0.91,复原时间缩短了0.32 s,能成功恢复出因运动模糊而丢失的细节信息。在Kohler数据集上的性能也优于当前主流算法,能够处理不同的模糊核,鲁棒性强。结论 本文算法网络结构简单,复原效果好,生成图像的速度也明显快于其他方法。同时,该算法鲁棒性强,适合处理各种因运动模糊而导致的图像退化问题。     

加强边缘感知的盲去模糊算法

目的 拍摄过程中,如果摄像机进行了错误的聚焦,就会得到模糊的图像,如何将模糊图像变得清晰成为一个亟待解决的问题。目前关于图像的去模糊方法多采用基于模糊核约束的卷积模型。但是由于实际应用中很难准确获取模糊核的信息,同时计算机也存在精度限制,计算结果与实际物理模型有偏差,因而去模糊的主要挑战为：如何精确地估计模糊核,以及如何在复原过程中减弱由于精度限制造成的振铃效应。方法 振铃效应是指图像的灰度剧烈变化处产生的震荡,类似于钟被敲击后产生的波状空气震荡。在图像复原过程中,此效应通常发生在梯度变化较大的边缘区域附近。本文对此进行研究,在去模糊过程中引入边缘信息作为约束条件,以改善模糊核的估计,并通过抑制边缘区域的反卷积,抑制图像复原过程中的振铃效应。算法主要分为如下3个部分：1）设计了适用于模糊图像的边缘提取算法;2）利用边缘信息设计了加强边缘感知的反卷积算法;3）提出并设计了安全检测子,以保证算法在边缘区域复原的完整性。结果 实验结果表明,在没有先验知识的情况下,本文方法可以较好地恢复图像细节,并有效抑制振铃效应。较之传统的去模糊处理算法,本文方法在性能上有较大提高。比如,相比于Chan、Krishnan以及Hu的方法,本文方法在峰值信噪比指标上分别提高了25.73%、3.52%和4.43%,在结构相似性指标上分别提高了7.67%、1.63%和3.59%。同时,与基于深度学习的方法相比,本文方法不依赖于数据集,鲁棒性更强。结论 本文方法可以较好地恢复图像细节,并抑制振铃效应,同时比深度学习方法适用范围更广。     

基于稀疏表示和梯度先验的图像盲去模糊

针对目前基于稀疏表示的图像盲卷积算法细节恢复有限等问题,提出一种基于稀疏表示和梯度先验的图像盲卷积算法。虽然每个图像块可以通过字典稀疏表示,但是图像块重构出的图像常常出现“伪像”,本文将梯度先验知识和超拉普拉斯先验知识融入稀疏表示盲卷积模型中,采用迭代方法交替估计中间清晰图像和模糊核,一旦获得模糊核,采用超拉普拉斯非盲去卷积算法恢复出最终的清晰图像。实验结果表明,与其他去模糊算法相比,本文算法在抑制振铃方面效果显著。     

基于双层反卷积的宽场荧光显微图像盲复原*

针对宽场荧光显微图像盲复原中的不适定性和细节模糊问题,提出了基于双层反卷积的宽场荧光显微图像盲复原算法,该算法通过双层反卷积,结合图像金字塔,实现了由粗略到细致的图像复原。为抑制不适定性,外层反卷积采用全变分模型,对复原图像和光学传递函数进行正则化约束。在内层反卷积中,通过残差图像进一步复原出图像细节。实验结果表明,该算法能在有效抑制伪影和噪声的同时,复原出宽场荧光显微图像的细节。与近几年图像盲复原算法相比,该算法所需的计算时间短,复原出的宽场荧光显微图像不仅有更好的视觉效果,而且客观上有较高的峰值信噪比和图像熵。     

模糊降质图像恢复技术研究进展

介绍近期模糊降质图像恢复技术的研究进展。首先分析图像模糊的成因,继而对图像模糊的数学模型进行介绍,并在此基础上引入图像去模糊的经典模型。接着详细介绍图像去模糊中经典的几种方法,包括维纳滤波,RL（Richardson-Lucy）滤波,总变分,并给出了这几种经典去模糊算法的实验结果。在回顾经典算法的基础上,对近期的图像去模糊算法研究进展进行分类分析,从自然图像统计特性,图像边缘,字典学习这三个方面介绍了近期经典的图像去模糊算法研究进展,并给出了几种有代表性算法的实验结果。在对经典回顾和对近期研究进展分析的基础上展望了图像去模糊技术的发展前景。     

基于RGB通道自适应的维纳滤波图像去模糊研究

图像去模糊是针对当图像受到模糊,复原出期望的清晰图像的过程。由于图像受到模糊的程度及过程未知,很难利用精确的模糊核对图像进行复原。同时要考虑到图像的三个通道在受到模糊时的影响不一致,对维纳滤波复原图像进行了研究,提出一种基于RGB三通道下自适应的维纳滤波图像去模糊技术研究。首先对图像进行模糊核估计,求出模糊核,然后将图像分为有限个图像块,对图像进行降维,最后,通过求出的模糊核应用到维纳滤波模型中,进行图像复原。与现有的方法比较,基于RGB通道自适应的维纳滤波图像去模糊研究的方法能够得到更好的恢复效果,并有效的抑制了边界出现的振铃现象。     

一种改进的图像迭代盲反卷积算法

针对传统迭代盲反卷积算法收敛速度慢、容易出现解模糊等问题,提出一种改进的图像迭代盲反卷积算法。利用动量矩求解图像的有限支持域,在支持域中使频率域和空间域交替迭代,从而实现图像的盲复原。仿真结果表明,与传统迭代盲反卷积算法和基于小波变换的盲反卷积算法相比,该算法的收敛速度较快,具有较好的图像恢复效果。     

基于超拉普拉斯模型的运动去模糊算法*

通过分析自然图像梯度统计的长尾分布特性,提出一种基于超拉普拉斯模型的图像运动去模糊算法。该算法使用分步交替迭代最小化办法优化能量方程,并在优化过程中采用了查询表法快速求解图像反卷积。实验结果表明,该算法可以在数秒时间内处理完成一幅中等大小的图像,并获得较优的复原结果,其复原效果和对振铃现象的抑制均优于维纳滤波法和Richardson-Lucy复原法。     

融合注意力机制的模糊图像多尺度复原

目的 去模糊任务通常难以进行对图像纹理细节的学习,所复原图像的细节信息不丰富,图像边缘不够清晰,并且需要耗费大量时间。本文通过对图像去模糊方法进行分析,同时结合深度学习和对抗学习的方法,提出一种新型的基于生成对抗网络(generative adversarial network, GAN)的模糊图像多尺度复原方法。方法 使用多尺度级联网络结构,采用由粗到细的策略对模糊图像进行复原,增强去模糊图像的纹理细节;同时采用改进的残差卷积结构,在不增加计算量的同时,加入并行空洞卷积模块,增加了感受野,获得更大范围的特征信息;并且加入通道注意力模块,通过对通道之间的相关性进行建模,加强有效特征权重,并抑制无效特征;在损失函数方面,结合感知损失(perceptual loss)以及最小均方差(mean squared error, MSE)损失,保证生成图像和清晰图像内容一致性。结果 通过全参考图像质量评价指标峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)以及复原时间来评价算法优劣。与其他方法的对比结果表明,本文方法生成的去模糊图像PSNR指标提升至少3.8%,复原图像的边缘也更加清晰。将去模糊后的图像应用于YOLO-v4(you only look once)目标检测网络,发现去模糊后的图像可以检测到更小的物体,识别物体的数量有所增加,所识别物体的置信度也有一定的提升。结论 采用由粗到细的策略对模糊图像进行复原,在残差网络中注入通道注意力模块以及并行空洞卷积模块改进网络的性能,并进一步简化网络结构,有效提升了复原速度。同时,复原图像有着更清晰的边缘和更丰富的细节信息。     

结合PCANet与线性判别分析的视网膜光学相干断层扫描图像分类

目的 主成分分析网络（PCANet）能提取图像的纹理特征,线性判别分析（LDA）提取的特征有类别区分性。本文结合这两种方法的优点,提出一种带线性判别分析的主成分分析网络（PCANet-LDA）,用于视网膜光学相干断层扫描（OCT）图像中的老年性黄斑变性（AMD）、糖尿病性黄斑水肿（DME）及正常（NOR）这3类的全自动分类。方法 PCANet-LDA算法是在PCANet的基础上添加了LDA监督层,该层加入了类标签对特征进行监督投影。首先,对OCT视网膜图像进行去噪、二值化及对齐裁剪等一系列预处理,获得感兴趣的视网膜区域;然后,将预处理图像送入一个两层的PCA卷积层,训练PCA滤波器组并提取图像的PCA特征;接着,将PCA特征送入一个非线性输出层,通过二值散列和块直方图等处理,得到图像的特征;之后,将带有类标签的图像特征送入一个LDA监督层,学习LDA矩阵并用其对图像特征进行投影,使特征具有类别区分性;最后,将投影的特征送入线性支持向量机（SVM）中对分类器进行训练和分类。结果 实验分别在医院临床数据集和杜克数据集上进行,先对OCT图像预处理进行前后对比实验,然后对PCANet特征提取的有效性进行分析,最后对PCANet算法、ScSPM算法以及提出的PCANet-LDA3种分类算法的分类效果进行对比实验。在临床数据集上,PCANet-LDA算法的总体分类正确率为97.20%,高出PCANet算法3.77%,且略优于ScSPM算法;在杜克数据集上,PCANet-LDA算法的总体分类正确率为99.52%,高出PCANet算法1.64%,略优于ScSPM算法。结论 PCANet-LDA算法的分类正确率明显高于PCANet,且优于目前用于2D视网膜OCT图像分类的先进的ScSPM算法。因此,提出的PCANet-LDA算法在视网膜OCT图像的分类上是有效且先进的,可作为视网膜OCT图像分类的基准算法。     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 dB、0.18 dB、0.07 dB;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别提高了0.17 dB、0.28 dB、0.16 dB。同时也在GOPRO数据集上进行了对比实验以验证Transformer融合网络的有效性。对比实验结果表明,提出的网络明显提升了对模糊图像超分辨重建的效果。结论 本文所提出的用于模糊图像超分辨的Transformer融合网络,具有优异的长程依赖关系和全局信息捕捉能力,其通过多头自注意力层计算特征图任一局部信息在全局信息上的响应,实现了对去模糊特征和细节纹理特征在全局语义层次的深度融合,从而提升了对模糊图像进行超分辨重建的效果。     

Ultrasound image restoration based on a learned dictionary and a higher-order MRF

The restoration of images degraded by blur and multiplicative noise is a critical preprocessing step in medical ultrasound images which exhibit clinical diagnostic features of interest. This paper proposes a novel non-smooth non-convex variational model for ultrasound images denoising and deblurring motivated by the successes of sparse representation of images and FoE based approaches. Dictionaries are well adapted to textures and extended to arbitrary image sizes by defining a global image prior, while FoE image prior explicitly characterizes the statistics properties of natural image. Following these ideas, the new model is composed of the data-fidelity term, the sparse and redundant representations via learned dictionaries, and the FoE image prior model. The iPiano algorithm can efficiently deal with this optimization problem. The new proposed model is applied to several simulated images and real ultrasound images. The experimental results of denoising and deblurring show that proposed method gives a better visual effect by efficiently removing noise and preserving details well compared with two state-of-the-art methods.     

基于循环神经网络的散焦图像去模糊算法

近年来,基于深度学习的运动模糊去除算法得到了广泛关注,然而单幅散焦图像去模糊算法鲜有研究。为针对性地解决单幅图像的散焦模糊问题,提出一种基于循环神经网络的散焦图像去模糊算法。首先级联两个残差网络,分别完成散焦图估计和图像去模糊;随后,为了保证散焦图和清晰图像的深度特征可以更好地跨阶段传播以及阶段内相互作用,在残差网络中引入LSTM（long short-term memory）循环层;最后,整个残差网络进行了多次迭代,迭代过程中网络参数共享。为了训练网络,制作了一个合成散焦图像数据集,每一张散焦图像都包含对应的清晰图像和散焦图。实验结果表明,该算法相较于对比算法在主客观图像质量评价上均有显著优势,在复原结果中具有更锐利的边缘和清晰的细节。对于真实双像素图像散焦模糊数据集DPD,该算法相比DPDNet-Single在峰值信噪比（PSNR）和结构相似性（SSIM）上分别提高了0.77 dB、5.6%,因此所提方法可以有效处理真实场景散焦模糊。     

基于颜色校正和去模糊的水下图像增强方法

由于光在水下传播时会出现吸收和散射的情况,水下图像往往存在色偏、对比度低、模糊、光照不均匀等问题。根据水下图像成像模型,人们在海底拍摄所获得的图像往往是退化的图像,而退化的图像不能完整地表达海洋场景信息,难以满足实际的应用需要。为此,文中提出了一种基于颜色校正和去模糊的水下图像增强方法。该方法有效融合了颜色校正和去模糊两个阶段,取得了递增的增强效果。在颜色校正阶段,首先对原始图像进行对比度拉伸,在对比度拉伸完成之后,图像可能存在拉伸过度或拉伸不足的现象。因此,所提方法根据灰度世界先验,在对比度拉伸后进一步使用伽马校正来优化和调整图像的对比度和色彩,使图像的R,G,B三通道的灰度值之和趋于相等。接着,在去模糊阶段,通过融合暗通道先验对颜色校正后的图像进行去模糊,得到最终的增强图像。实验结果表明,所提方法具有良好的整体恢复效果,能有效地恢复图像信息,在主观评价和客观评价上均展现出较好的效果。另外,所提方法可以作为水下图像分类等计算机视觉任务的预处理步骤,在实验中能够将水下图像集的分类精度提升16%左右。     

基于正则化约束的遥感图像多尺度去模糊

目的遥感成像过程中的图像降质严重影响了高分辨率成像与高精度探测,为了改善遥感图像质量,提出了基于正则化约束的遥感图像多尺度去模糊方法。方法首先利用双边滤波器和冲击滤波对遥感图像进行预处理,然后结合遥感图像模糊核的稀疏特性,使用正则化方法迭代求解模糊核最优解,最后利用基于梯度稀疏的非盲反卷积方法得到去模糊结果。此外,针对图像模糊程度较严重的情况,分析了尺度信息对去模糊结果的影响,提出了多尺度迭代优化方法。结果采用本文方法对大量遥感图像进行去模糊,实验结果表明该方法能有效地去除遥感成像产生的模糊,在保持图像边缘和细节的同时,可有效抑制振铃效应。相比其他方法,本文方法恢复图像的边缘强度平均提高28.7%,对比度平均提高17.6%。结论提出一种正则化约束的遥感图像多尺度去模糊方法,主观视觉感受和客观评价指标都表明该方法可以有效提升遥感图像质量。     

深度特征融合注意力与双尺度的运动去模糊

目的 拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法 首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果 在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN （scale-recurrent network）方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比（29.91 dB）。在Lai数据集上,视觉上有最好的去模糊效果。结论 实验结果表明,本文方法可以有效去除运动模糊并恢复细节。     

基于多尺度残差的图像去模糊

为有效地提升图像去模糊的效果,论文在残差网络的基础上加入多尺度结构,提出一种基于多尺度残差的图像去模糊算法。该算法由多尺度卷积单元级联而成,并采用残差学习策略提高网络性能。在伯克利数据集BSD500上进行训练,在Set5数据集上进行测试。实验结果表明,提出的这种基于多尺度残差的图像去模糊具有更强的复原能力,且对图像及其模糊类型、噪声水平等更具有稳健性,且能够获得更高的峰值信噪比(PSNR)和结构相似度(SSIM)。