基于深度学习的多聚焦图像融合方法前沿进展

多聚焦图像融合是一种有效的图像融合技术;旨在将来自同一场景的不同焦平面的源图像组合起来以获得良好的融合结果;这意味着融合后的图像将在所有焦平面都聚焦;也就是包含着更丰富的场景信息。深度学习的发展促进了图像融合的巨大进步;而神经网络强大的特征提取和重构能力使融合结果大有可为。近年来;出现了越来越多的基于深度学习的多聚焦图像融合方法;如卷积神经网络（CNN）、生成对抗网络（GAN）和自动编码器等。为了给相关研究人员和技术人员提供有效的参考和理解;介绍了多聚焦图像融合的概念和一些评价指标;分析了十几种近几年基于深度学习的多聚焦图像融合前沿方法;讨论了各种方法的特点和创新性;并总结了它们的优缺点;回顾了多聚焦图像融合技术在各种场景中的应用;包括摄影可视化、医疗诊断和遥感检测等领域;介绍了目前多聚焦图像融合相关领域面临的一些挑战并展望了未来可能的研究趋势。     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

基于目标图像先验信息的无监督多聚焦图像融合

多聚焦图像融合(MFIF)是从不同源图像中获取聚焦区域,以形成全清晰图像的一种图像增强方法。针对目前MFIF方法主要存在的两个方面问题,即传统的空间域方法在其融合边界存在较强的散焦扩散效应(DSE)以及伪影等问题;深度学习方法缺乏还原光场相机生成的数据集,并且因需要大量手动调参而存在训练过程耗时过多等问题,提出了一种基于目标图像先验信息的无监督多聚焦图像融合方法。首先,将源图像本身的内部先验信息和由空间域方法生成的初始融合图像所具有的外部先验信息分别用于G-Net和F-Net输入,其中,G-Net和F-Net都是由U-Net组成的深度图像先验(DIP)网络;然后,引入一种由空间域方法生成的参考掩膜辅助G-Net生成引导决策图;最后,该决策图联合初始融合图像对F-Net进行优化,并生成最终的融合图像。验证实验基于具有真实参考图像的Lytro数据集和融合边界具有强DSE的MFFW数据集,并选用了5个广泛应用的客观指标进行性能评价。实验结果表明,该方法有效地减少了优化迭代次数,在主观和客观性能评价上优于8种目前最先进的MFIF方法,尤其在融合边界具有强DSE的数据集上表现得更有优势。     

多聚焦图像融合算法

多聚焦图像融合,是将两幅(或多幅)对同一场景的各个目标,聚焦不同的图像融合成一幅清晰的新图像.在多聚焦图像融合中,典型的群智能算法图像融合方法取得了较好的效果,如遗传算法、粒子群算法等.目前,对群智能算法的优化改进,加快图像的融合速度是一个主要的研究方向.     

基于特征掩膜优化的多聚焦图像融合方法

针对深度学习多聚焦图像融合算法中存在的特征表达不充分、纹理细节不完整和图像边缘模糊等问题,为了充分提取源图像的聚焦信息,提出了一种基于特征掩膜优化的多聚焦图像融合方法。针对深度学习网络中特征提取时的表达不充分,首先在网络编码阶段引入空间注意力模块对提取过程进行特征增强,深化聚焦区域与散焦区域间的差异性,得到可定位聚焦区域的掩膜图;其次利用阈值分割对编码网络得到的特征图进行二值化,实现图像中聚焦与散焦区域的分离并消除无关区域的影响;最后通过解码进行重建得到融合结果。将结果在Lytro数据集与MFFW数据集中与8种融合方法进行对比,并且分别从定性和定量分析两个方法评价融合结果。在定性分析上,上述方法在边缘清晰度、细节完整性、色彩鲜明度、对比度等方面均优于其它对比方法;在定量分析上,上述方法在Lytro数据集中结构相似性、峰值信噪比和均方根误差三种评价指标均值最优,相关系数评价指标均值次优,在MFFW数据集中相关系数、峰值信噪比、均方根误差三项指标均值最优。实验结果表明,融合方法较好地解决了深度学习中特征表达不充分、纹理细节不完整和图像模糊等问题,更好地保留了聚焦区域的特征信息和边缘区域的纹理细节,视觉效果显著。     

多聚焦图像融合新算法

提出一种基于限邻域经验模式分解(NLEMD)的多聚焦图像融合算法。该算法利用NLEMD的自适应特性及高频细节信息的较强获取能力,通过对不同图像对应的内蕴模式函数分量IMF中的像素按照局部最大能量,即最优的原则进行选取,然后将融合后的内蕴模式函数分量和剩余量反向重构获取融合图像。实验结果表明,该算法具有更强的细节获取能力,融合效果优于传统的基于小波分解的融合算法。     

基于自动聚焦算法的多聚焦图像融合*

在分析了多聚焦图像特点的基础上, 将镜头自动聚焦算法移植到多聚集图像融合问题的研究中, 并加以改进, 其主要思想是: 以高频分量作为图像清晰度的判据, 寻求多聚焦图像的聚焦区域, 将其直接移植到融合图像中; 而对于一个焦点到另一焦点的过渡区域, 对其用取最大特征的融合算子进行处理。实验表明, 该算法是原图像特征的最佳近似, 优于小波分解的融合算法。     

NSCT与边缘检测相结合的多聚焦图像融合算法

利用非下采样Contourlet变换（NSCT）的系数特点,设计NSCT域中高低频融合规则,并结合基于区域分割的边缘检测算法,针对多聚焦图像提出了一种有效的融合算法.首先通过NSCT变换把2幅待融合图像分解为一个低频系数矩阵和一系列的高频系数矩阵,对低频系数采用局域方差、局域空间频率、局域改进的拉普拉斯能量和3个统计特征的加权平均进行融合,对高频系数基于局部纹理特征进行融合,经过NSCT逆变换后得到初步的融合结果;然后根据初步融合图像和待融合图像的残差图识别出清晰区域,对清晰区域进行边缘检测,将该边缘信息覆盖到初步融合的图像上,得到最终的融合图像.与传统DWT,NSCT变换和基于视觉特性的NSCT域图像融合算法进行实验对比的结果表明,该算法在视觉效果和平均梯度、互信息、空间频率与边缘保持度等多个评价指标上均有优势.     

自适应字典学习的多聚焦图像融合

基于人类视觉系统及信号的过完备稀疏表示理论,提出一种新的多聚焦图像融合算法。首先从待融合图像中随机取块构成训练样本集,经迭代运算获取过完备字典;然后由正交匹配追踪算法完成图像块的稀疏分解;再按分解系数的显著性选择融合系数并完成图像块的重构;重构块经重新排列并取平均后获得最后的融合图像。实验结果表明:该算法继承了目前较为优秀的多尺度几何分析方法的融合效果;在噪声存在的情况下,该算法表现出较好的噪声抑制能力,随噪声方差的升高,融合图像的主观质量及客观评价指标均要好于传统方法。     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

图像超分辨率技术的回顾与展望

图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的超分辨率技术,根据其输入输出进行分类介绍;其次,将基于深度学习的单图像超分辨率技术分为有监督学习和无监督学习两类进行论述,并对部分具有代表性的最新超分辨率重建技术进行总结分类介绍;然后,讨论了超分辨率技术的相关问题,即性能评价指标、标准数据集,进而对几种典型算法进行实验对比;最后,对图像超分辨率算法未来的研究趋势进行展望。     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

深度医学图像配准研究进展：迈向无监督学习

在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中,将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展,基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文,系统地分析了深度医学图像配准领域的最新研究进展,展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说,本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上,以相关算法的网络训练过程中所使用的监督信息多少作为分类标准,将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息;双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖;无监督配准方法则完全消除对标注数据的需要,仅使用图像相似度损失和正则化损失监督网络训练。目前,无监督医学图像算法已经成为医学图像配准领域的研究重点,在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上,本文进一步讨论了医学图像配准研究后续可能的4个未来挑战,希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向,并推动深度医学图像配准技术在临床诊疗中落地应用。     

深度哈希图像检索方法综述

随着网络上图像和视频数据的快速增长,传统图像检索方法已难以高效处理海量数据。在面向大规模图像检索时,特征哈希与深度学习结合的深度哈希技术已成为发展趋势,为全面认识和理解深度哈希图像检索方法,本文对其进行梳理和综述。根据是否使用标签信息将深度哈希方法分为无监督、半监督和监督深度哈希方法,根据无监督和半监督深度哈希方法的主要研究点进一步分为基于卷积神经网络（convolutional neural networks,CNN）和基于生成对抗网络（generative adversarial networks,GAN）的无监督/半监督深度哈希方法,根据数据标签信息差异将监督深度哈希方法进一步分为基于三元组和基于成对监督信息的深度哈希方法,根据各种方法使用损失函数的不同对每类方法中一些经典方法的原理及特性进行介绍,对各种方法的优缺点进行分析。通过分析和比较各种深度哈希方法在CIFAR-10和NUS-WIDE数据集上的检索性能,以及深度哈希算法在西安邮电大学图像与信息处理研究所（Center for Image and Information Processing,CⅡP）自建的两个特色数据库上的测试结果,对基于深度哈希的检索技术进行总结,分析了深度哈希的检索技术未来的发展前景。监督深度哈希的图像检索方法虽然取得了较高的检索精度。但由于监督深度哈希方法高度依赖数据标签,无监督深度哈希技术更加受到关注。基于深度哈希技术进行图像检索是实现大规模图像数据高效检索的有效方法,但存在亟待攻克的技术难点。针对实际应用需求,关于无监督深度哈希算法的研究仍需要更多关注。     

基于深度学习的眼底血管图像分割研究进展

眼底血管图像分割对青光眼、糖尿病视网膜病变等多种眼部疾病有较好的辅助诊断作用,目前深度学习因其强大的抽象特征发现能力,有望满足人们从眼底血管图像中提取特征信息进行图像自动分割的需求,成为眼底血管图像分割领域的研究热点.为更好把握该领域的研究进展,本文对相关数据集和评价指标整理归纳,对深度学习在眼底血管图像分割中的应用进行详细阐述,重点梳理各类分割方法的基本思想、网络结构及改进之处,分析现有眼底血管图像分割方法存在的局限性及面临的挑战,并对该领域未来的研究方向做出展望.     

基于深度学习的单图像超分辨率重建综述

图像超分辨率重建是用于提高图像质量的一项重要技术, 得益于深度学习在计算机视觉领域的成功应用和快速发展, 单图像超分辨率重建的效果得到了显著提升. 因此, 本文针对基于深度学习的单图像超分辨率重建方法展开深入研究, 首先综合介绍了用于该领域的基准数据集、性能评价指标、损失函数等相关知识, 然后对有监督学习和无监督学习下单图像超分辨率重建技术的最新算法进行分类讨论, 并且比较分析了不同模型之间的异同点与优缺点, 最后对该领域面临的问题和未来的发展方向进行了总结与展望.     

基于深度学习的低光照图像增强研究综述

低光照图像增强的目的是优化在光线不足的环境中捕获的图像,提升其亮度和对比度。目前,深度学习在低光照图像增强领域已成为主要方法,因此,有必要对基于深度学习的方法进行综述。首先,将低光照图像增强传统方法进行分类,并分析与总结其优缺点。接着,重点介绍基于深度学习的方法,将其分为有监督和无监督两大类,分别总结其优缺点,随后总结应用在深度学习下的损失函数。其次,对常用的数据集和评价指标进行简要总结,使用信息熵对传统方法进行量化比较,采用峰值信噪比和结构相似性对基于深度学习的方法进行客观评价。最后,总结目前方法存在的不足,并对未来的研究方向进行展望。     

基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。