各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法中的最优结果分别提升了0.508%、7.347%、14.849%、9.927%和1.281%。结论 与具有领先水平的红外与可见光算法以及现有的融合策略相比,本文融合算法基于特有信息分离和质量引导,融合结果具有更丰富的场景信息、更强的对比度,视觉效果更符合人眼的视觉特征。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

卷积稀疏与细节显著图解析的图像融合

目的 针对图像融合中信息量不够丰富和边缘细节模糊问题,结合多尺度分析、稀疏表示和显著性特征等图像表示方法,提出一种卷积稀疏与细节显著图解析的图像融合方法。方法 首先构造一种自适应样本集,训练出契合度更高的字典滤波器组。然后将待融合图像进行多尺度分析得到高低频子图,对低频子图进行卷积稀疏表示,通过权重分析构建一种加权融合规则,得到信息量更加丰富的低频子图;对高频子图构造细节显著图,进行相似性分析,建立一种高频融合规则,得到边缘细节更加凸显的高频子图。最后进行相应逆变换得到最终图像。结果 实验在随机挑选的3组灰度图像集和4组彩色图像集上进行,与具有代表性的7种融合方法进行效果对比。结果表明,本文方法的视觉效果明显较优,平均梯度上依次平均提高39.3%、32.1%、34.7%、28.3%、35.8%、28%、30.4%;在信息熵上依次平均提高6.2%、4.5%、1.9%、0.4%、1.5%、2.4%、2.9%;在空间频率上依次平均提高31.8%、25.8%、29.7%、22.2%、28.6%、22.9%、25.3%;在边缘强度上依次平均提高39.5%、32.1%、35.1%、28.8%、36.6%、28.7%、31.3%。结论 本文方法在一定程度上解决了信息量不足的问题,较好地解决了图像边缘细节模糊的问题,使图像中奇异性更加明显的内容被保留下来。     

全细节增强多曝光图像融合

目的 曝光融合算法,即将多幅不同曝光时间的图像融合得到一幅曝光度良好的图像,可能在最终的输出图像中引入光晕伪影、边缘模糊和细节丢失等问题。针对曝光融合过程中存在的上述问题,本文从细节增强原理出发提出了一种全细节增强的曝光融合算法。方法 在分析了光晕现象产生原因的基础上,从聚合的新角度对经典引导滤波进行改进,明显改善引导滤波器的保边特性,从而有效去除或减小光晕;用该改进引导滤波器提取不同曝光图像的细节信息,并依据曝光良好度将多幅细节图融合得到拍摄场景的全细节信息;将提取、融合得到的全细节信息整合到由经典曝光融合算法得到的初步融合图像上,最终输出一幅全细节增强后的融合图像。结果 实验选取17组多曝光高质量图像作为输入图像序列,本文算法相较于其他算法得到的融合图像边缘保持较好,融合自然;从客观指标看,本文算法在信息熵、互信息与平均梯度等指标上都较其他融合算法有所提升。以本文17组图像的平均结果来看,本文算法相较于经典的拉普拉斯金字塔融合算法在信息熵上提升了14.13%,在互信息熵上提升了0.03%,在平均梯度上提升了16.45%。结论 提出的全细节增强的曝光融合算法将加权聚合引导滤波用于计算多曝光序列图像的细节信息,并将该细节信息融合到经典曝光融合算法所得到的一幅中间图像之上,从而得到最终的融合图像。本文的处理方法使最终融合图像包含更多细节,降低或避免了光晕及梯度翻转等现象,且最终输出图像的视觉效果更加优秀。     

双重字典学习与自适应PCNN相结合的医学图像融合

目的 针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络（PCNN）的多模态医学图像融合方法。方法 首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法（ADMM）求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和（NSML）以及空间频率和（NMSF）去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果 对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5.2%;平均互信息分别提高了33.4%、10.9%、11.3%;平均空间频率分别提高了8.2%、9.6%、5.6%;平均边缘评价因子分别提高了16.9%、20.7%、21.6%。结论 与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。     

深度特征融合注意力与双尺度的运动去模糊

目的 拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法 首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果 在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN （scale-recurrent network）方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比（29.91 dB）。在Lai数据集上,视觉上有最好的去模糊效果。结论 实验结果表明,本文方法可以有效去除运动模糊并恢复细节。     

多目标粒子群优化PCNN参数的图像融合算法

目的 脉冲耦合神经网络（PCNN）在图像融合上往往因为参数设置问题而达不到最佳效果,为了提高图像融合的质量,提出了一种基于多目标粒子群优化PCNN参数的图像融合算法。方法 首先用多目标粒子群对PCNN模型参数进行优化得到最优PCNN参数模型,然后利用双复树小波（DTCWT）对图像多尺度分解,将高频分量通过优化好的PCNN模型进行高频融合,低频分量通过拉普拉斯分量绝对和（SML）来进行低频融合,最后通过DTCWT逆变换实现图像的融合。结果 分别与DTCWT,拉普拉斯金字塔变换（LP）以及非下采样Contourlet变换（NSCT）进行实验对比,融合图像Clock,Lab的融合结果在客观指标上的互信息（8.062 3,7.908 5）、图像的品质因数（0.716 2,0.714 2）和标准差（51.213,47.671）都优于其他方法,熵和其他方法差不多,融合结果能够获得更好的视觉效果以及较大的互信息值和边缘信息保留值。结论 该方法有较好融合图像的能力,可适用于计算机视觉、医学、遥感等领域。     

非下采样剪切波变换的医学图像融合

目的 由于单模态医学图像所提供的信息有限,不能反映相关组织所有细节信息,可能会造成临床医学误诊。针对这一问题,提出一种基于非下采样剪切波变换（NSST）的医学图像融合算法,对多模态医学图像进行融合,丰富融合图像信息,提高图像质量,为临床诊断提供依据。方法 首先,将源图像进行NSST变换得到低频子带和若干高频方向子带;其次,根据低频子带图像的特点,提出低频系数与脉冲耦合神经网络PCNN （pulse coupled neural network）相结合的方法;根据高频子带间结构相似度SSIM （structure similarity）不同,分为低相似和高相似子带图像;对低相似子带系数采用视觉敏感度系数VSC （visual sensitivity coefficient）与改进梯度能量相结合的策略;高相似子带系数采用VSC与区域能量相结合的方法;进而,选取结构相似度与边缘信息评价因子Q^ABF（edge based similarity measure）之和作为目标函数,自适应地优化可调参数;最后,经逆NSST变换重构图像。结果 对灰度图像和彩色图像进行实验仿真,并与其他4种融合方法进行比较,在主观视觉效果和客观评价标准,本文方法取得良好的融合效果,其中边缘评价因子和标准差都是最好的,其他指标相对较好;与靳珍怡提出的基于非下采样轮廓波变换的多模态医学图像融合相比,5组实验空间频率分别提高了11.8%、24.7%、83.4%、11.9%、30.3%;边缘评价因子分别提高了6.7%、15%、40%、50%、12%;结构相似度分别提高了0.7%、7.3%、2.4%、-3.6%、2.1%;交叉熵分别降低了16.9%、1.6%、-27.4%、6.1%、0.4%。结论 本文算法有效提高多模态医学图像融合质量,增加不同模态间的互补信息;与现有医学图像融合算法相比,本文算法更加优越。融合图像细节信息更为突出,整体信息更丰富,更符合人眼视觉特性。     

基础信息保持和细节强化的胸部CT图像增强

目的 清晰的胸部计算机断层扫描（computed tomography,CT）图像有助于医生准确诊断肺部相关疾病,但受成像设备、条件等因素的限制,扫描得到的CT图像质量有时会不尽如人意。因此,本文提出一种简单有效的基于基础信息保持和细节强化的胸部CT图像增强算法。方法 利用多尺度引导滤波器将胸部CT图像分解为一个基础信息层和多个不同尺度的细节层。基于熵的权重将胸部CT图像的多个细节层进行融合,并乘以强化系数进一步增强纹理细节。将强化的细节层和原始的基础信息层重新组合即可生成细节强化的胸部CT图像。通过此种增强方式,本文算法既能显著增强胸部CT图像的纹理细节,又能将大部分原始的基础结构信息保留到增强图像中。结果 为了验证算法的有效性,将本文算法与5种优秀的图像增强算法在由3 209幅胸部CT图像组成的数据集上进行测试评估。定性和定量实验结果表明,本文算法得到的增强图像保持了更多原始胸部CT图像中的基础结构信息,并更显著地强化了其中的纹理细节信息。在定量结果中,本文算法的标准差、结构相似性和峰值信噪比指标值均优于对比的5种方法,相比于性能第2的方法分别提高了4.95、0.16和4.47,即分别提升了5.61%、17.00%和16.17%。此外,本文算法增强一幅CT图像仅消耗0.10 s,有潜力应用于实际的临床诊断中。结论 本文算法可以在保留大量原始结构信息的同时有效强化CT图像的细节信息,有助于医生对患者肺部疾病的精确诊断。本文算法具有较好的泛化能力,可以用于增强其他部位的CT图像和其他模态图像并取得优秀的增强结果。     

基于潜在低秩表示及导向滤波的红外与可见光图像融合方法

针对红外与可见光图像融合过程中出现的细节损失严重等问题,提出一种基于潜在低秩表示与导向滤波的红外与可见光图像融合方法.首先,采用潜在低秩表示方法将源图像分解为低秩图层和显著图层,为了更多地提取低秩图层中细节信息,采用导向滤波将低秩图层分解基础图层和细节图层;并针对基础图层、细节图层和显著图层的特性,分别采用视觉显著度加权法、梯度显著度加权法、绝对值最大选择法作为融合规则.特别地,为了解决初始权重具有噪声且不与物体边界对齐问题,采用导向滤波优化初始权重.最后,将基础融合图层、细节融合图层和显著融合图层经叠加运算得到融合图像.通过对比多组融合图像主、客观评价结果表明,该方法能有效挖掘源图像的细节信息,在视觉质量和客观评价方法优于其他图像融合方法.     

图像分解与色彩先验下的多曝光图像融合

目的 多曝光图像融合（multi-exposure fusion，MEF）是利用一组不同曝光度的低动态范围（low dynamic range，LDR）图像进行合成，得到类似高动态范围（high dynamic range，HDR）图像视觉效果图像的过程。传统多曝光图像融合在一定程度上存在图像细节信息受损、边界不清晰以及部分色彩失真等问题。为了充分综合待融合图像的有效信息，提出了一种基于图像分解和色彩先验的双尺度多曝光图像融合方法。方法 使用快速导向滤波进行图像分解，分离出细节层对其进行增强处理，保留更多的细节信息，同时减少融合图像的光晕伪影；根据色彩先验，利用亮度和饱和度之差判断图像曝光程度，并联合亮度与饱和度之差以及图像对比度计算多曝光图像融合权重，同时保障融合图像的亮度和对比度；利用导向滤波对权重图进行优化，抑制噪声，增加像素之间的相关性，提升融合图像的视觉效果。结果 在24组多曝光图像序列上进行实验，从主观评价角度来看，该融合方法能够提升图像整体对比度及色彩饱和度，并兼顾过曝光区域和欠曝光区域的细节提升。从客观评价标准分析，采用两种不同的多曝光图像序列融合结果的质量评估算法，评价结果显示融合性能均有所提高，对应的指标均值分别为0.982和0.970。与其他对比算法的数据结果比较，在两种不同的结构相似性指标上均有所提升，平均提升分别为1.2%和1.1%。结论 通过主观和客观评价，证实了所提方法在图像对比度、色彩饱和度以及细节信息保留的处理效果十分显著，具有良好的融合性能。     

动静态联合滤波器在多聚焦图像融合中的应用

动静态联合滤波器具有良好的边缘平滑特性,对梯度反转和全局强度迁移等伪影具有很强的鲁棒性。为了保留源图像的结构信息,提出了基于动静态联合滤波器的多聚焦图像融合方法。首先采用动静态联合滤波器将源图像分解为结构分量和纹理分量,以视觉显著度加权法对结构分量进行融合,综合相位一致性和清晰度信息对纹理分量进行融合;将两分量叠加获得初始融合图像,并通过计算源图像与初始融合图像间的结构相似度作为决策矩阵,获得最终的融合图像。通过对比多组融合图像主、客观评价结果发现,该方法能有效保留边缘信息。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

结合NSCT和压缩感知的红外与可见光图像融合

目的 红外成像传感器只敏感于目标场景的辐射,对热目标的探测性能较好,但其对场景的成像清晰度低;可见光图像只敏感于目标场景的反射,场景图像较为清晰,但目标不易被清晰观察.因而将两者图像进行融合,生成具有较好目标指示特性和可见光图像的清晰场景信息,有利于提高目标识别的准确性和降低高分辨图像传感器研究的技术难度.方法 结合非下采样contourlet变换 (NSCT)和压缩感知的优点,研究一种新的红外与可见光图像融合方法.首先对两源图像进行NSCT变换,得到一个低频子带和多个不同方向、尺度的高频子带.然后对两低频子带采用压缩感知理论获得测量向量,利用方差最大的方法对测量向量进行融合,再进行稀疏重建;高频子带采用区域能量最大的方法进行融合.最后利用NSCT逆变换获得融合图像.结果 为了验证本文方法的有效性,与其他几种方法相比较,并利用主观和客观的方法对融合结果进行评价.提出的新方法融合结果的熵、空间频率、方差明显优于其他几种方法,运行时间居中.主观上可以看出,融合结果在较好地显示目标的基础上,能够较为清晰地保留场景图像的信息.结论 实验结果表明,该方法具有较好的目标检测能力,并且方法简单,具有较强的适应性,可应用于航空、遥感图像、目标识别等诸多领域.     

Mutual spectral residual approach for multifocus image fusion

Multifocus image fusion is the process of obtaining a single image from multiple partially focused images such that the newly formed image consists of the well-defined information extracted from each source image. This paper proposes the use of saliency of the source images based on Mutual Spectral Residual. Spectral Residual brings out the unique/salient features of an image in frequency domain. The idea of proposed mutual spectral residual is to emphasize the relative unique features of a source image with respect to the other source images. The relative unique features are utilized to form saliency maps for each source image. These saliency maps can clearly indicate the focused and defocused parts of an image. Based on the saliency maps obtained, the image fusion takes place in spatial domain. Visual inspection and quantitative evaluation of the fused images obtained by the proposed method, using different evaluation metrics, demonstrate its effectiveness over several existing image fusion methods.