基于FGF与VGGNet19的红外可见光图像融合

针对红外与可见光图像融合中出现红外目标不够突出以及边缘模糊等问题,本文提出了一种基于FGF(快速引导滤波)和VGGNet19的红外与可见光图像融合方法。首先,通过FGF将源图像进行双尺度分解；然后,利用VGGNet19网络得到初步融合权重图；其次,利用OTSU(最大类间方差法)来提取初步融合权重图的前景与背景,进行二值化；然后,对得到的二值图像使用FGF得到最终融合权重图；最后,相加再经过FGF和图像增强实现图像融合。实验结果表明,本文方法能够有效保留显著热目标,边缘细节清晰,在主观评价以及客观评价指标中均取得了更好的效果。     

基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题，提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层，对细节层使用基于结构相似性和L2范数的融合规则融合并增强；然后提出一种结构均值法，将结构层分解为亮度层和基础层，对亮度层使用绝对值取大融合，对基础层设计了一种基于多指标的融合规则进行融合；最后重构各子融合图像得到最终融合图像。为验证算法的有效性，与9种红外与可见光图像融合算法进行对比，使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标，在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明，本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节，且在客观评价指标上取得了更好的效果。     

基于图像增强和滚动引导滤波的红外与可见光图像融合

针对红外与可见光图像融合易发生热目标亮度损失、可见光图像细节信息丢失的问题，提出一种基于图像增强和滚动引导滤波的多尺度融合算法。首先，提出一种自适应图像增强方法，提高可见光图像的整体亮度，并保持细节处的对比度。然后，根据特征的不同将源图像分解为三层，采用基于引导滤波的显著性提取方法得到亮度层；利用滚动引导滤波良好的尺度感知和边缘保持特性，并结合高斯滤波得到基础层和细节层。最后，对亮度层采用像素值取大的融合规则，提出一种新的最小二乘优化方案对基础层进行融合，使用修正拉普拉斯能量和作为清晰度的度量对细节层进行融合。实验结果表明，与其他融合方法相比，所提方法在主观评价和客观评价上都有较好的表现。     

基于显著导向的可见光与红外图像融合算法

为了克服当前较多可见光与红外图像融合方法主要利用图像能量特征来融合图层内容,忽略了图像的显著信息,导致融合图像中存在对比度较低等不足,本文以图像的显著信息为导向来融合可见光与红外图像。首先,借助L0和L1范数来设计平滑变换,对可见光与红外图像进行分解,获取边缘等特征保持较好的基础层和细节层。然后,利用频率调谐(FT)方法,获取红外图像中的显著信息,并以此为依据,建立基础层的融合模型,获取融合基础层图像。通过图像的信息熵特征,构建细节层的融合准则,从不同细节层图像的信息关联性出发,获取融合细节层图像。通过对融合细节层和融合基础层图像进行求和操作,输出融合图像。最后,在TNO数据集上进行了测试,结果显示,与当前技术相比,本文算法拥有更高的融合效果,可以更好地凸显目标信息与保持纹理细节。     

基于多尺度分解和显著性区域提取的可见光红外图像融合方法北大核心CSCD

可见光红外图像融合技术对于提升成像区域的信息丰富程度具有重要意义。提出了一种基于多尺度分解和显著性区域提取的可见光红外图像融合算法。利用边缘保持的图像平滑算法,构建了多尺度图像分解框架,将图像分解为不同尺度的基础层图像和若干细节层图像,同时结合导向滤波器,在每个分解图层实施显著性区域提取。通过加权重建进行融合信息的视觉增强,得到最终的融合结果。针对不同融合算法和图像库开展了主客观评价对比实验,结果表明:所提出的算法具有较好的主客观评价结果,算法融合效果表现优异,适用性较好。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。     

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

基于L1-L0分解的可见光-红外线图像融合方法

为了增强融合图像中的夜视场景和显著性目标,提出了一种可见光与红外线图像的融合方法。首先,对可见光图像进行内容增强。其次,利用L1-L0约束的图像分解方法对增强的可见光图像和红外线图像进行分解,得到它们的基础层和细节层,在基础层上采用局部能量的融合规则进行融合,在细节层上利用显著性图的融合规则进行融合。最后将融合的细节层和基础层叠加得到融合结果。实验结果表明所提方法在主观视觉和客观评价上均取得良好的效果。     

基于滚动引导滤波的红外与可见光图像融合

为提高融合图像更加适应人类视觉感知,并解决可见光图像受光线、天气等影响而导致融合效果不佳的问题,本文提出了一种基于滚动引导滤波的可见光与红外图像融合方法。首先,利用引导滤波对可见光图像的内容进行增强,然后,利用滚动引导滤波将可见光和红外图像进行多尺度分解为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用加权最小二乘法融合规则解决融合时可见光与红外图像不同特征带来的困扰,提高融合图像的视觉效果;在基础层的融合过程中采用优化的视觉显著图融合规则,减少对比度损失。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。     

基于方向导波增强的红外与可见光图像融合

为提高融合图像的视觉效果,并解决可见光图像受光线、天气等影响而成像不清导致的夜视背景弱的问题,本文基于方向导波提出了一种可见光与红外线图像的融合方法。首先,利用方向导波对可见光图像的内容进行增强,然后,利用方向导波的多尺度分解将可见光和红外线图像进行分解后再分别合成为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用视觉基础上的正则参数将红外线图像的信息加入到可见光图像中去;在基础层的融合过程中采用基于能量保护与细节提取的融合规则。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高夜视背景、细节处理、能量保护等方面都有良好的效果。     

基于VGG网络的双波段图像融合方法

针对红外与可见光图像中物体信息具有各自优点的情况,提出了基于VGG网络的红外与可见光图像融合方法来提高对夜间或复杂背景情况下的物体检测识别能力。首先将图像分别输入到一个经过训练得到的VGG网络中,经过不同的卷积层提取各自的特征图;然后将特征图经过ZCA白化处理,去除冗余信息;再通过归一化处理,将特征图的维度降到二维,并通过双三次插值法将其缩放到与源图像尺寸一致;最后通过加权取平均得到融合后的图像。实验结果表明,本文的方法在第四和第五层卷积得到的融合结果优于前三层的融合结果。同时,本文融合方法与其他3种融合方法相比视觉效果较好,在标准差、平均梯度、相关系数、熵值等评价指标上分别平均提升了12.79 %、11.04 %、9.94 %和2.54 %,并且在融合时间上保持在1秒以内。这说明该方法融合效果较好,速度较快,能够较多地保留红外与可见光图像信息和较好地提升目标的显著性。     

基于RGF和改进自适应Unit-Linking PCNN的红外与可见光图像融合

为了进一步提高融合图像的对比度和清晰度,提 出一种基于RGF(Rolling Guidance Filter)和改进自适应Unit-Linking PCNN(Unit-Lin king Pulse Coupled Neural Net work)的红外与可见光图像融合方法。首先,源图像利用RGF和高斯滤波器进行多尺度分解。 然后,针对基础层通过计算其最大区域能量,提出了将最大区域能量与源图像相结合的融合 规则;针对细节层利用改进的自适应Unit-Linking PCNN进行处理,得到相应的神经元点火 频率图,计算每个像素点火频率图的边缘特征,并选择两者边缘特征较大的系数作为融合图 像系数。最后,利用多尺度重构融合图像。实验结果表明,本文融合算法能较好地突出图像 的目标信息,提供丰富的背景细节,在图像的清晰度和人眼视觉效果方面取得较好的融合效 果。     

基于FRGF和改进PCNN的红外可见光图像融合

为解决图像融合中边缘细节保留不理想的问题,本文提出了一种快速滚动引导滤波器和改进脉冲耦合神经网络相结合的红外可见光图像融合方法。提出的快速滚动引导滤波器可以较好地在保留边缘、细节纹理信息的同时有效提高运行效率。首先,利用快速滚动引导滤波和高斯滤波对源图像进行多尺度分解;其次,为了使基础层图像更好地突出轮廓信息,采用相似性匹配的融合规则对图像进行融合;然后,细节层采用改进参数自适应脉冲耦合神经网络规则进行融合;最后,经过多尺度重构得到融合结果图。实验结果表明,与其它5种融合方法相比,该算法不仅在视觉效果上得到了提升,而且能够充分保存图像的边缘和纹理等信息,极大地提高了运行效率。另外,该方法在客观评价指标上均优于对比方法。     

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。     

一种基于频域的红外与可见光图像融合新算法

引入具有详细数学表达的多小波——V-系统,利用V-系统的多分辨性和NSCT的多方向性,对红外和可见光图像进行多层次、多方向分解,各层次各方向采用不同的融合方案进行图像融合。首先对源图像进行多层V-分解,得到图像的轮廓信息和多层细节信息;接着用NSCT对V分解得到的轮廓信息再分解,得到相应的低频和高频系数,低频系数用基于稀疏表示的融合规则融合,高频系数用基于二维Log-Gabor能量的融合规则融合,将改进的脉冲耦合神经网络融合规则用于V分解得到的细节信息的融合;最后,经过相应的逆变换得到融合图像。本文算法从不同层面、不同方向对源图像分解,使得源图像的细节得到细致刻画,同时多种融合方案的结合,使得融合图像的细节信息更加清晰,对比度得到提高,客观指标也有显著提高。