基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题，提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层，对细节层使用基于结构相似性和L2范数的融合规则融合并增强；然后提出一种结构均值法，将结构层分解为亮度层和基础层，对亮度层使用绝对值取大融合，对基础层设计了一种基于多指标的融合规则进行融合；最后重构各子融合图像得到最终融合图像。为验证算法的有效性，与9种红外与可见光图像融合算法进行对比，使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标，在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明，本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节，且在客观评价指标上取得了更好的效果。     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

基于多阈值分割的红外与可见光图像融合

对基于NSCT分解的可见光和红外图像的融合算法进行了优化技术研究.在场景复杂或有多个区域需要同时关注时,低频子图融合阶段采用简单的二值化区域分割方法并不能将不同区域的感兴趣目标有效地反映到融合结果中.所以本文采用基于最大熵的多阈值分割方法,并对每一个分割区域计算其区域能量比指导融合系数的求取;高频融合阶段采用最能保持图像细节的梯度最大规则.实验结果表明本文算法能够将多个区域中的感兴趣目标很好地反映到融合结果中,并保留了可见光图像丰富的细节信息和分辨率高特征,融合图像具有更好的视觉效果.     

基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

为了同时保留红外图像的特征信息和可见光图像的细节信息,提出了一种基于对比度金字塔的非对称红外与可见光图像融合方法。首先,使用对比度金字塔对红外与可见光图像进行高频与低频信息分解,然后对高频部分采用绝对值取大方法进行融合,对于低频部分采用基于双边滤波的方法对红外与可见光图像进行非对称的处理;其次,使用对比度金字塔的逆变换得到融合后图像。对融合图像进行主观视觉和客观指标评价,结果表明该算法在突出目标特征信息和保留细节特征方面表现优异。     

基于非负矩阵分解和红外特征的图像融合方法

针对传统图像融合方法鲁棒性较差的缺点,提出了一种基于非负矩阵分解和红外特征的图像融合方法,实现源图像的目标区域和背景区域分别融合.首先将源图像作为原始数据进行非负矩阵分解得到特征基图像,特征基图像包含了源图像的整体特征;利用红外图像目标与背景灰度显著差异,通过区域生长方法从红外图像提取目标区域,将红外目标区域与特征基图像背景区域相融合得到融合图像.实验结果表明,该方法不仅简单易行,而且在保留了可见光的高空间分辨率和纹理细节信息同时,突出了红外图像对热目标敏感特点,提高了图像的可判读性.     

基于FRGF和改进PCNN的红外可见光图像融合

为解决图像融合中边缘细节保留不理想的问题,本文提出了一种快速滚动引导滤波器和改进脉冲耦合神经网络相结合的红外可见光图像融合方法。提出的快速滚动引导滤波器可以较好地在保留边缘、细节纹理信息的同时有效提高运行效率。首先,利用快速滚动引导滤波和高斯滤波对源图像进行多尺度分解;其次,为了使基础层图像更好地突出轮廓信息,采用相似性匹配的融合规则对图像进行融合;然后,细节层采用改进参数自适应脉冲耦合神经网络规则进行融合;最后,经过多尺度重构得到融合结果图。实验结果表明,与其它5种融合方法相比,该算法不仅在视觉效果上得到了提升,而且能够充分保存图像的边缘和纹理等信息,极大地提高了运行效率。另外,该方法在客观评价指标上均优于对比方法。     

基于目标增强的红外与可见光图像融合技术研究

针对红外和可见光图像融合算法中存在背景模糊和目标不清晰等问题,提出一种基于目标增强的红外与可见光图像融合算法。首先,利用均值滤波的方法获得透射率的粗估计,通过图像统计信息实现粗透射率的细化,依据大气散射模型实现红外图像的目标增强;然后,对目标增强的红外图像和可见光图像采用改进的Prewitt算子进行边缘检测,并将检测结果二值化,对边缘部分采用基于二值信息的融合规则,对非边缘部分采用比值加权分析的融合规则。实验结果表明,采用基于目标增强的图像融合算法不仅能凸显红外图像的目标信息,还能尽可能多的保留可见光图像丰富的细节信息,具有更好的视觉效果和更高的客观质量评价指标。     

NSST域红外和可见光图像感知融合

为了提高融合图像的视觉感知效果,提出一种非下采样剪切波变换(Non-Subsampled Shear Transform,NSST)域红外和可见光图像感知融合方法.首先采用NSST将源图像分解为高频和低频分量;接着采用参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PA-PCNN)融合高频分量图像,提高成像细节;然后联合使用高斯滤波器和双边滤波器进行多尺度变换以融合低频分量图像,将低频分量分解为多尺度纹理细节和边缘特征以捕获更多的多尺度红外光谱特征;最后利用NSST逆变换获取融合图像.实验结果表明,该方法不仅可以有效提高融合图像的细节信息,而且还能增强红外特征的提取能力以契合人体的视觉感知.     

基于变换域VGGNet19的红外与可见光图像融合

针对红外与可见光图像融合中出现细节信息丢失及边缘模糊的问题,提出一种在变换域中通过VGGNet19网络的红外与可见光图像融合方法。首先,为了使得源图像在分解过程中提取到精度更高的基础与细节信息,将源图像利用具有保边平滑功能的多尺度引导滤波器进行分解,分解为一个基础层与多个细节层;然后,采用具有保留主要能量信息特点的拉普拉斯能量对基础层进行融合得到基础融合图;其次,为了防止融合结果丢失一些细节边缘信息,采用VGGNet19网络对细节层进行特征提取,L1正则化、上采样以及最终的加权平均策略得到融合后的细节部分;最后,通过两种融合图的相加即可得最终的融合结果。实验结果表明,本文方法更好地提取了源图像中的边缘及细节信息,在主观评价以及客观评价指标中均取得了更好的效果。     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

Fusion of Infrared and Visible Images Based on Infrared Object Extraction

The ideal fused results of infrared and visible images, should contain the important infrared objects, and preserve the visible textural detail information as much as possible. The fused images are more consistent with human visual perception effect. For this purpose, a novel infrared and visible image fusion framework is proposed. Under the guidance of the model, the source images are decomposed into large-scale edge, small-scale textural detail and coarse-scale base level information. Among which, the large-scale edge information contains the main infrared features, on this basis, the infrared image is further segmented into the object, transition and background regions by OTSU multi-threshold segmentation algorithm. In the end, the fused weights for the decomposed sub-information are determined by the segmented results, so that, the infrared object information can be effectively injected into the fused image, and the important visible textural detail information can be preserved as much as possible in the fused image. Experimental results show that, the proposed method can not only highlight the infrared objects, but also preserve the visual information in the visible image as much as possible. The fused results are superior to the commonly used representative fusion methods, both in subjective perception and objective evaluation.     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数,高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数,最后通过逆NSCT变换重构得到融合图像。实验表明,相较于其它图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节表现能力,并在多项客观评价指标上优于其它算法,具有更好的视觉效果,且在伪彩色变换后有良好的视觉体验,验证了所提算法的有效性和可行性。     

基于高斯模糊逻辑和ADCSCM的红外与可见光图像融合算法

为了克服当前的红外与可见光图像融合算法存在着目标不够突出、纹理细节丢失等现象,本文提出了一种基于高斯模糊逻辑和自适应双通道脉冲发放皮层模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的红外与可见光图像融合算法。首先,使用非下采样剪切波变换（Non-Subsampled Sheartlet Transform, NSST）将源图像分解为低频和高频部分。其次,结合新拉普拉斯能量和（New Sum of Laplacian, NSL）与高斯模糊逻辑,设定双阈值来指导低频部分进行融合;同时,采用基于ADCSCM的融合规则来指导高频部分进行融合。最后,使用NSST逆变换进行重构来获取融合图像。实验结果表明,本文算法主观视觉效果最佳,并在互信息、信息熵和标准差3项指标上高于其他7种融合算法,能够有效突出红外目标、保留较多纹理细节,提高融合图像的质量。     

一种基于EASSF的红外与可见光图像视觉保真度融合

最近,多尺度特征提取被广泛应用于红外与可见光图像融合领域,但是大多数提取过程过于复杂,并且视觉效果不佳。为了提高融合结果的视觉保真度,本文提出一种基于边缘感知平滑锐化滤波器（Edge-Aware Smoothing-Sharpening Filter,EASSF）的多尺度图像融合模型。首先,提出一种基于EASSF的多尺度水平图像分解方法对源图像进行分解,得到水平方向上的多尺度纹理成分和基础成分;其次,采用最大值融合规则（Max-Fusion, MF）融合纹理成分,避免图像细节信息的丢失;然后,通过一种感知融合规则（Perceptual-Fusion, PF）融合基础成分,捕获显著性目标信息;最后,通过整合融合后的多尺度纹理成分和基础成分得到融合图像。实验通过分析感知融合系数,对比融合结果的客观数据得出红外与可见光图像融合在多尺度EASSF下较为合适的取值范围;在该取值范围内,本文提出的融合模型同一些较为经典和流行的融合方法相比,不仅解决了特征信息提取的复杂性,而且通过整合基础成分的显著性光谱信息,有效地保证了融合结果的视觉保真度。     

增强融合图像视觉效果的图像融合方法

针对现有图像融合方法得到的融合图像对比度低，图像纹理细节信息保留不充分，图像视觉效果差等问题，论文提出一种新的基于图像对比度增强的红外与可见光图像融合方法，以有效提高融合图像的视觉效果。首先，为提高可见光图像低亮度细节的能见度，在融合之前，提出一种基于引导滤波器的动态范围压缩与线性变换相结合的自适应图像增强方法；其次，采用基于引导滤波器和高斯滤波器相结合的多尺度融合方法，将红外图像信息有效地注入可见光图像中；最后运用非局部均值滤波对融合后的图像进行后处理，以得到效果增强的融合图像。实验结果表明，该方法能够获得较好的图像融合效果，无论从主观视觉还是客观评价指标上，都要优于现有的常用图像融合方法。      

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。