红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局...     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

基于Tikhonov正则化和细节重建的红外与可见光图像融合方法

传统的红外与可见光图像融方法将图像分解为多个频域分量后分别融合再相加,存在边缘模糊、对比度低等问题,为此提出了一种基于Tikhonov正则化和细节重建的融合方法。首先,利用Tikhonov正则化将图像分解为基本层和细节层,针对基本层训练一种用于细节重建的生成对抗网络;然后提取待融合图像的基本层特征,采用主成分分析方法进行融合;最后将基本层融合结果输入到生成对抗网络中,重建出一幅高频信息丰富的融合图像。实验结果表明:所提方法很好地保留了源图像中的细节信息和高亮区域,对不同清晰度的图像具有较好的鲁棒性。     

基于shearlet域和邻域结构特征的红外与可见光图像融合

针对传统融合方法融合后目标轮廓模糊和细节不突出的问题,本文提出了一种在shearlet框架下基于邻域结构特征的红外与可见光图像融合方法。首先,通过shearlet变换对源图像进行分解得到与源图像同尺寸的高频和低频子带系数;其次,为防止融合后图像边缘模糊,在低频子带系数上采用几何距离与能量距离加权的融合规则,同时对高频子带系数采用灰度差异与梯度距离加权的融合规则来更好地保留源图像的细节信息;最后经过shearlet逆变换得到融合后图像。通过实验对比发现,在视觉效果方面,本文方法能有效地提取红外目标信息和保持可见光图像信息。实验结果表明,本文方法在保留图像轮廓信息的基础上,凸显了目标信息,有效提高了融合效果。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

基于目标提取与引导滤波增强的红外与可见光图像融合EI北大核心CSCD

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

基于目标提取与引导滤波增强的红外与可见光图像融合

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于改进的条件生成对抗网络的可见光红外图像转换算法

针对当前基于条件生成对抗网络的红外图像生成算法中红外生成图像纹理细节信息差和结构信息差的问题，提出了一种基于改进的条件生成对抗网络的红外图像生成算法。首先，基于ConvNext改进了生成网络，在生成网络解码部分通过添加残差连接增强了解码部分对编码部分提取的图像深层特征的利用；其次，生成网络采用UNet网络架构，增强了对图像底层特征的利用；最后，对抗网络通过对生成图像特征的一阶统计量（均值）和二阶统计量（标准差）的损失计算，进一步改善了红外生成图像的灰度信息和纹理细节信息。与现有典型红外图像生成算法的对比实验结果表明，该方法能够生成质量更高的红外图像，在主观视觉描述和客观指标评价上都取得了更好表现。匹配应用实验表明，该算法在可见光图像与红外图像异源匹配任务中体现了较好的应用价值。     

基于剪切波变换和邻域结构特征的红外与可见光图像融合

针对传统融合方法融合后目标轮廓模糊和细节不突出等问题,提出一种在剪切波框架下基于邻域结构特征的红外与可见光图像融合算法。通过剪切波变换对源图像进行分解得到与源图像同尺寸的高频和低频子带系数;为防止融合后图像边缘模糊,对低频子带系数采用几何距离与能量距离加权的融合规则,对高频子带系数采用灰度差异与梯度距离加权的融合规则来更好地保留源图像的细节信息;经剪切波逆变换得到融合后图像。结果表明,本文算法能有效地提取红外目标信息和保持可见光图像信息;在保留图像轮廓信息的基础上,凸显目标信息,有效地改善图像融合效果。     

基于空洞循环卷积的近红外图像彩色化方法

针对近红外图像彩色化过程中存在近红外与可见光图像间模态差异较大、图像域样式不佳而导致其彩色化结果出现色彩纹理不吻合的问题,提出一种基于空洞循环卷积的近红外图像彩色化方法。改进CycleGAN网络,利用级联结构和空洞卷积块的优势设计了一种名为空洞级联模块,该模块采用编解码级联结构,代替原模型残差网络中的单向连接结构,进行特征通道的级联。在编解码级联层中引入空洞卷积模块,利用空洞卷积不损失图像纹理细节的优势,进一步提取不同尺度的近红外图像特征信息,最后通过解码将近红外灰度图像上色成彩色近红外图像。算法在生成网络中采用空洞级联方式改善误着色问题;在判别网络中引用感知损失函数改善网络收敛速度慢的问题。并且在NIR＿VIS数据集上开展验证和分析。实验结果表明,所提方法提升效果明显,更好地保持了原目标的结构及色彩纹理特征,有效地提升了近红外图像的可视化效果。     

2D经验模态分解与非下采样方向滤波器组的红外与可见光图像融合算法

针对当前红外(IR)与可见光(VI)图像融合中细节保留能力不足及目标配准精度不高的问题,设计了一种多尺度2D经验模态分解耦合非下采样方向滤波器组(NSDFB)的红外与可见光图像融合算法。分别计算红外与可见光图像的熵值,并比较二者阈值的大小,计算阈值较大图像的残差。通过2D经验模态分解(2D-EMD)和NSDFB机制,构建了多尺度方向分解模型,将熵值较大图像的残差和熵值较小的图像变换为高频方向系数与低频系数,以获得源图像的细节和特征信息。对于低频系数,引入加权平均作为低频系数的融合准则;根据区域能量对比度与清晰度来定义融合规则,完成高频系数的融合。利用2D-EMD多尺度分解逆变换将获取的低频与高频系数生成新图像。实验表明:与当前常用红外与可见光图像融合对比,所提算法具有更高的融合质量,所输出的图像具有更好的对比度与丰富的细节信息。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法中存在的目标不够突出、背景缺失、边缘信息保留不够充分等问题,提出了一种基于改进引导滤波和双通道脉冲发放皮层模型(DCSCM)的红外与可见光图像融合算法。首先,对源图像进行非降采样Shearlet变换(NSST),得到相应的低频和高频分量。然后,分别采用改进的引导滤波算法和DCSCM模型对低频、高频分量进行融合。最后,对融合得到的高低频分量进行NSST逆变换得到最终的融合图像。与其他几种方法进行比较,实验结果表明,本文算法的融合图像目标突出,背景信息丰富,且在图像清晰度、对比度、信息熵等方面均有优势。     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

基于非下采样Shearlet变换与剥离策略的可见光与红外图像融合算法北大核心CSCD

为了使可见光与红外融合图像能更好的表达目标信息,联合非下采样Shearlet变换与剥离策略,对其进行融合。首先,借助非下采样Shearlet变换,获取可见光与红外图像的高、低频成分。然后,通过Otsu阈值分割方法来构建剥离策略,将红外图像中的目标层与其背景层进行剥离,并以目标层为基础,利用图像的区域能量特征,对可见光图像与红外图像背景层的低频系数进行加权计算,并将结果与红外图像的目标层结合,以得到富含目标内容和背景内容的融合低频系数。引入区域方差函数,对图像的细节特征进行测算,通过构造方差加权因子,得到富含细节特征的融合高频系数。最后,对两个融合系数实施非下采样Shearlet逆变换,从而输出融合图像。实验结果显示,本算法融合的图像,比现有融合算法融合的图像更具优良的目标及细节表达能力,可用于获取高质量的可见光与红外融合图像。     

基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法

针对传统红外与弱可见光图像融合算法中存在的亮度与对比度低、细节轮廓信息缺失、可视性差等问题,提出一种基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法.该方法首先利用改进的高动态范围压缩增强方法增强可见光图像提高亮度;然后利用基于潜在低秩表示与复合滤波的分解方法分别对红外与增强后的弱可见光图像进行分解,得到相应的低频和高频层;再分别使用改进的对比度增强视觉显著图融合方法与改进的加权最小二乘优化融合方法对得到的低频和高频层进行融合;最后将得到的低频和高频融合层进行线性叠加得到最终的融合图像.与其他方法的对比实验结果表明,用该方法得到的融合图像细节信息丰富,清晰度高,具有良好的可视性.     

真彩色传递双波段图像融合

针对基于颜色传递的双波段（中波红外、可见光）图像融合时,由于参考图像选择不当,造成的彩色融合图像对比度差、图像边缘细节下降等问题,提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解,每一级按照不同的融合规则进行融合,以重构后的灰度融合图像作为融合结构的亮度分量Y,将可见光与红外图像的差值图像作为U分量,以红外图像为V分量。在颜色传递公式中,加入可调的比例系数,通过适当调节比例系数可调节融合图像的对比度。实验结果表明,获得的融合图像较好地保留了可见光图像的细节,既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明,融合图像的均值、方差、熵等评价指标均得到较大提高。     

二尺度分解和显著性提取的红外与可见光图像融合

为增强红外与可见光图像融合可视性,克服红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。首先,以人类视觉感知理论为基础,针对人眼对图像不同区域敏感性不同特性,在跨模态融合任务中需要对源图像进行不同层次分解,避免高频分量和低频分量混合减少光晕效应,采用二尺度分解方法对源红外与可见光图像进行分解,分别获取各自的基本层和细节层,该分解方法能够很好的表达图像并具有很好的实时性;然后,针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则,VSM方法能够很好提取源图像中的显著结构和目标。采用基于VSM的加权平均融合规则对基本层融合,能够有效避免直接使用加权平均策略而导致对比度损失,使融合图像可视性更好;针对细节层的融合,采用Kirsch算子对源图像分别提取得到显著图,然后通过VGG-19网络对显著图进行特征提取获取权值图,并与细节层进行融合,得到融合的细节层;Kirsch算子能在八个方向上快速提取图像边缘,显著图中将包含更多边缘信息和更少噪声,且VGG-19网络能够提取到图像更深层特征信息,获取的权值图中将包...     

基于稀疏特征的红外与可见光图像融合

针对传统的红外与可见光图像融合算法提取目标信息不突出的问题,提出一种基于非下采样剪切波变换和稀疏结构特征的融合方法.首先用非下采样剪切波变换分解源图像;然后通过主成分分析提取低频子带系数中边缘和轮廓等显著特征,引导低频成分融合规则的设计,同时基于结构信息的稀疏性指导融合高频子带系数;最后经过非下采样剪切波变换逆变换得到融合后的图像.实验结果表明,该方法在保留可见光图像背景信息的基础上,突显了红外图像的结构信息,有效提高了融合效果.