卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于自适应NSST—PCNN的红外与可见光图像融合方法研究

传统的红外与可见光图像融合方法存在着对比度不高、背景细节信息保留不理想的问题,为解决此类问题,提出了一种非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)结合自适应脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的方法.利用NSST将源图像多尺度地分解成低频子带和高频子带;针对图像低频子带融合,采用自适应模糊逻辑加权平均融合规则;对于图像高频子带融合,采用自适应PCNN的算法;最后,通过NSST逆变换得到融合后图像.实验结果表明,相比于传统图像融合方法,本方法在信息熵、空间频率、平均梯度、互信息和交叉熵等多个客观评价指标上至少分别提高了1.54％、4.52％、3.52％、9.14％、0.12％,提高了融合图像的对比度,保留了背景细节信息,取得更好的融合效果.     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。