基于Tetrolet变换的红外与可见光融合

针对目前红外与可见光图像融合速度慢、 融合结果对比度不高且易产生伪影的缺点,提出一种基于Tetrolet变换的改进融合算法。首先,将可见光图像转换到lαβ颜色空间得到三个几乎不相关的彩色通道;然后对其l分量和红外图像分别进行Tetrolet变换,对于低通系数引入邻域能量及其接近度的融合规则。而对Tetrolet系数采用伪随机傅里叶矩阵进行观测并加权融合其观测值;接下来对融合后观测值采用CoSaMP优化算法迭代出融合后的Tetrolet系数,并经Tetrolet重构得到融合后的灰度图像;最后将灰度图像映射到RGB颜色空间获得最终的融合图像。实验证明了本文算法的有效性。     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于小波包变换的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于小波包变换的融合算法。该算法先对源图像进行小波包分解,得到低频分量和各带通方向子带分量,并对不同分量采用不同的融合规则进行融合处理,得到各融合系数,然后经小波包重构获得融合图像。该方法可提取源图像细节信息,取得较好的融合效果。     

一种基于NSCT变换的红外与可见光图像融合算法

针对红外与可见光图像融合,提出了一种基于NSCT变换的图像融合方法。对经NSCT变换的低频子带系数采用基于区域能量自适应加权的融合规则,对高频子带系数采用混合的融合方法,即对于低层,采用基于区域方差选大的融合方法,对于高层采用像素点的绝对值选大的融合方法。实验结果表明,该融合算法可以获得更多的细节信息,能获得较理想的融合图像。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

卷积稀疏表示图像融合与超分辨率联合实现

为避免图像融合与超分辨率分步实现的不足,提出了基于卷积稀疏表示的融合与超分辨率重建联合实现方法。假设低分辨率与高分辨率图像之间具有相同的稀疏特征图,设计了一种高、低分辨率滤波器联合学习框架,实现对图像高低频成分的分离,并根据不同成分的形态特性设计了不同的融合规则:对于高频成分,根据稀疏特征图亮度信息和像素活跃性水平,设计了一种像素显著性度量方案来指导高频特征图的融合;对于低频成分,根据脉冲耦合神经网络能捕获邻域相似像素点火的特性,设计了低频成分融合方法。所提方法不需要将图像分割成重叠的块,避免块向量化的缺陷。实验结果表明,能有效提高图像融合的质量。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换（NSCT）的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度（IHS）颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点绝对值和取大、低频系数采用基于亮度重映射技术的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

红外和彩色可见光图像亮度-对比度传递融合算法

以红外和彩色可见光图像为研究对象,提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合,然后用LCT技术改善灰度融合结果的亮度和对比度,最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明,提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩,而且具备令人满意的亮度和对比度,即使采用运算简单的像素平均法进行灰度融合,同样可以获得良好的融合效果。     

基于变换域PCNN的近红外与彩色可见光融合

针对近红外与彩色可见光图像融合后对比度低、细节丢失和颜色失真等问题,提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network,PCNN)的红外与彩色可见光图像融合的新算法.首先将彩色可见光图像转换到HSI(hue saturation intensity)空间,...     

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局...     

基于小波框架的红外/可见光图像融合

针对小波框架所具有的冗余性和平移不变性在图像处理中能较好保留图像细节特征的特点,提出了一种将l2上的离散小波框架和交叉子带像素融合方案(Cross band pixel selection)结合起来的融合算法,并用于红外和可见光图像的融合。仿真试验表明该算法较好地保留了源图像的细节信息,是一种行之有效的融合算法。     

基于目标提取与引导滤波增强的红外与可见光图像融合EI北大核心CSCD

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

基于DTCWT和稀疏表示的红外偏振与光强图像融合

针对红外偏振与光强图像彼此包含共同信息和特有信息的特点,提出了一种基于双树复小波变换和稀疏表示的图像融合方法.首先,利用双树复小波变换获取源图像的高频和低频成分,并用绝对值最大值法获得融合的高频成分;然后,用低频成分组成联合矩阵,并使用K-奇异值分解法训练该矩阵的冗余字典,根据该字典求出各个低频成分的稀疏系数,通过稀疏系数中非零值的位置信息判断共有信息和特有信息,并分别使用相应的规则进行融合;最后,将融合的高低频系数经过双树复小波反变换得到融合图像.实验结果表明,本文提出的融合算法不仅能较好地凸显源图像的共有信息,而且能很好地保留它们的特有信息,同时,融合图像具有较高的对比度和细节信息.     

基于非下采样Shearlet变换与剥离策略的可见光与红外图像融合算法北大核心CSCD

为了使可见光与红外融合图像能更好的表达目标信息,联合非下采样Shearlet变换与剥离策略,对其进行融合。首先,借助非下采样Shearlet变换,获取可见光与红外图像的高、低频成分。然后,通过Otsu阈值分割方法来构建剥离策略,将红外图像中的目标层与其背景层进行剥离,并以目标层为基础,利用图像的区域能量特征,对可见光图像与红外图像背景层的低频系数进行加权计算,并将结果与红外图像的目标层结合,以得到富含目标内容和背景内容的融合低频系数。引入区域方差函数,对图像的细节特征进行测算,通过构造方差加权因子,得到富含细节特征的融合高频系数。最后,对两个融合系数实施非下采样Shearlet逆变换,从而输出融合图像。实验结果显示,本算法融合的图像,比现有融合算法融合的图像更具优良的目标及细节表达能力,可用于获取高质量的可见光与红外融合图像。     

红外和可见光图像泊松融合算法

针对已有红外和可见光图像融合算法存在的复杂度高、实时性差、输入参量多和融合模型受先验知识影响等问题,提出了红外和可见光图像泊松融合算法.算法采用绝对值最大规则融合源图像的梯度得到泊松融合图像的期望梯度,将平均融合图像分解,分别作为迭代的初始值和边界条件,利用雅可比迭代求解泊松方程重建泊松融合图像.通过实验分别确定了最佳迭代次数以满足高质量和高实时性两种融合需求.与经典融合算法相比,该算法在质量优先或速度优先的图像融合应用方面性能更优.     

一种基于提升小波的图像融合技术研究

针对红外与可见光图像进行提升小波变换后低频图像的特点,提出了一种低频分量的融合算法,高频分量采取邻域方差取大为准则进行融合,然后进行提升小波逆变换得到融合图像。通过与传统小波融合方法进行比较,并引入信息熵、清晰度、Xydeas-Petrovic客观性能指标对融合后的图像进行分析。实验结果表明不论从视觉效果还是从客观性能指标上,该算法都优于传统的融合方法。