基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法.使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度.将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像.实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果.     

基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别.现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限.针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法.通过预设热敏感目标,计算可见光与红外...     

基于RPCA和LatLRR分解的红外与可见光的图像融合

红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用.为了得到融合效果更好的图像,提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法.首先,利用鲁棒性主成分分析对训练集图像进行去噪处理,利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵,并对源图像进行分解,重构形成低频图像和高频图像.然后...     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于LatLRR和PCNN的红外与可见光融合算法

针对光谱差异较大的红外与可见光图像，本文提出一种基于潜在低秩表示（LatLRR）和脉冲式耦合神经网络（PCNN）的多尺度融合模型。首先，该算法利用非下采样剪切波变换（NSST）获取图像的低频与高频分量。鉴于图像的低频分量决定最终的融合效果，采用LatLRR算法挖掘源图像内在的显著特征对低频分量自适应加权融合。除此外，针对决定融合图像细节的高频分量，则利用双通道PCNN模型作为它的融合规则。其中平均梯度算子（AVG）和方向梯度和算子（SDG）分别作为PCNN的外界刺激与链接强度，它们能更好地表征图像的纹理特性。通过上述全新的融合规则，可将包含在红外图像内部的显著性特征与可见光图像的梯度特征完美结合，从而获取具有优良视觉效果的融合图像。本文采用3种不同的场景来测试所提方法的融合性能，与其他典型融合方法相比，本文提出的算法具有更佳的视觉效果，同时客观评价参数值增加约2%~5%。     

基于L1-L0分解的可见光-红外线图像融合方法

为了增强融合图像中的夜视场景和显著性目标,提出了一种可见光与红外线图像的融合方法。首先,对可见光图像进行内容增强。其次,利用L1-L0约束的图像分解方法对增强的可见光图像和红外线图像进行分解,得到它们的基础层和细节层,在基础层上采用局部能量的融合规则进行融合,在细节层上利用显著性图的融合规则进行融合。最后将融合的细节层和基础层叠加得到融合结果。实验结果表明所提方法在主观视觉和客观评价上均取得良好的效果。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network, ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex, SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMI_dct)、小波特征互信息(FMI_w)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

基于SURF-HOG与显著性特征的红外可见光图像配准融合北大核心CSCD

针对现有红外与可见光图像配准不精确,边缘及细节纹理缺失,融合时间较长,不能突出重点目标等不足,提出一种基于SURF-HOG描述符与红外显著性特征的红外与可见光图像融合方法。首先,在红外与可见光图像配准阶段,在SURF(Speed-Up Robust Features,SURF)框架内构建基于HOG(Histogram of Oriented Gradient,HOG)的特征点描述符,并通过NNDR(Nearest Neighbor Distance Ratio,NNDR)进行红外与可见光图像的特征点匹配;其次,在显著特征提取阶段,先通过四叉树算法对源红外图像分解,然后通过贝塞尔插值法重建红外图像背景,接着分别对红外图像中的背景及目标进行自适应抑制以提取目标红外显著性特征;最后,结合已配准的可见光图像与重建后的红外图像以获取最终融合结果。实验结果表明,所提方法对不同场景下的红外与可见光图像具有较高的配准精度,不同场景下的融合结果不但主观视觉上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间最短,并且在客观评价指标上也取得了较好的效果。     

基于红外与可见光图像融合的交通标志检测

针对大多数交通标志检测方法易受光照和天气影响的问题,提出一种基于红外与可见光融合的交通标志检测方法。首先,分别在红外与可见光图像中提取交通标志的形状和颜色特征,对目标进行粗定位,并将结果放入候选组内进行分类与整理;然后,将候选组放入卷积神经网络,对粗定位结果赋予相应的置信度;最后,根据置信度对红外与可见光的粗定位结果进行决策融合,并将融合结果展示在可见光图像中。实验结果表明,该算法对检测环境的变化更加鲁棒,在白天、夜晚和不良天气等多种环境下有效地提高了检测效率,具有良好的适用范围。     

基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题,提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层,对细节层使用基于结构相似性和L2范数的融合规则融合并增强;然后提出一种结构均值法,将结构层分解为亮度层和基础层,对亮度层使用绝对值取大融合,对基础层设计了一种基于多指标的融合规则进行融合;最后重构各子融合图像得到最终融合图像。为验证算法的有效性,与9种红外与可见光图像融合算法进行对比,使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标,在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明,本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节,且在客观评价指标上取得了更好的效果。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

基于红外与可见光图像融合技术发展与性能评价

红外图像可以全天候且不受光照条件影响的根据目标和背景热辐射差异来区分目标和背景。可见光图像可以通过人的视觉系统的高空间分辨率和清晰度来提供景物的质地和结构细节。因此将红外图像和可见光图像融合可以结合两种图像优势,融合后的图像效果预期良好。本文对传统经典方法和目前较新融合方法进行综述。首先回顾了红外和可见光图像的融合方法,其次选取了一些融合图像的性能评价指标,然后选择具有代表性的具体算法进行图像融合,根据融合图像结果获取评测指标,最后根据指标进行分析并对现状进行总结讨论,及对以后的工作发展方向进行展望。     

红外与可见光图像融合技术的研究进展

红外与可见光融合图像既具有红外的辐射信息又具有可见光的细节信息,在生产生活、军事监视等场景得到广泛应用,已然成为图像融合领域的重点研究方向。根据图像融合方法的核心思想、融合框架、研究进展对基于多尺度变换、稀疏表示、神经网络等融合方法进行详细阐述对比,并综述了红外与可见光图像融合在各领域内的应用现状,以及常用的评价指标。并选择具有代表性的多种融合方法与评价指标,应用于六个不同场景,验证各方法的优势与不足。最后,实验分析并总结现有红外与可见光图像融合方法存在的问题,对红外与可见光图像融合技术的发展趋势进行展望。     

基于特征融合的可见光与红外图像目标检测

为提升目标检测任务在复杂环境下的识别效果,提出了一种基于特征融合的红外与可见光目标检测方法。该方法首先采用并列的卷积神经网络分别提取红外和可见光特征信息,并利用通道和空间注意力机制提升有效特征的权重;其次,为充分利用红外和可见光特征进行信息互补,设计了特征自适应融合结构,以自主学习方式将红外与可见光特征以最优方式加权融合;最后,针对不同尺度目标,通过交替采样方式充分融合深层和浅层特征,保障各维度目标检测效果。通过实验表明,所提方法可以充分利用并融合不同模式、尺度的目标特征信息,实现目标准确识别及定位。同时,在实际电网设备检测中,该方法也体现出较优的鲁棒性和泛化性。     

基于改进灰狼优化的红外与可见光图像融合

将图像融合运用于检测与跟踪领域需要融合图像显示清晰的目标,传统的优化类融合算法存在目标信息不完整的问题,对此本文提出一种基于改进灰狼优化(Gray Wolf Optimization,GWO)结合边缘特征的图像融合方法。将图像分解为细节层与粗糙层后,对细节图像使用优化权重进行融合,再融合细节层与粗糙层,最后执行对比度有限自适应直方图均衡增强融合图像。其中优化权重通过改进的灰狼优化获得,通过融合边缘信息获得权重取值范围,并且对灰狼优化引入交叉操作改进优化效果。实验对比图像全局与目标局部的标准差、信息熵、平均梯度、空间频率,本文方法的性能在目标局部熵、标准差上大大优于其他方法,在全局指标上也有很好的表现。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于特征提取的红外与可见光图像融合

为提高红外与可见光图像融合的效果,加快融合算法处理速度,提出了一种基于特征提取的图像融合算法。改进了数学形态学中的顶帽运算,用于提取源图像的特征图像及背景图像;设计融合规则,对特征图像及背景图像分别进行融合处理;最后重构得到融合图像。另外,对本文融合方法的参数选择进行了分析,并且设计了适用于背景图像融合的自适应加权融合规则。实验表明,该融合方法能有效获取源图像的特征信息,提供丰富的背景信息,运算速度快,易于硬件实现。