基于可能性分布联合落影的红外图像融合算法选取

针对双模态红外图像实际融合需求中常涉及到异类差异特征协同优化融合,且现有差异特征属性无法针对性地调整融合算法进行有效驱动,导致融合效果差等问题,提出了基于可能性分布联合落影的双模态红外图像融合算法选取的方法。首先计算双模态红外图像差异特征幅值的融合有效度,利用K最近邻法得到差异特征幅值的概率密度分布,得到差异特征频次属性的分布;然后通过差异特征幅值属性与频次属性构造差异特征权重函数,建立异类差异特征权重函数与多融合算法间的可能性分布合成,得到异类差异特征权重函数多融合算法融合有效度的联合落影;最后构建融合性能指标动态选取最优融合算法。实验结果表明,本文方法所选出的最优融合算法在等级得分指标上明显优于其他算法,验证了本文将可能性分布联合落影运用于双模态红外图像最优融合算法选取中具有可行性。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

非下采样变换的红外与可见光图像融合

基于非下采样Contourlet变换(NSCT),提出了一种红外和可见光图像融合算法。针对低频子带系数和各带通方向子带系数分别提出了基于图像物理特征的系数加权选择方式与基于区域能量匹配的系数选择方式,即低频基于区域梯度信息、高频基于区域特征因子的加权与选择结合的图像融合算法。实验结果表明:非下采样Contourlet变换具有较快的运算速度,且经非下采样变换后能量更加集中,可提供更多的图像信息。相对于基于像素的图像融合算法,本文的图像融合算法具有更高的融合性能,是一种更适合图像融合的多尺度几何分析(MGA)工具。     

非下采样变换的红外与可见光图像融合

基于非下采样Contourlet变换（NSCT）,提出了一种红外和可见光图像融合算法。针对低频子带系数和各带通方向子带系数分别提出了基于图像物理特征的系数加权选择方式与基于区域能量匹配的系数选择方式,即低频基于区域梯度信息、高频基于区域特征因子的加权与选择结合的图像融合算法。实验结果表明：非下采样Contourlet变换具有较快的运算速度,且经非下采样变换后能量更加集中,可提供更多的图像信息。相对于基于像素的图像融合算法,本文的图像融合算法具有更高的融合性能,是一种更适合图像融合的多尺度几何分析（MGA）工具。     

基于剪切波变换和邻域结构特征的红外与可见光图像融合

针对传统融合方法融合后目标轮廓模糊和细节不突出等问题,提出一种在剪切波框架下基于邻域结构特征的红外与可见光图像融合算法。通过剪切波变换对源图像进行分解得到与源图像同尺寸的高频和低频子带系数;为防止融合后图像边缘模糊,对低频子带系数采用几何距离与能量距离加权的融合规则,对高频子带系数采用灰度差异与梯度距离加权的融合规则来更好地保留源图像的细节信息;经剪切波逆变换得到融合后图像。结果表明,本文算法能有效地提取红外目标信息和保持可见光图像信息;在保留图像轮廓信息的基础上,凸显目标信息,有效地改善图像融合效果。     

基于光照-反射成像模型和形态学操作的多谱段图像增强算法

为解决多谱段降质图像增强问题,提出了一种基于光照-反射成像模型和形态学操作的多谱段图像增强算法.首先对图像饱和度使用自适应非线性拉伸函数进行拉伸,使增强后的图像色彩更加饱和、自然;接下来利用引导滤波算法提取出图像的光照分量,提出了一种基于细节特征的加权融合策略,利用光照分布特性构造了一种自适应Gamma校正函数对光照分量进行处理,并将其与利用对比度受限的自适应直方图均衡化方法处理后的光照分量以及原始光照分量进行融合;然后在反射分量校正时,构造了一种形态学操作函数来校正反射信息;最后合并光照分量和反射分量,并与处理后的饱和度分量和色调分量一起得到增强图像.采用主客观评价指标对可见光低照度图像、水下图像、高动态范围图像、沙尘暴图像、雾天图像和热红外图像6种降质多谱段图像实验结果进行分析比较,结果表明本文算法能够有效地抑制图像噪声、增强图像细节信息、改善图像视觉效果,可应用于多种图像增强领域.     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制，提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强；自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合，充分利用两者的互补信息；逐级特征融合网络学习多层融合特征的结合，充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果，将阈值指标提高了5%，明显优于其他方法。     

FABEMD和改进局部能量窗口的红外中波和长波图像融合

针对探测波段为3.7～4.8 μm的中波红外图像和探测波段为8～14 μm长波红外图像融合过程中存在场景对比度低,显著性目标不够凸出,伪影引入严重的问题,采用快速自适应二维经验模态分解（FABEMD)对红外中波和长波图像进行多尺度分解以得到二维内蕴模函数(BIMFs)和残余分量(Residual)。对于每一层内蕴模函数选用改进的局部能量窗口融合规则,首先配置好加权算子以增加区域窗口中心像素的能量占比;选用不同的加权算子,经实验验证能有效突出红外中波和长波图像的能量特征信息;其次充分利用内蕴模函数的相位信息,当相位相反时,采用能量加权平均的方式,以解决融合系数的正负符号极性难以确定的问题;当相位相同时,判断二者的能量差距并依据差距大小选择设定的融合规则,融合规则基于红外中波和长波图像的灰度差异特性设定。对于残余分量则利用红外中波图像和改进区域能量窗口的最大对称环绕显著性权重图指导基础层系数的融合,自适应的局部环绕窗口充分利用了低频显著性信息,对无用背景的抑制效果也相当出色,能够在复杂背景图像中突出显著性对象,最终得到细节信息丰富,对比度明显的指导图像。最后通过FABEMD的逆变化重构过程得到融合图像,对4组不同背景、不同大小的红外中长波图像进行主观和客观性能评价,4组图像均来自多波段红外采集系统且都经过严格配准并和7种相关算法进行对比实验,在主观性能上显著性对象突出、清晰度度高;客观性能上在平均梯度和空间频率这两个评价指标上性能优异,验证了该算法的有效性。     

基于区域分维和非采样Contourlet变换的图像融合算法

针对源图像有用信息的提取,提出了基于区域分维和非下采样Contourlet变换相结合的红外与可见光图像融合算法.将图像的区域属性、区域大小、边缘强度以及纹理显著程度等特点用图像不同尺度上的区域分维进行描述,对于非下采样Contourlet变换低频系数,根据源图像不同尺度上的区域分维进行基于系数选择的融合.针对带通子带系数设计了系数局部匹配度算子,依据匹配度不同采用加权和系数选取相结合的融合规则.与其他常规融合方法进行比较,该算法可有效实现红外与可见光图像的融合.     

A categorization method of infrared polarization and intensity image fusion algorithm based on the transfer ability of difference features

The fusion of infrared polarization and intensity image can significantly improve the detection performance of target, and the fused image is more suitable for human visual perception and further image-processing tasks. In this paper, a new categorization method of infrared polarization and intensity image fusion algorithm based on the transfer ability of difference feature is proposed. Firstly, the difference feature between two kinds of image and the characteristics of different fusion algorithms are analyzed and summarized. Second, an evaluation vector of fusion algorithm for difference feature transform ability is constructed. Thirdly, the transfer ability of fusion algorithm for difference feature is estimated by the evaluation vector, and the degree of transfer ability of fusion algorithm for difference feature is analyzed. Finally the fusion algorithms are classified by the degree of transfer ability of fusion algorithm for difference feature. The results shows that the proposed fusion algorithm categorization method helps select fusion algorithms in actual scene.     

Multiscale top-hat selection transform based infrared and visual image fusion with emphasis on extracting regions of interest

To effectively combine regions of interest in original infrared and visual images, an adaptively weighted infrared and visual image fusion algorithm is developed based on the multiscale top-hat selection transform. First, the multiscale top-hat selection transform using multiscale structuring elements with increasing sizes is discussed. Second, the image regions of the original infrared and visual images at each scale are extracted by using the multiscale top-hat selection transform. Third, the final fusion regions are constructed from the extracted multiscale image regions. Finally, the final fusion regions are combined into a base image calculated from the original images to form the final fusion result. The combination of the final fusion regions uses the adaptive weight strategy, and the weights are adaptively obtained based on the importance of the extracted features. In the paper, we compare seven image fusion methods: wavelet pyramid algorithm (WP), shift invariant discrete wavelet transform algorithm (SIDWT), Laplacian pyramid algorithm (LP), morphological pyramid algorithm (MP), multiscale morphology based algorithm (MSM), center-surround top-hat transform based algorithm (CSTHT), and the proposed multiscale top-hat selection transform based algorithm. These seven methods are compared over five different publicly available image sets using three metrics of spatial frequency, mean gradient, and Q. The results show that the proposed algorithm is effective and may be useful for the applications related to the infrared and visual image fusion.     

适合于生物图像的图像融合算法研究

图像融合作为一种有效的信息融合的技术,已广泛用于军事、遥感、机器视觉和医学图像等领域。本文讨论了三种基于像素级的图像融合算法：Ｐ加权平均,Ｔｏｅｔ算法和基于小波变换的算法;采用四种评价融合效果的量化判据：标准偏差,平均误差,峰值信噪比（ｓ／Ｎ）ｐ和熵差,将三种图像融合算法用于生物图像中细胞荧光图像和透射图像的融合,量化评价结果和视觉判断均说明,对于以细胞荧光图像和透射图像研究对象,需突出荧光图像的     

基于互结构正则约束的红外偏振图像增强算法

为有效改善红外偏振图像视觉效应,提高红外偏振成像质量,提出了基于互结构正则约束的红外偏振图像增强算法。根据红外偏振特性描述,对Stokes参数Q分量与U分量进行加权邻域梯度融合,获得起偏特征图像,捕获目标边缘、轮廓的偏振特性;提出互结构正则约束模型,以梯度幅值相似算子联合正则约束融合结果与起偏特征图像的边缘结构相似性,及与辐射强度图像的灰度一致性,优化得到增强后的高质量红外偏振图像。实验结果表明,基于互结构正则约束的红外偏振图像增强算法,能有效提高红外偏振图像对比度与清晰度,同时提升复杂背景下人造目标边缘轮廓的偏振显著性,算法快速,工程实时性高.     

Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition

Image fusion for visible and infrared images is a significant task in image analysis. The target regions in infrared image and abundant detail information in visible image should be both extracted into the fused result. Thus, one should preserve or even enhance the details from original images in fusion process. In this paper, an algorithm using pixel value based saliency detection and detail preserving based image decomposition is proposed. Firstly, the multi-scale decomposition is constructed using weighted least squares filter for original infrared and visible images. Secondly, the pixel value based saliency map is designed and utilized for image fusion in different decomposition level. Finally, the fusion result is reconstructed by synthesizing different scales with synthetic weights. Since the information of original signals can be well preserved and enhanced with saliency extraction and multi scale decomposition process, the fusion algorithm performs robustly and excellently. The proposed approach is compared with other state-of the-art methods on several image sets to verify the effectiveness and robustness.     

Infrared and visible image fusion scheme based on NSCT and low-level visual features

Multi-scale transform (MST) is an efficient tool for image fusion. Recently, many fusion methods have been developed based on different MSTs, and they have shown potential application in many fields. In this paper, we propose an effective infrared and visible image fusion scheme in nonsubsampled contourlet transform (NSCT) domain, in which the NSCT is firstly employed to decompose each of the source images into a series of high frequency subbands and one low frequency subband. To improve the fusion performance we designed two new activity measures for fusion of the lowpass subbands and the highpass subbands. These measures are developed based on the fact that the human visual system (HVS) percept the image quality mainly according to its some low-level features. Then, the selection principles of different subbands are presented based on the corresponding activity measures. Finally, the merged subbands are constructed according to the selection principles, and the final fused image is produced by applying the inverse NSCT on these merged subbands. Experimental results demonstrate the effectiveness and superiority of the proposed method over the state-of-the-art fusion methods in terms of both visual effect and objective evaluation results.     

基于结构相似度的图像融合质量评价

在分析现有图像融合质量评价方法特点的基础上，提出了新型的、基于结构相似度的图像融合质量评价方法.针对不同情况，分别采用平均结构相似度、加权平均结构相似度、结构信息与交互信息量之乘积作为图像融合质量客观评价标准.该方法充分考虑了图像的结构信息和人类视觉系统的特性，可以为不同场合下选择不同的算法提供依据.对不同融合算法的质量评价结果表明,该方法是一种有效的图像融合质量评价方法.