利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换(Complex Shearlet transform,CST)及脉冲发放皮层模型(Spiking cortical model,SCM)的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

基于区域分割的序列红外图像融合算法

针对传统的基于像素点和窗口策略的融合算法对图像特征表征的失真,提出了一种基于区域分割的序列图像融合算法.首先将序列红外图像分割为3个不同的特征区域,目标区域、背景区域以及灰度区域,并将分割结果映射到可见光图像中.随后,利用多尺度几何分析工具非下采样Contourlet变换(NSCT)有效提取图像特征的特点,根据不同区域的特性在NSCT域设计不同的融合规则.对试验结果进行主观和客观的对比,结果表明:基于区域分割的序列图像融合算法不仅能够为融合图像保留更全面、丰富的背景信息,还能够更加有效、准确地提取图像中的目标特征.该算法优于传统的基于像素点和窗口规则的融合算法,是一种有效可行的图像融合算法.     

基于帧差检测技术与区域特征的红外与可见光图像融合算法

为了提高红外图像的融合质量并降低复杂度,提出一种基于帧差检测技术与区域特征的红外与可见光图像融合算法。首先,设计帧差法对红外图像中的目标完成检测,从而进行目标分簇与图像分割;并借助帧之间的信息完成目标的准确定位;再根据目标区域的特征设计不同的融合规则,充分利用可见光和红外图像的有效信息进行互补,完成图像融合,并对融合算法的复杂度进行理论分析。同时,在可见光和红外图像中目标不可动可观察及目标可运动可观察两种条件下进行融合实验,实验结果表明,与当前图像融合技术相比,所提技术具有更高的融合质量,其融合图像能够准确反映目标和背景。     

红外偏振与红外光强图像的伪彩色融合研究

针对RGB和l空间转换过程复杂,运算速度慢,不便于用灰度融合图像直接代替亮度分量的问题,提出了一种基于YC C空间的伪彩色融合方法。该方法首先对源图像进行基于特征差异的颜色映射,所得RGB图像通过YC C变换提取亮度分量Y;然后采用新的融合规则对红偏振与光强图像进行了支持度融合,其中低频和高频分别采用目标背景分割和区域方差最大的融合规则;最后用融合结果代替亮度分量,再与C,C分量进行YC C逆变换,得到伪彩色图像。实验结果表明,与文献[8]方法比较局部方差提高21.5%、对比度提高1.15%、清晰度提高6.05%、运算速度提高30.5%,证明了本文算法的可行性和有效性。     

基于Contourlet的改进梯度多聚焦图像融合

针对传统图像融合保留源图像信息和边缘信息的不足,提出了一种基于轮廓波的改进梯度图像融合算法。首先源图像经轮廓波分解,得到低频和高频子带系数;其次,低频采用改进梯度、高频采用SML的选取规则;最后轮廓波反变换得到融合图像。实验表明,本文提出算法比小波方法、传统轮廓波方法融合效果好。融合图像的信息量大,边缘信息丰富。     

基于NSCT红外与可见光图像融合算法优化研究

为了在一定程度上为后续图像处理提供更为有效的信息,针对红外与可见光图像融合,提出了一种改进的算法。NSCT用于分解红外图像和可见光图像,采用像素特征能量加权融合规则和邻域方差特征信息融合规则得到其低频和高频系数,最后通过逆NSCT进行图像重构得到融合图像。优化后的算法在融合图像清晰度上比Contourlet算法提高了2.22%,在图像信息丰富程度上提高近3.1%。实验结果表明,该算法可以有效地提高图像融合质量。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于多尺度方向局部极值滤波和ASR的图像融合

为了更好地提取源图像的边缘和方向信息,充分利用边缘保持滤波器的保边缘特性和方向滤波器有效提取方向信息的能力,提出一种基于局部极值滤波和非下采样方向滤波器的多尺度方向局部极值滤波图像融合方法。源图像经多尺度方向局部极值滤波,得到低频子带以及一系列的高频方向细节子带,对低频子带系数提出一种基于自适应稀疏表示(ASR)的融合规则,采用空间频率与l1范数相结合的策略得到融合的稀疏表示系数,对高频方向细节子带系数提出一种基于改进拉普拉斯能量和匹配度的选择与加权平均相结合的融合策略。实验结果表明,本方法能够有效提取源图像的边缘等细节信息,融合结果对比度更高,具有更好的主观视觉效果,其客观评价指标也优于传统的图像融合方法。     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

一种新颖的红外与可见光图像融合方法

为了提升红外和可见光图像融合效果,提出了一种新颖的融合方法。对可见光图像利用支持向量机和腐蚀膨胀算法在图像分块的基础上进行分割获取含有重要场景信息的特征子图像和灰度场景子图像;对红外图像进行热目标边缘提取并增强,结合前述特征子图像和最大类间方差法获取边缘增强的目标子图像,特征子图像和灰度场景子图像。利用小波包分别对两特征子图像,两场景子图像进行融合。融合过程中,根据子图像特点择取不同融合准则,并对高频融合系数进行系数修正使其更为准确可靠。将红外热目标注入到前述融合结果中获取最终融合图像。实验结果表明,提出算法从主、客观评价上都要优于对比算法。     

基于多尺度信息融合的SAR图像建筑物提取

根据高分辨力合成孔径雷达(SAR)图像中建筑物的特性,提出了一种基于多尺度信息融合的建筑物提取方法。以非下采样轮廓波变换(NSCT)为多尺度分析框架,通过融合基于NSCT低频子带的多尺度区域分析结果提取潜在建筑物区域;同时,融合基于NSCT高频信息的边缘检测结果与均值比算子结果提取边缘结构信息;在此基础上,结合区域与边缘结构信息对虚警进行滤除,对漏检建筑物进行补充,完成建筑物提取。实验结果显示：该方法优于基于多特征融合的建筑物检测算法,在实验所用图像上的平均查全率达到94%,表明文中方法的有效性。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

词汇树融合SIFT的热成像和视觉图像人脸识别

针对热成像和视觉图像人脸识别问题,提出了一种基于词汇树融合尺度不变特征变换方法。首先,对视觉和热成像图像分别单独进行提取,利用Viola-Jones层叠检测器从自然图像中检测出人脸;然后,利用SIFT描述符从尺度空间提取稳定特征;最后,使用词汇树进行分类,利用评分融合和决策融合算法提高系统的精确性和安全性。在拍摄的41个人的脸部图像上的实验表明了该方法的有效性,识别率可接近100%,相比其他几种较为新颖的人脸识别方法,该方法取得了更高的识别精度,并且在一定程度上降低了计算耗时。     

基于非负矩阵分解和红外特征的图像融合方法

针对传统图像融合方法鲁棒性较差的缺点,提出了一种基于非负矩阵分解和红外特征的图像融合方法,实现源图像的目标区域和背景区域分别融合.首先将源图像作为原始数据进行非负矩阵分解得到特征基图像,特征基图像包含了源图像的整体特征;利用红外图像目标与背景灰度显著差异,通过区域生长方法从红外图像提取目标区域,将红外目标区域与特征基图像背景区域相融合得到融合图像.实验结果表明,该方法不仅简单易行,而且在保留了可见光的高空间分辨率和纹理细节信息同时,突出了红外图像对热目标敏感特点,提高了图像的可判读性.     

基于VGG网络的双波段图像融合方法

针对红外与可见光图像中物体信息具有各自优点的情况,提出了基于VGG网络的红外与可见光图像融合方法来提高对夜间或复杂背景情况下的物体检测识别能力。首先将图像分别输入到一个经过训练得到的VGG网络中,经过不同的卷积层提取各自的特征图;然后将特征图经过ZCA白化处理,去除冗余信息;再通过归一化处理,将特征图的维度降到二维,并通过双三次插值法将其缩放到与源图像尺寸一致;最后通过加权取平均得到融合后的图像。实验结果表明,本文的方法在第四和第五层卷积得到的融合结果优于前三层的融合结果。同时,本文融合方法与其他3种融合方法相比视觉效果较好,在标准差、平均梯度、相关系数、熵值等评价指标上分别平均提升了12.79 %、11.04 %、9.94 %和2.54 %,并且在融合时间上保持在1秒以内。这说明该方法融合效果较好,速度较快,能够较多地保留红外与可见光图像信息和较好地提升目标的显著性。