基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于改进的条件生成对抗网络的可见光红外图像转换算法

针对当前基于条件生成对抗网络的红外图像生成算法中红外生成图像纹理细节信息差和结构信息差的问题,提出了一种基于改进的条件生成对抗网络的红外图像生成算法。首先,基于ConvNext改进了生成网络,在生成网络解码部分通过添加残差连接增强了解码部分对编码部分提取的图像深层特征的利用;其次,生成网络采用UNet网络架构,增强了对图像底层特征的利用;最后,对抗网络通过对生成图像特征的一阶统计量（均值）和二阶统计量（标准差）的损失计算,进一步改善了红外生成图像的灰度信息和纹理细节信息。与现有典型红外图像生成算法的对比实验结果表明,该方法能够生成质量更高的红外图像,在主观视觉描述和客观指标评价上都取得了更好表现。匹配应用实验表明,该算法在可见光图像与红外图像异源匹配任务中体现了较好的应用价值。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

基于小波包变换的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于小波包变换的融合算法。该算法先对源图像进行小波包分解,得到低频分量和各带通方向子带分量,并对不同分量采用不同的融合规则进行融合处理,得到各融合系数,然后经小波包重构获得融合图像。该方法可提取源图像细节信息,取得较好的融合效果。     

一种基于NSCT变换的红外与可见光图像融合算法

针对红外与可见光图像融合,提出了一种基于NSCT变换的图像融合方法。对经NSCT变换的低频子带系数采用基于区域能量自适应加权的融合规则,对高频子带系数采用混合的融合方法,即对于低层,采用基于区域方差选大的融合方法,对于高层采用像素点的绝对值选大的融合方法。实验结果表明,该融合算法可以获得更多的细节信息,能获得较理想的融合图像。     

Tetrolet框架下红外与可见光图像融合

提出一种Tetrolet框架下基于联合稀疏表示结合改进脉冲耦合神经网络规则的红外与可见光图像融合方法.对源红外与可见光图像进行不考虑旋转和反射情况下的Tetrolet系数分解;采用联合稀疏方法进行低频系数融合,通过学习字典进行低频系数的精确拟合并融合.在高频子带系数融合上,采用改进脉冲耦合神经网络设置相应的融合规则,根据神经元的点火次数来选择融合图像的高频系数;并对处理后的高低频系数值进行Tetrolet逆变换获取最终融合结果.结果表明,该方法能够有效保留待融合图像的边缘与细节特征,融合结果具有良好的视觉效果,能够增强观察者对于场景的感知和重要目标的识别能力.在互信息、梯度信息、结构相似度以及视觉敏感度指标上都优于传统变换域融合方法,尤其在结构相似度以及梯度保持度上分别领先0.033和0.025,具有有效性.     

基于密集梯度生成对抗网络的偏振图像融合算法北大核心CSCD

针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节;构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。     

基于生成对抗式神经网络的红外目标仿真方法

提出了一种应用于红外目标仿真的模型。利用训练后的条件深度卷积生成对抗网络,只需输入随机噪声和类别标签,便能够自动产生预期类别的红外目标仿真图像。在手写数字数据集(MNIST)和红外数据集上分别训练模型参数,再进行自动生成实验,均可以产生高真实度的样本图像;将判别网络提取的特征用于分类实验,并将所提方法合成的图像用于数据增强,以提升分类器性能。研究结果表明,所提方法能够有效模仿红外辐射特征。     

基于卷积神经网络的红外与可见光户外图像融合

针对户外环境下红外与可见光图像融合效果不足的问题,提出一种基于卷积神经网络的红外与可见光户外图像融合方法。该方法先利用滚动引导滤波器对输入的红外图像进行预处理,过滤噪声并消除无用信息。然后,利用Curvelet变换将红外图像与可见光图像分解成高频系数与低频系数,利用基于卷积神经网络的深度特征融合规则融合高频系数,采用最小融合规则融合低频系数。实验结果表明,该方法的融合图像在主观视觉与客观定量两方面均获得了较好的结果。     

红外和彩色可见光图像亮度-对比度传递融合算法

以红外和彩色可见光图像为研究对象,提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合,然后用LCT技术改善灰度融合结果的亮度和对比度,最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明,提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩,而且具备令人满意的亮度和对比度,即使采用运算简单的像素平均法进行灰度融合,同样可以获得良好的融合效果。     

生成对抗网络在医学图像转换领域的应用

近年来,生成对抗网络（Generative Adversarial Network,GAN）以其独特的对抗训练机制引起广泛的关注,应用场景也逐渐延伸到医学图像领域,先后出现了众多优秀的研究成果．本文首先介绍了GAN的理论背景及衍生出的典型变体,特别是多种用于医学图像转换领域的基础GAN模型．随后从多种不同的目标任务和训练方式出发,对前人的研究成果进行了归纳总结,并对优缺点进行了分析．最后就目前GAN在医学图像转换领域存在的不足以及未来的发展方向进行了细致讨论．     

红外和可见光图像泊松融合算法

针对已有红外和可见光图像融合算法存在的复杂度高、实时性差、输入参量多和融合模型受先验知识影响等问题,提出了红外和可见光图像泊松融合算法.算法采用绝对值最大规则融合源图像的梯度得到泊松融合图像的期望梯度,将平均融合图像分解,分别作为迭代的初始值和边界条件,利用雅可比迭代求解泊松方程重建泊松融合图像.通过实验分别确定了最佳迭代次数以满足高质量和高实时性两种融合需求.与经典融合算法相比,该算法在质量优先或速度优先的图像融合应用方面性能更优.     

基于Tetrolet变换的红外与可见光融合

针对目前红外与可见光图像融合速度慢、 融合结果对比度不高且易产生伪影的缺点,提出一种基于Tetrolet变换的改进融合算法。首先,将可见光图像转换到lαβ颜色空间得到三个几乎不相关的彩色通道;然后对其l分量和红外图像分别进行Tetrolet变换,对于低通系数引入邻域能量及其接近度的融合规则。而对Tetrolet系数采用伪随机傅里叶矩阵进行观测并加权融合其观测值;接下来对融合后观测值采用CoSaMP优化算法迭代出融合后的Tetrolet系数,并经Tetrolet重构得到融合后的灰度图像;最后将灰度图像映射到RGB颜色空间获得最终的融合图像。实验证明了本文算法的有效性。     

基于目标提取与引导滤波增强的红外与可见光图像融合EI北大核心CSCD

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

基于可见光-红外模态下双向特征生成的行人重识别方法

为了提高可见光-红外跨模态行人重识别的检测准确度,提出一种基于可见光-红外模态双向特征生成的双流网络模型,相对现有算法,使用双向特征生成方法进行跨模态行人特征迁移,显著提高了跨模态特征表达,同时利用双流网络提取具有判别性双模态特征,并通过设计的粗细粒度损失融合的策略,提高了跨模态行人检索的准确度。实验结果表明,与最新方法相比,文章提出的方法提高了跨模态行人重识别的平均准确度,在RegDB数据集上取得92.91%,在SYSU-MM01数据集取得66.17%。     

自适应参考图像的可见光与热红外彩色图像融合算法

可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一,该技术有效提高了人们对目标的探测和场景理解能力。目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法,彩色融合图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性。针对常规YUV空间色彩传递彩色图像融合算法的环境适应性问题,通过对植物、城镇和海天三类典型场景的分类与统计,发现了典型场景在UV通道的均值和标准差具有的较为明显的分类特性,由此提出了一种基于UV通道均值和标准差的自适应参考图像构造方法,使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性,融合图像的色彩具有较好的自然感,且算法处理量较小,对现有实时硬件融合处理算法的运算速度影响不大,是一种环境适应性强的自然感彩色融合处理算法。     

基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.