基于注意力机制的多曝光图像融合算法

针对多曝光图像任务缺乏真值图像,以及现有多曝光图像融合算法存在的边缘特征丢失、细节模糊等问题,本文提出了一种基于注意力机制的多曝光图像融合算法.该算法建立权重独立的双通道Unet网络,对目标场景不同曝光图像分别进行特征提取,生成不同曝光图像的高维多尺度特征图;通过视觉注意力机制凸显目标场景在不同曝光下对融合有利的特征,...     

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局...     

基于伪维格纳分布的图像融合

提出了一种基于伪维格纳分布(PWVD)的融合方法.利用一维N像素的滑动窗口在各个方向上对各待融合图像进行伪维格纳变换,选择均方根最大的方向为各待融合网像的PWVD分解方向,分解形成待融合图像不同频段的能量谱图,然后,针对各待融合不同频段的能量谱图,融合原则足高频段取区域能量最大,低频段取能量方差最大,形成具有不同频段的融合能量谱网,最后,对能量谱网进行PWVD逆变换,形成融合图像.对红外与可见光图像、多聚焦图像、电子计算机X射线断层扫描(CT)图像与磁共振(MR)图像和红外与合成孔径雷达(SAR)图像进行了融合实验,并对融合图像和待融合图像进行了信息熵对比.实验结果表明,采用本文算法的融合图像保留了待融合图像的绝大部分信息.     

一种新的全色图像与光谱图像融合方法研究

给出了一种新的综合伪彩色映射技术和小波变换理论的图像融合方法,并将其应用于全色图像和光谱图像的融合中.通过提取两个不同谱段光谱图像的共有信息和特别信息,并进行伪彩色映射融合,来增强目标与背景的对比度.同时将伪彩色映射融合后的图像进一步用IHS变换提取空间信息,在小波变换框架下将其与全色图像进行融合以提高目标的边缘细节信息,使所获得的融合结果不仅包含丰富的光谱信息的同时还具有较高的空间分辨率.仿真图和评价指标表明,该算法在增强目标与背景的对比度以及保留目标信息等方面具有较强的优势.     

基于结构张量的变分多源图像融合

提出了可以保持源图像特征和细节信息的基于结构张量的变分多源图像融合算法. 首先叙述基于结构张量的融合梯度场, 然后测量每幅源图像的特征图, 根据特征图为源图像的每个梯度构造一个权值, 将携带明显特征的梯度在融合的梯度场中凸显出来, 从而使源图像的特征和细节得到保持, 最后应用变分偏微分方程理论从目标梯度场重建出融合的图像. 实验结果表明, 本文算法融合图像的灰度平均梯度和信息熵均高于小波变换算法、塔分解法和直接梯度融合算法, 视觉效果上,融合图像很好的保留了源图像的特征和细节, 为图像目标检测和识别提供了高质量的图像信息. 关键词： 图像融合 梯度场 结构张量 变分法     

基于MDLatLRR和KPCA的光场图像全聚焦融合

为了提升光场成像的空间分辨率,结合光场图像数字重聚焦与多聚焦图像融合,提出了一种基于多尺度潜在低秩分解和核主成分分析的光场图像全聚焦融合算法。首先,对光场图像进行数字重聚焦得到重聚焦图像,然后对各重聚焦图像进行多尺度分解提取出基础层和显著层,对基础层、显著层分别采用局部梯度差值加权算法和多尺度梯度域显著性提取算法计算相应的特征系数;其次,联立基础层和各显著层的特征系数矩阵,然后用核主成分分析进行降维融合得到融合特征系数矩阵,使得经融合特征系数生成的聚焦决策图能充分考虑基础层和显著层的特征信息;最后,用聚焦决策图引导重聚焦图像进行全聚焦融合。实验结果表明,该算法与传统方法相比在视觉效果和边缘信息丰富度上具有更优表现,所生成的光场全聚焦图像具有更高的分辨率和更好的视觉效果。     

基于复滤波器组的红外弱小目标检测算法

 为了有效抑制复杂背景的干扰,降低复杂背景所带来的虚警,提高目标检测的信噪比,提出了一种基于复滤波器组的红外弱小目标检测算法。分析了复杂背景下带有弱小目标的红外图像中复杂背景和弱小目标图像各自的频谱特性,并引入了分频段处理的思想。比较了各种滤波器的性能,并选用了基于复小波的滤波器组,用该滤波器组将红外弱小目标图像分解到各个子频域;对分解后的各频段图像分别进行基于罗宾逊滤波的目标检测处理,提取各频段图像中的奇异点;根据目标图像和背景图像的频谱特性的定量分析结果,选取合适的权值,将各频段检测的结果进行加权融合,得到最终的处理效果。实验结果表明:弱小目标检测方法较之于传统的不分频段的高通滤波处理方式可以获得更高的信噪比,目标得到明显的增强,背景杂波得到更有效的抑制,各项探测指标均更优。     

一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法

基于深度学习的目标检测技术在目标检测领域有强大的生命力,但是将其用于合成孔径雷达(SAR)图像舰船目标检测时并没有达到预期的效果。提出了一种基于卷积神经网络的SAR图像舰船目标检测算法用来检测多场景下的多尺度舰船目标,在单发多盒探测器检测框架的基础上,使用性能更好的Darknet-53作为特征提取网络,加入更深层次的特征融合网络,生成语义信息更加丰富的新的特征预测图。同时在训练策略上使用了一种新的二分类损失函数来解决训练过程中难易样本失衡的问题。在扩展的公开SAR图像舰船数据集上进行验证实验,实验结果表明,所提方法对复杂场景下不同尺寸的舰船目标的检测展现出了良好的适应性。     

基于改进MobilenetV2网络的声光图像融合水下目标分类方法*

针对小样本条件下水下目标分类准确率低、计算资源量大的问题,提出一种声光图像融合目标分类方法。首先,对MobilenetV2网络进行改进,去掉第9层之后的网络层,并将该层卷积通道数改为128,通过Flatten层进行数据降维,增加一个全连接层得到分类结果;其次,设计一种融合网络结构,将声光图像成对输入网络进行特征提取,在中间层利用通道拼接算法实现特征图融合,使用融合特征进行目标分类。在真实数据集上对网络进行训练,结果表明,改进的MobilenetV2网络对水下目标的分类性能更好,融合网络的分类准确率相比融合前有所提高,更加适用于水下目标分类任务。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

Good match exploration for thermal infrared face recognition based on YWF-SIFT with multi-scale fusion

Stable local feature detection is a critical prerequisite in the problem of infrared (IR) face recognition. Recently, Scale Invariant Feature Transform (SIFT) is introduced for feature detection in an infrared face frame, which is achieved by applying a simple and effective averaging window with SIFT termed as Y-styled Window Filter (YWF). However, the thermal IR face frame has an intrinsic characteristic such as lack of feature points (keypoints); therefore, the performance of the YWF-SIFT method will be inevitably influenced when it was used for IR face recognition. In this paper, we propose a novel method combining multi-scale fusion with YWF-SIFT to explore more good feature matches. The multi-scale fusion is performed on a thermal IR frame and a corresponding auxiliary visual frame generated from an off-the-shelf low-cost visual camera. The fused image is more informative, and typically contains much more stable features. Besides, the use of YWF-SIFT method enables us to establish feature correspondences more accurately. Quantitative experimental results demonstrate that our algorithm is able to significantly improve the quantity of feature points by approximately 38%. As a result, the performance of YWF-SIFT with multi-scale fusion is enhanced about 12% in infrared human face recognition.     

基于特征级融合的多波段舰船目标识别方法

针对复杂情况下海上舰船目标单波段特征识别能力不足的问题,研究可见光、中波红外和长波红外三波段特征图像融合技术,重点解决图像融合方法中存在的算法耗时和融合策略选择的问题,提出了一种新的基于区域协方差矩阵的多波段特征级融合方法,针对可见光图像和红外图像分别设计11维和5维特征向量,协方差矩阵可以将多个特征进行融合,既保证了不同目标之间的区别性,同时又减小计算量。该方法首先利用显著性检测,快速定位图像中的目标区域,然后,针对不同波段图像设计的特征向量定义协方差阵的距离计算公式并进行匹配,通过对图像的一次遍历操作获得积分图像,在协方差计算时达到快速计算的目的,最后利用k-阶最近邻算法对多种舰船目标进行分类识别。利用实拍的3 400余张三波段舰船目标图像作为测试数据。实验主要分为两部分,首先对比单波段和三波段融合识别的识别率,验证所提出的融合方法具有更广的应用范围;然后,在计算效率上对比多种传统的像素级方法,验证采用的特征级融合在计算时间上的优势。实验结果表明,该方法可达到95.1%的识别率,单帧计算耗时约为0.5 s,在实时性和检测率方面都有明显提高。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

A fusion method for infrared–visible image and infrared-polarization image based on multi-scale center-surround top-hat transform

This paper presents a fusion method for infrared–visible image and infrared-polarization image based on multi-scale center-surround top-hat transform which can effectively extract the feature information and detail information of source images. Firstly, the multi-scale bright (dark) feature regions of source images at different scale levels are respectively extracted by multi-scale center-surround top-hat transform. Secondly, the bright (dark) feature regions at different scale levels are refined for eliminating the redundancies by spatial scale. Thirdly, the refined bright (dark) feature regions from different scales are combined into the fused bright (dark) feature regions through adding. Then, a base image is calculated by performing dilation and erosion on the source images with the largest scale outer structure element. Finally, the fusion image is obtained by importing the fused bright and dark features into the base image with a reasonable strategy. Experimental results indicate that the proposed fusion method can obtain state-of-the-art performance in both aspects of objective assessment and subjective visual quality.     

Fusion of infrared-visible images using improved multi-scale top-hat transform and suitable fusion rules

Integration of infrared and visible images is an active and important topic in image understanding and interpretation. In this paper, a new fusion method is proposed based on the improved multi-scale center-surround top-hat transform, which can effectively extract the feature information and detail information of source images. Firstly, the multi-scale bright (dark) feature regions of infrared and visible images are respectively extracted at different scale levels by the improved multi-scale center-surround top-hat transform. Secondly, the feature regions at the same scale in both images are combined by multi-judgment contrast fusion rule, and the final feature images are obtained by simply adding all scales of feature images together. Then, a base image is calculated by performing Gaussian fuzzy logic combination rule on two smoothed source images. Finally, the fusion image is obtained by importing the extracted bright and dark feature images into the base image with a suitable strategy. Both objective assessment and subjective vision of the experimental results indicate that the proposed method is superior to current popular MST-based methods and morphology-based methods in the field of infrared-visible images fusion.     

基于热红外图像处理技术的农作物冠层识别方法研究

为解决农作物冠层热红外图像边缘灰度级分布不均且噪声较大,而传统图像分割方法难以实现其目标区域有效识别的难题,以苗期红小豆冠层热红外图像为研究对象,将模糊神经网络和仿射变换有机结合,提出了基于热红外图像处理技术的农作物冠层识别模型。首先利用五层线性归一化模糊神经网络的自适应特性,选取高斯隶属度函数,自动计算冠层可见光图像识别的推理规则,有效地分割了可见光图像中的冠层区域。通过分析3种分割指标和熵,定量评价可见光图像冠层分割质量。网络迭代38次时,误差精度为0.000 952,该算法平均有效识别率为96.13%,获取可见光冠层图像的像元信息熵值范围为2.454 4~5.198 7,与标准算法所得冠层图像的像元信息熵仅相差0.245 9。然后以取得可见光图像的冠层有效区域为参考图像,采用仿射变换算法,调整优选平移、旋转、缩放等图像变换因子,配准原始热红外图像,提出了基于仿射变换的冠层热红外图像识别方法。对于初始温度范围值在16.35~19.92 ℃的农作物热红外图像,计算选取旋转幅度为1.0和缩放因子为0.9时,作为异源图像的最优配准参数,获取目标图像的最大温差为3.17 ℃,相对于原图像的平均温度值由18.711 ℃下降至17.790 ℃,进而实现了基于热红外图像处理技术的农作物冠层识别。最后以熵的互信息作为监督指标,对农作物冠层热红外图像识别方法进行评价。提出的冠层热红外图像识别方法,所获取的目标图像与初始热红外图像的平均互信息为4.368 7,标准目标图像和初始热红外图像的平均互信息为3.981 8,二者仅相差0.486 9。同时,两种冠层热红外图像的平均温度差值为0.25 ℃,高效消除了原始热红外图像的背景噪声。结果表明本研究方法的有效性和实用性,能够为应用热红外图像反映农作物生理生态信息特征指标参数提供技术借鉴。     

Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition

Image fusion for visible and infrared images is a significant task in image analysis. The target regions in infrared image and abundant detail information in visible image should be both extracted into the fused result. Thus, one should preserve or even enhance the details from original images in fusion process. In this paper, an algorithm using pixel value based saliency detection and detail preserving based image decomposition is proposed. Firstly, the multi-scale decomposition is constructed using weighted least squares filter for original infrared and visible images. Secondly, the pixel value based saliency map is designed and utilized for image fusion in different decomposition level. Finally, the fusion result is reconstructed by synthesizing different scales with synthetic weights. Since the information of original signals can be well preserved and enhanced with saliency extraction and multi scale decomposition process, the fusion algorithm performs robustly and excellently. The proposed approach is compared with other state-of the-art methods on several image sets to verify the effectiveness and robustness.     

A Generative Adversarial Network for Infrared and Visible Image Fusion Based on Semantic Segmentation

This paper proposes a new generative adversarial network for infrared and visible image fusion based on semantic segmentation (SSGAN), which can consider not only the low-level features of infrared and visible images, but also the high-level semantic information. Source images can be divided into foregrounds and backgrounds by semantic masks. The generator with a dual-encoder-single-decoder framework is used to extract the feature of foregrounds and backgrounds by different encoder paths. Moreover, the discriminator’s input image is designed based on semantic segmentation, which is obtained by combining the foregrounds of the infrared images with the backgrounds of the visible images. Consequently, the prominence of thermal targets in the infrared images and texture details in the visible images can be preserved in the fused images simultaneously. Qualitative and quantitative experiments on publicly available datasets demonstrate that the proposed approach can significantly outperform the state-of-the-art methods.     

一种基于GAN和自适应迁移学习的样本生成方法

研究了基于生成式对抗网络(GAN)和跨域自适应迁移学习的样本生成和自动标注方法。该方法利用自适应迁移学习网络，基于已有的少量可见光图像样本集，挖掘目标在红外和可见光图像中特征内在相关性，构建自适应的转换迁移学习网络模型，生成标注好的目标图像。提出的方法解决了红外图像样本数量少且标注费时的问题，为后续多频段协同目标检测和识别获得了足够的样本数据。实验结果表明:自动标注算法对实际采集的装甲目标图像和生成的装甲目标图像各1 000张进行自动标注测试，对实际装甲目标图像的标注准确率达到95%以上，对生成的装甲目标标注准确率达到83%以上；利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。     

基于嵌入式多尺度分解和可能性理论的多波段纹理图像融合

将多尺度变换和“高频取大、低频加权平均”融合规则相结合是融合双波段图像的有效方法。但用该类方法融合多波段图像时,序贯式加权常常会导致原图像间固有的差异信息在融合图像中被弱化,从而影响后续的目标识别和场景理解。该问题在融合具有纹理特征的多波段图像时更为突出。为此,提出了一个基于嵌入式多尺度分解和可能性理论的多波段纹理图像融合新方法。首先,利用一种多尺度变换方法把多波段原图像分别分解为高频和低频成分,并对多波段图像中标准差最大的一幅原图像的低频成分利用另一种多尺度方法进行分块,再以该分块图像的大小和位置为标准对其余波段的原图像进行分块。然后,基于可能性理论的相关融合规则逐一融合对应的多波段块图像,再把块融合图像进行拼接,以拼接结果作为低频融合图像。最后,将该低频融合图像和利用取大规则融合得到的高频成分一起通过多尺度逆变换获得最终的融合图像。这种方法不仅将像素级和特征级融合方法综合在一起, 而且将空间域和变换域技术综合在一起, 并通过对大小块采用不同融合规则解决了目标边缘的锯齿效应问题。实验表明该方法效果显著。