可见光与红外彩色融合图像感知清晰度评价模型

提出了感知清晰度评价模型,来评价人眼对红外与可见光彩色融合图像细节和边缘的可辨识度。首先,利用人眼对比度敏感函数模型,抑制在特定观察条件下图像中人眼不敏感的频率成分。之后,在局部频带对比度模型基础上,结合人眼亮度掩模特性构造了感知对比度模型。最后,计算融合图像人眼兴趣区域(细节和边缘区域)的感知对比度,进而评价融合图像的感知清晰度。实验结果表明,与现有的五种彩色图像清晰(模糊)度的客观评价模型相比,考虑人眼视觉特性感知清晰度模型的计算结果与人眼主观感受具有较好的一致性,可以有效地对彩色融合图像清晰度进行客观评价。     

基于结构相似度的图像融合质量评价

在分析现有图像融合质量评价方法特点的基础上，提出了新型的、基于结构相似度的图像融合质量评价方法.针对不同情况，分别采用平均结构相似度、加权平均结构相似度、结构信息与交互信息量之乘积作为图像融合质量客观评价标准.该方法充分考虑了图像的结构信息和人类视觉系统的特性，可以为不同场合下选择不同的算法提供依据.对不同融合算法的质量评价结果表明,该方法是一种有效的图像融合质量评价方法.     

基于区域对比度和SSIM的图像质量评价方法

在诸多图像质量评价方法中,结构相似度(SSIM)算法简单高效,准确性较高,但SSIM模型不能很好地评价存在局部失真和交叉失真类型的图像。针对SSIM算法对图像不同区域平等对待的不足并考虑了时域人眼视觉特性,提出一种改进的基于区域对比度和结构相似度(RCSSIM)的图像质量评价方法。该算法将图像区域灰度信息对比度与SSIM算法融合,加权归一为参考图像与失真图像的对比度结构相似度值,以其评价图像质量。在LIVE图像数据库上的实验结果表明,与SSIM算法相比,RCSSIM评价结果的皮尔逊线性相关系数提高约0.015,均方根误差减小约0.55,更接近于人眼主观测试结果,具有更好的评价性能。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

灰度夜视融合图像质量结构相似度评价方法

针对灰度夜视融合图像质量评价问题,提出利用构造的参考图像与融合图像进行结构相似度比较的客观评价方法.分别利用均值、标准差、熵、平均梯度及空间频率等全像素统计指标作为构建参考图像的构造因子,利用权重协调输入源图像在参考图像中的比例关系,获得了融合图像质量加权结构相似度评价模型.考虑到结构相似度评价模型中的结构函数对于严重模糊或失真的图像不能很好地反映图像的结构变化,进一步提出了梯度结构相似度评价模型和平均联合熵结构相似度评价模型.利用主观评价实验比较提出的三种基于结构相似度的融合图像质量评价模型发现,平均联合熵结构相似度评价模型有更好的稳定性且更接近人眼主观感受.     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

Tetrolet框架下红外与可见光图像融合

提出一种Tetrolet框架下基于联合稀疏表示结合改进脉冲耦合神经网络规则的红外与可见光图像融合方法.对源红外与可见光图像进行不考虑旋转和反射情况下的Tetrolet系数分解;采用联合稀疏方法进行低频系数融合,通过学习字典进行低频系数的精确拟合并融合.在高频子带系数融合上,采用改进脉冲耦合神经网络设置相应的融合规则,根据神经元的点火次数来选择融合图像的高频系数;并对处理后的高低频系数值进行Tetrolet逆变换获取最终融合结果.结果表明,该方法能够有效保留待融合图像的边缘与细节特征,融合结果具有良好的视觉效果,能够增强观察者对于场景的感知和重要目标的识别能力.在互信息、梯度信息、结构相似度以及视觉敏感度指标上都优于传统变换域融合方法,尤其在结构相似度以及梯度保持度上分别领先0.033和0.025,具有有效性.     

二尺度分解和显著性提取的红外与可见光图像融合

为增强红外与可见光图像融合可视性,克服红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。首先,以人类视觉感知理论为基础,针对人眼对图像不同区域敏感性不同特性,在跨模态融合任务中需要对源图像进行不同层次分解,避免高频分量和低频分量混合减少光晕效应,采用二尺度分解方法对源红外与可见光图像进行分解,分别获取各自的基本层和细节层,该分解方法能够很好的表达图像并具有很好的实时性;然后,针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则,VSM方法能够很好提取源图像中的显著结构和目标。采用基于VSM的加权平均融合规则对基本层融合,能够有效避免直接使用加权平均策略而导致对比度损失,使融合图像可视性更好;针对细节层的融合,采用Kirsch算子对源图像分别提取得到显著图,然后通过VGG-19网络对显著图进行特征提取获取权值图,并与细节层进行融合,得到融合的细节层;Kirsch算子能在八个方向上快速提取图像边缘,显著图中将包含更多边缘信息和更少噪声,且VGG-19网络能够提取到图像更深层特征信息,获取的权值图中将包...     

基于特征结构相似度的遥感影像融合质量评价指标

在分析现有影像融合评价指标的基础上,根据人眼视觉特性,提出一种基于特征结构相似度的遥感影像融合评价指标.首先从原始影像和融合影像中提取空间特征和光谱特征,然后综合计算空间特征和光谱特征的结构相似度作为评价指标,达到评价影像质量的目的.通过对多种传感器获取的遥感影像进行融合实验,结果表明该客观评价方法与主观评价结果一致,...     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。