图像融合质量客观评价方法

 随着图像融合技术的快速发展,科学的图像融合质量客观评价对选择合理的融合算法以及研究新的融合算法具有重要的指导意义,成为图像质量评价研究的热点。理想的图像质量客观评价方法可以给出与人主观感受相一致的量化指标。对目前已提出的多种图像融合质量客观评价算法进行综述。简要介绍了基本的客观评价指标;将基于边缘保持度、基于结构相似度、基于信息论以及基于对比度的4类客观评价算法分别进行了介绍,着重分析和比较了各类算法的思路及特点;总结融合图像质量客观评价算法的研究趋势,指出无参考图像与彩色融合图像的质量评价方法是未来重要的发展方向。     

基于区域对比度和SSIM的图像质量评价方法

在诸多图像质量评价方法中,结构相似度(SSIM)算法简单高效,准确性较高,但SSIM模型不能很好地评价存在局部失真和交叉失真类型的图像。针对SSIM算法对图像不同区域平等对待的不足并考虑了时域人眼视觉特性,提出一种改进的基于区域对比度和结构相似度(RCSSIM)的图像质量评价方法。该算法将图像区域灰度信息对比度与SSIM算法融合,加权归一为参考图像与失真图像的对比度结构相似度值,以其评价图像质量。在LIVE图像数据库上的实验结果表明,与SSIM算法相比,RCSSIM评价结果的皮尔逊线性相关系数提高约0.015,均方根误差减小约0.55,更接近于人眼主观测试结果,具有更好的评价性能。     

基于边缘的SSIM图像质量客观评价方法

在图像处理领域中,准确判断所处理图像的质量是一项关键技术.本文在基于结构相似度的图像质量评价方法的基础上,考虑了边缘信息对人眼感知结构的重要性,提出了基于边缘结构相似度的图像质量评价方法.实验中,对实验图像进行客观指标的提取与计算,最后统计分析实验数据.结果表明,该方法对图像质量的评价结果优于基于结构相似度的图像质量评价方法,能够正确反映图像质量且更加符合人眼的主观感受.     

基于密集梯度生成对抗网络的偏振图像融合算法北大核心CSCD

针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节;构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。     

基于结构相似度的图像融合质量评价

在分析现有图像融合质量评价方法特点的基础上，提出了新型的、基于结构相似度的图像融合质量评价方法.针对不同情况，分别采用平均结构相似度、加权平均结构相似度、结构信息与交互信息量之乘积作为图像融合质量客观评价标准.该方法充分考虑了图像的结构信息和人类视觉系统的特性，可以为不同场合下选择不同的算法提供依据.对不同融合算法的质量评价结果表明,该方法是一种有效的图像融合质量评价方法.     

基于图像内容对比感知的图像质量客观评价

为了提出性能优异的图像质量评价(IQA)模型,本文基于人类视觉感知特性和图像的灰度梯度、局部对比度和清晰度特征,提出了一种基于图像内容对比感知的IQA方法.在该方法中,首先结合视觉感知特性,基于物理学中对比度定义,提出一种图像质量定义及其值计算方法;之后,基于灰度梯度共生矩阵,提出一种图像灰度梯度熵的概念及其值的计算方法,并基于图像灰度梯度熵、局部对比度和清晰度,提出一种图像内容及其视觉感知的描述方法;最后,基于图像内容特征和图像质量定义,综合分析,提出IQA方法及其数学模型.并且采用5个开源图像数据库中的119幅参考图像和6395幅失真图像对其进行了仿真测试,同时分析和探讨了52种失真类型对IQA的影响;另外,为了说明所提IQA模型的优势,将其与现有的7个典型IQA模型,从精度、复杂性和泛化性能上进行了对比分析.实验结果表明,所提IQA模型的精度PLCC值在5个数据库中最低可以实现0.8616,最高可达到0.9622,其性能综合效益优于7个现有IQA模型.研究结果表明,所提IQA方法是有效的、可行的,所提IQA模型是一个性能优异的IQA模型.     

基于图像内容视觉感知的图像质量客观评价方法

图像质量客观评价在图像和视频传输、编解码以及服务质量中起着非常重要的作用.然而现有的方法往往没有考虑图像内容特征及其视觉感知,使得其质量客观评价与主观感知结果存在一定的差距.基于此,本文结合图像内容的复杂性特征和人眼的掩蔽特性、对比敏感度特性以及亮度感知的非线性特性,提出了一种基于人眼对图像内容感知的图像质量客观评价方法.该方法首先结合亮度感知的非线性模型将图像进行转换,得到人眼感知强度图;再分别以人眼对比敏感度值和图像局部平均对比度值作为权重因子对强度求和,以求和的数据信息作为人眼感知图像的内容,并构建图像感知模型;最后以此模型分别模拟人眼感知参考图像和失真图像,并计算二者的强度差,以强度差为评价分数的基础构建图像质量客观评价模型.采用LIVE,TID2008和CSIQ三个数据库中的共47幅参考图像和1549幅测试图像进行仿真实验,且与SSIM,VSNR,FSIM和PSNRHVS等典型的图像质量客观评价模型进行对比分析,同时探讨影响图像质量评价的因素.结果表明:所提方法的评价分数与主观评价分数的Pearson线性相关性系数和Spearman秩相关系数值比SSIM的评价结果均有一定程度的提高,提高幅度分别平均为9.5402%和3.2852%,比PSNRHVS和VSNR提高幅度更大.综合以上表明:所提方法是一种有效可行的图像质量客观评价方法;同时,在图像质量客观评价中,考虑人眼对图像内容的感知和复杂度的分析有助于提高图像质量主客观评价的一致性,评价精度可得到进一步的提高.     

基于数据同化和差分进化算法的图像融合

针对现有融合方法不易根据后续处理目的对融合规则进行自适应调整,不同方法的优点不易综合的问题,提出一个基于数据同化和差分进化算法的图像融合框架.在该框架下,将基于非采样下的Contourlet变换作为模型算子,离散小波变换作为观测算子,可根据后续处理对图像各个属性指标值的依赖程度确定各个属性指标的权重,构造由图像各个属性评价指标的加权和所组成的目标函数,再利用差分进化算法来优化目标函数,从而获取更合适的图像.二组实验从视觉效果和量化指标（标准方差、平均梯度、熵、空间频率及均方根交叉熵）两方面验证了该框架的有效性.     

基于数据同化和差分进化算法的图像融合

针对现有融合方法不易根据后续处理目的对融合规则进行自适应调整,不同方法的优点不易综合的问题,提出一个基于数据同化和差分进化算法的图像融合框架.在该框架下,将基于非采样下的Contourlet变换作为模型算子,离散小波变换作为观测算子,可根据后续处理对图像各个属性指标值的依赖程度确定各个属性指标的权重,构造由图像各个属性评价指标的加权和所组成的目标函数,再利用差分进化算法来优化目标函数,从而获取更合适的图像.二组实验从视觉效果和量化指标(标准方差、平均梯度、熵、空间频率及均方根交叉熵)两方面验证了该框架的有效性.     

基于图像内容评价因子的动态场景曝光融合算法

针对目前高动态范围(HDR)成像算法难以应对动态场景的局限性,提出了一种有效抑制运动鬼影的HDR图像融合算法。算法根据整体图像质量,从图像序列中选择参考图像;从像素曝光质量、细节丰富程度及与参考图像之间的局部相似性三个角度对图像内容进行评价,根据评价结果确定融合权重;采用拉普拉斯金字塔图像融合算法进行图像融合,得到HDR图像。采用图像熵与结构相似性(SSIM)相结合的评价标准对算法进行评价,实验结果表明,处理结果的平均SSIM达到0.952,证明算法对运动鬼影具有显著的抑制效果。     

红外与可见光融合图像的质量评价

为了提高融合图像质量评价中评价结果与人眼视觉特性的一致性,分析了现有融合图像质量评价方法,提出了一种基于图像结构信息复数表示的融合图像质量评价方法,通过计算图像亮度分量的梯度,构成了一种表征图像结构信息的梯度复数矩阵,用该矩阵表征图像的结构信息。考虑到复数无法计算互信息等参数,将分块奇异值分解后得到的矩阵作为度量矩阵,采用该矩阵计算了两种融合图像质量评价方法。实验结果表明,该方法提高了评价结果与人眼视觉特性的一致性,对于融合效果较好的金字塔和小波方法给出了3.748 5和3.722 2的评价结果,与人眼视觉特性的一致性优于传统方法。     

基于感知对比度的图像清晰度客观评价模型

图像清晰度是评价图像质量时常用的指标之一。现有的清晰度评价模型未能充分考虑人眼视觉的亮度掩盖特性。为此,在均方根对比度基础上,考虑人眼亮度掩盖特性,通过计算图像中人眼感兴趣区域(包含细节、边缘和纹理)的感知对比度构造一种无参考的图像清晰度客观评价模型。并利用IVC数据库来验证模型,结果表明,与已有的4种清晰(模糊)度评价模型相比,该模型的评价结果更接近人眼主观感受,且计算量小,运算耗时短,是一种简单有效的图像清晰度评价模型。     

一种基于视觉底层特征的图像质量评价方法

把视觉底层特征概念引入到客观图像质量评价中,提出了一种基于不同图像视觉底层特征的质量评价方法。在基于Itti计算模型和视觉底层特征最佳权重的基础上,对4种类型图像提取底层视觉特征显著图,利用特征最佳权重值,组合归一化形成视觉计算显著图,通过直方图相似度计算分析各显著图。实验结果与主观评价结果具有较好的一致性,且优于基于传统Itti模型和SSIM模型的图像质量评价方法。不同类型的图像需要充分考虑各特征的权重大小,使其能真实反映视觉感兴趣区域的特征属性,更好地评价失真图像的质量。     

基于结构相似度与感兴趣区域的图像融合评价方法

针对红外和可见光图像融合效果评价问题,在分析图像结构相似度算法基础上,结合人眼视觉特性,提出了基于结构相似度与感兴趣区域的图像融合评价方法.利用红外和可见光传感器各自成像特性形成的不同图像特征,分别划分图像感兴趣区域和剩余区域.根据人眼对不同区域的重视程度,分别赋予不同的加权因子,较以往评价方法更突出了图像重要特征在评...     

基于改进对比度的有限离散剪切波图像融合

为了提高多聚焦图像的融合精度,结合有限离散剪切波变换(FDST)良好的局部化特性及平移不变性,提出了一种基于有限离散剪切波变换与改进对比度相结合的图像融合新算法。对经过严格配准后的多聚焦图像进行FDST分解,得到低频子带系数和不同尺度不同方向的高频子带系数;对低频子带系数采用区域平均能量匹配度自适应融合算法,高频子带系数的选取则根据低频与高频系数关联得到的对比度进行融合;应用有限离散剪切波逆变换重构得到融合图像,并对融合结果进行主观视觉和客观评价。通过仿真实验,算法在主观视觉效果上有着明显的优越性。在不同融合算法比较的融合结果中,熵值、互信息量和边缘相似度分别平均提高了1.4%、34.6%和8.0%,各项客观评价指标优于其他算法。     

Tetrolet框架下红外与可见光图像融合

提出一种Tetrolet框架下基于联合稀疏表示结合改进脉冲耦合神经网络规则的红外与可见光图像融合方法.对源红外与可见光图像进行不考虑旋转和反射情况下的Tetrolet系数分解;采用联合稀疏方法进行低频系数融合,通过学习字典进行低频系数的精确拟合并融合.在高频子带系数融合上,采用改进脉冲耦合神经网络设置相应的融合规则,根据神经元的点火次数来选择融合图像的高频系数;并对处理后的高低频系数值进行Tetrolet逆变换获取最终融合结果.结果表明,该方法能够有效保留待融合图像的边缘与细节特征,融合结果具有良好的视觉效果,能够增强观察者对于场景的感知和重要目标的识别能力.在互信息、梯度信息、结构相似度以及视觉敏感度指标上都优于传统变换域融合方法,尤其在结构相似度以及梯度保持度上分别领先0.033和0.025,具有有效性.     

结合视觉注意力机制和图像锐度的无参图像质量评价方法

针对模糊图像的质量评价,提出一种新的无参图像质量评价方法,该方法结合了自底向上的视觉注意力机制和自顶向下的图像锐度评价标准。根据人眼视觉注意力机制模型,分别计算颜色、亮度和方向显著度图像,通过竞争机制得到人眼优先关注的区域; 利用无参图像锐度评价方法分别对优先关注的区域及背景区域进行评价,综合2个区域的评价结果得到最终的图像质量评价指标。利用该方法分别对相向运动过程中所产生的模糊图像和图像质量评价Live数据库中的高斯模糊图像进行了评价,结果表明:针对两类图像的评价结果与主观评价结果的相关系数均较高,其中,针对相向运动模糊图像的主客观评价结果的相关系数达到0.98。该方法能够胜任对模糊图像的客观质量评价。     

基于联合偏度的高光谱图像波段选择对玉米种子分类研究

高光谱图像技术是在种子识别领域广泛应用的农产品品质无损检测方法。特征信息的充分提取和最优波段的选择是影响高光谱图像技术种子鉴选在线应用的关键因素。目的在于利用联合偏度算法选择高光谱图像的最优波段,用于开发在线的种子分级系统。论文利用高光谱图像采集系统获取10类共960粒玉米种子在438～1 000 nm(共219个波段)波段范围内的高光谱图像,并提取了种子高光谱图像的平均光谱、图像熵特征。利用联合偏度算法选择了高光谱图像的最优波段,分别建立了基于平均光谱、图像熵、平均光谱和图像熵联合特征条件下的支持向量机种子分类模型,比较不同特征下分类模型的识别精度。实验结果表明：无论是全波段分类模型,还是建立在最优波段基础上的分类模型,利用平均光谱和图像熵联合特征获得的分类精度均高于平均光谱和图像熵两种单一特征模型。在10个最优波段条件下,联合特征分类模型的识别精度达到了96.28%,比光谱均值和图像熵的识别精度分别提高了4.30%和20.38%,也高于全波段联合特征识别模型的93.47%。利用联合特征建立玉米种子分类模型时,基于联合偏度的波段选择算法的分类精度要高于无信息变量消除法、连续投影算法和竞争性自适应重加权算法。该研究为种子高光谱图像识别技术的在线运用提供了可行的途径。     

基于联合偏度的高光谱图像波段选择对玉米种子分类研究（英文）

高光谱图像技术是在种子识别领域广泛应用的农产品品质无损检测方法。特征信息的充分提取和最优波段的选择是影响高光谱图像技术种子鉴选在线应用的关键因素。目的在于利用联合偏度算法选择高光谱图像的最优波段,用于开发在线的种子分级系统。论文利用高光谱图像采集系统获取10类共960粒玉米种子在438~1 000 nm(共219个波段)波段范围内的高光谱图像,并提取了种子高光谱图像的平均光谱、图像熵特征。利用联合偏度算法选择了高光谱图像的最优波段,分别建立了基于平均光谱、图像熵、平均光谱和图像熵联合特征条件下的支持向量机种子分类模型,比较不同特征下分类模型的识别精度。实验结果表明:无论是全波段分类模型,还是建立在最优波段基础上的分类模型,利用平均光谱和图像熵联合特征获得的分类精度均高于平均光谱和图像熵两种单一特征模型。在10个最优波段条件下,联合特征分类模型的识别精度达到了96.28%,比光谱均值和图像熵的识别精度分别提高了4.30%和20.38%,也高于全波段联合特征识别模型的93.47%。利用联合特征建立玉米种子分类模型时,基于联合偏度的波段选择算法的分类精度要高于无信息变量消除法、连续投影算法和竞争性自适应重加权算法。该研究为种子高光谱图像识别技术的在线运用提供了可行的途径。     

红外与X光图像融合探测构件内部热源

红外与可见光图像融合只能反映构件表面信息和温度场分布,为了探测构件内部发热源,提出了红外与X光图像融合方法。首先将红外图像做灰度化处理。然后采用Laplace金字塔融合算法对红外与X光配准图像进行融合,利用YIQ空间变换将红外图像的温度颜色信息迁移至金字塔融合图像上。最后,对工作状态下的电路板和充电器采用信息熵、标准差、平均梯度进行了融合图像质量评价。实验结果表明金字塔融合图像在评价参数上与红外图像相比均有提高,且平均梯度提高了137.20%,从而图像清晰度得到较大改善。融合后的彩色图像既包含了构件的温度分布,同时也能反映构件内部结构。进而可根据融合图像的温度场判断和分析内部热辐射源。