医学图像质量评价中的梯度加权SSIM

Zhou Wang等人提出了著名的图像客观质量评价方法：结构相似度（SSIM）,其理论基础是人眼视觉系统能高度自适应地提取场景中的结构信息,大量实验证明SSIM的评价性能多优于PSNR（或MSE）。然而,由于视觉掩盖效应的影响,且SSIM规避了HVS底层视觉特性,直接导致SSIM的评价常与主观评价不符。在深入研究SSIM算法的基础上,根据人眼视觉的掩盖效应之特性,提出图像中不同区域的失真程度引导的权值设计方案：基于梯度加权的SSIM图像质量评价方法（GWSSIM）。实验结果表明,GWSSIM的图像质量评价准确性高于PSNR和SSIM,尤其适用于医学图像。     

改进的结构相似医学图像质量评价方法

医学图像质量评价从基本方法上和普通图像评价是相同的。基于人眼视觉系统的图像质量客观评价一直是图像处理领域的研究热点。Zhou Wang等人提出了著名的客观质量评价方法：结构相似度（SSIM）,它的理论基础是人眼视觉系统能高度自适应地提取场景中的结构信息。其评价性能优于PSNR（或MSE）。但是SSIM评价模糊失真类的图像准确性较低。在深入研究SSIM算法的基础上,提出一种改进SSIM算法：基于梯度方向信息的图像质量评价方法（GDSSIM）。实验结果表明,GDSSIM评价高斯模糊（GBlur）图像库时准确性明显高于PSNR和SSIM,评价Fast Fading图像库时准确性也有明显优势。最后,初步探讨了以上图像质量评价算法在医学图像上的应用。     

基于结构方向信息的图像质量评价方法

结构相似度(SSIM)方法通过度量原图像和失真图像之间的结构相似程度,达到了比传统PSNR方法更好的图像质量评价效果。但SSIM算法本身并没有充分利用图像的结构信息,在SSIM算法的基础上进一步挖掘图像结构中包含的方向信息,提出了局部结构方向相似度(LSOS),将LSOS方法和现有的SIExt算法相结合,提出基于结构方向信息的图像质量评价算法(SOI)。实验表明,该方法能够达到比SIExt和SSIM方法更好的图像质量评价结果。     

基于视觉感知的梯度结构相似度图像质量评价*

尽管SSIM(Structural Similarity)图像质量评价算法结构简单,评价性能优于一般客观评价算法,但该算法没有考虑人类视觉系统HVS(human visual system)对视觉感知的影响,且其算法定义中对“结构信息”的表述过于简单,并不能完全描述自然图像的结构信息。在SSIM算法的基础上,结合亮度和对比度掩蔽等视觉感知信息构造视觉感知（Visual Perception）函数,提出基于视觉感知的梯度结构相似度评价方法VI_GSSIM（Visual Perception and Gradient based SSIM, VI_GSSIM）。该方法通过图像质量与图像内容和失真类型的相关性,结合图像的误差可视性与内容可视性构造视觉感知函数,对HVS底层视觉系统建模,同时利用梯度重新定义结构信息,得到基于视觉感知的梯度结构相似度模型,对图像进行质量评价。实验结果表明提出的VI_GSSIM算法比SSIM更符合人眼的视觉特性,尤其适合评价降质较严重的图像。     

快速提升的结构相似度IQA算法

客观图像质量评价(IQA)的目的是设计与主观评价算法尽可能一致的数学模型来度量图像的质量.针对结构相似度(SSIM)和其他一些算法的局限性,考虑到梯度可以反映图像的边缘纹理等结构信息,提出一种快速的全参考型IQA算法,即提升的梯度加权结构相似度(GWL-SSIM)算法.首先定义图像局部块的广义梯度;然后利用其相似性及图像对比度相似性和结构相似性得到局部质量的特征映射图;最后采用广义梯度加权的池化策略得到IQA模型,广义梯度能很好地刻画视觉感知系统的非线性属性,而加权策略模拟了其对图像不同成分感知的差异性.在6个公开数据库中进行数值实验的结果表明,GWL-SSIM算法计算效率高,并取得了与目前流行算法相当的评价效果.     

一种改进的基于结构相似度的图像质量评价方法

基于结构相似度（SSIM）的图像质量评价方法简单高效,准确性较高,评价性能优于峰值信噪比（PNSR）和均方误差（ MSE）,但SSIM模型不能较好地评价严重失真和交叉失真类型的图像。文中提出了一种改进的基于结构相似度的图像质量评价方法（ HSSIM）,该方法将直方图信息作为图像的主要结构信息,根据人眼视觉特性,利用直方图集中度来表示图像模糊度,最终计算得到图像的结构相似度值。实验结果表明,HSSIM比SSIM模型更符合人眼视觉系统特性,能更好地评价失真图像的质量。     

基于局部不变特征的图像质量评价

针对结构相似度算法在感知图像质量时采取平均加权策略的不足,利用人眼对图像中不同区域的关注程度不同的特性,提出了基于局部不变特征的图像质量评价算法。该算法在失真图像结构相似度质量分布图的基础上,提取图像的局部不变特征点,将这些特征点周围一定区域赋予较大的视觉权重,最后运用综合加权策略来衡量失真图像的质量。在标准图像测试库上的实验结果表明,该算法计算复杂度相对较低,较大地提高了结构相似度算法的评价效果,与人眼主观感知图像质量取得了更好的一致性。     

一种基于视觉注意模型的SSIM改进方法

图像质量评价是图像处理领域的一个研究热点。文中将视觉注意模型结合到传统结构相似度( SSIM)方法中,尝试将视觉注意机制的研究成果引入到图像质量评价领域,以获取更好的评价效果。新方法采用Itti视觉注意计算模型提取图像的全局显著图,然后用中介真值程度( MMTD)理论确定各局部窗口的权值,在评价过程中对显著程度高的区域给予更高的权重。实验结果表明改进后的MMTD-SSIM算法在感兴趣区域突出的图像质量评价中较传统SSIM算法更加准确有效,更加接近人类视觉的主观评价。     

边缘加权的结构相似性测度

针对结构相似性测度(SSIM)不能较好地客观评价图像模糊与强高斯噪声失真的问题,提出一种边缘加权的结构相似性测度(EWSSIM),以符合人眼视觉系统(HVS)特性。EWSSIM将原始图像和失真图像的整体轮廓信息与局部纹理细节信息加权,更充分地描述图像的结构相似度。通过LIVE图库的仿真结果表明,与SSIME相比,WSSIM能够更好地评价图像模糊与强高斯噪声失真,且在各类失真图像的评价一致性上优于SSIM。     

基于梯度及HVS特性的离焦模糊图像质量评价*

在当前人眼视觉系统（HVS）特性研究的基础上提出基于梯度及HVS特性的离焦模糊图像质量评价模型（GVSSIM）。该模型利用Sobel边缘梯度算子提取图像的梯度信息,并根据人眼视觉特性进行视觉加权,得到新的结构相似性评价指标,进而获得图像质量评价指标。该方法与SSIM(图像结构相似度)评价模型相比,具有计算简单的特点,对离焦模糊图像的评价结果能更好地反映人眼视觉感受。     

基于结构信息的图像质量评价模型

针对客观数字图像质量评价方法结构相似度（SSIM）算法对严重失真类型的评价值与主观评价（MOS）值之间存在着明显差异的问题,对几种将SSIM算法与人眼视觉系统（HVS）特性相结合的算法基于图像边缘的ESSIM算法、基于空间域频域敏感的HSSIM算法,以及基于信息内容权值的IWSSIM算法进行了比较。从实验数据可知,ESSIM,HSSIM算法的准确性有不同程度的提高,而IWSSIM模型在比较主客观值相关的单调性方面更为稳定。实验结果为今后结构相似度算法的改进提供了依据,指明研究方向。     

图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

融合梯度信息与HVS滤波器的无参考清晰度评价

目的 目前无参考图像质量评价算法的性能存在较大的提升空间,为了提高清晰度评价技术,提出了一种基于梯度信息与HVS滤波器的无参考清晰度评价算法(GI-F)。方法 该算法首先利用梯度算子计算各像素点的梯度信息,再通过HVS滤波器得到加权和作为图像的清晰度指标。结果 在公开数据库LIVE、TID2008和CSIQ上进行的实验,GI-F与S3(Spectral and Spatial Sharpness)、CPBD(Cumulative Probability of Blur Detection)和LPC-SI(Local Phase Coherence-based Sharpness Index)相比,性能指标RMSE(Root Mean Squared Error)、PLCC(Pearson Linear Correlation Coefficient)和SROCC(Spearman Rank-Order Correlation Coefficient)分别提升了20.66%、4.61%和3.33%;同时GI-F还具有更低的计算复杂度,即使与目前最好的BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator)算法相比,耗时也降低了79.72%。结论 该算法只需耗费更少的时间即可计算出与人眼感知更加接近的客观清晰度指标,可广泛用于无参考图像情况下的清晰度指标计算场合,同时还可以通过并行计算进一步降低其计算时间。     

基于轮廓波数字水印的JPEG图像质量评价方法

半参考图像质量评价方法是一种利用原始图像的部分信息对失真图像进行质量预测的方法,提出了一种基于轮廓波变换数字水印的JPEG图像压缩半参考质量评价方法。首先参考人类视觉系统（Human Visual System,HVS）的思想,选取轮廓波变换的低频区域作为水印嵌入区域,从而生成半脆弱数字水印。然后根据已嵌入水印图像与原始图像之间的结构相似度（Structural Similarity,SSIM）的值,设计自适应水印嵌入系统,以保证水印的不可见性。最后分别在LIVE图像数据库2和TID2008图像数据库中,根据已嵌入水印图像进行数据库重建,并测试该算法的性能。实验结果对比显示,该算法与其他算法相比较,具有较好的准确性、单调性以及一致性,能够较好地反应JPEG失真图像的质量。     

结合全局与局部变化的图像质量评价

图像所包含的信息是通过灰度值在空域的变化呈现的. 梯度是度量变化的基本工具, 这使得梯度成为了目前大多数图像质量评价算法的重要组成部分. 但是梯度只能度量局部变化, 而当人类视觉系统(Human visual system, HVS)感知一幅图像时, 既能感知到局部变化, 也能感知到全局变化. 基于HVS的这一特性, 本文提出了一种结合全局与局部变化的图像质量评价算法(Global and local variation similarity, GLV-SIM). 该算法利用Grünwald-Letnikov分数阶导数来度量图像的全局变化, 利用梯度模来度量图像的局部变化. 然后结合二者计算参考图像和退化图像之间的相似度谱(Similarity map), 进而得到图像的客观评分. 在TID2013、TID2008、CSIQ与LIVE四个数据库上的仿真实验表明, 较之单一度量局部变化的方法, 本文算法能更准确地模拟HVS对图像质量的感知过程, 给出的客观评分与主观评分具有较好的一致性.     

SSIM-based joint-bit allocation for 3D video coding

The quality of a 3D video display depends on virtual view synthesis process which is affected by the bit allocation criterion. The performance of a bit allocation algorithm is dependent on various encoding parameters like quantization parameter, motion vector, mode selection, and so on. Rate-distortion optimization (RDO) is used to efficiently allocate bits with minimum distortion. In 3D video, rate-distortion (RD) property of synthesized view is used to assign bits between texture video and depth map. Existing literature on bit allocation methods use mean square error (MSE) as distortion metric which is not suitable for measuring perceptual quality. In this paper, we propose structural similarity (SSIM)-based joint bit allocation scheme to enhance visual quality of 3D video. Perceptual quality of a synthesized view depends on texture and depth map quality. Thus, SSIM-based RDO is performed on both texture and depth map where SSIM is used as distortion metric in mode decision and motion estimation. SSIM-based distortion model for synthesized view is determined experimentally. As SSIM cannot be related to quantization step, SSIM-MSE relation is used to convert distortion model in terms of MSE. The Lagrange multiplier method is used to solve the bit allocation problem. The proposed algorithm is implemented using 3DV-ATM as well as HEVC. RD curves show reduction in bitrate with an improvement in SSIM of synthesized view.     

Perceptual rate-distortion optimization for H.264/AVC video coding from both signal and vision perspectives

Recent researches have shown that the Structural SIMilariy (SSIM)-based Rate-Distortion Optimization (RDO) can obtain more structural information than the traditional SSE-based RDO for video coding. Correspondingly, the perceptual video quality is improved at certain degree for the video stream encoded by the SSIM-based RDO. However, for the MB with significant luminance change (due to the flashlight or sunshine change, etc.) but little structure change compared to the co-located MB in the referred frame, the SSIM-based RDO may select improper encoding mode (SKIP) which leads to uncomfortable visual experience. In this paper, involving the surrounding pixels of the current coding MB into the measurement of spacial texture quality degradation, the RDO which jointly considers the SSIM-based distortion and SSE-based distortion is proposed to improve H.264/AVC perceptual coding performance. The Lagrange multiplier in the proposed RDO is firstly derived at the frame level. Then, to make the Lagrange multiplier more adaptive to the specific video content, the Lagrange multiplier for each individual MB is refined based on the visual information theory. Experimental results show that the proposed perceptual RDO can select the optimal encoding mode which preserves as much structural information as possible with as little SSE-based distortion as possible, and that the perceptual quality of the encoded video is improved.