采用边缘信息的屏幕图像质量评价

考虑到人类视觉系统（HVS）对边缘信息敏感且屏幕图像中包含大量边缘信息,本文提出采用边缘信息的屏幕图像质量评价方法。该方法首先从空域和频域分别提取参考和失真屏幕图像的边缘信息进而得到边缘信息相似度图,接着基于边缘信息提取屏幕图像中人眼感兴趣区域,最后利用感兴趣区域加权对所得边缘相似度图进行融合计算以获取最终评价分数值。实验结果表明所提算法具有较高的图像质量评价主客观一致性,其性能优于多个最新图像质量评价方法。      

利用边缘相似度的光场图像质量评价

近年来，随着虚拟现实（Virtual Reality，VR）和增强现实（Augment Reality，AR）技术发展和普及，光场图像引起了学术界和工业界的广泛关注。然而，在光场采集和图像压缩、存储、传输和渲染的过程中，不可避免会引入各类失真从而导致光场图像质量出现劣化。因此，如何根据人眼视觉特性来准确高效地评价光场图像质量成为急需解决的问题。考虑到光场图像复杂的结构特性，本文意在利用边缘相似度来构建适用于光场图像质量客观评估的数学模型。首先, 利用梯度和Gabor滤波器分别提取光场图像的空域和频域相似度，进而进行融合得到边缘相似度图，接着对边缘相似度图采用基于频域边缘强度的池化策略进行权重计算得到最终的客观评估分数。实验结果显示，与现有的图像质量评价方法相比，本文所提算法能够更好地反映出人类视觉系统对光场图像的主观感知特性。      

基于参数估计的无参考型图像质量评价算法

针对现有客观图像质量评价算法通用性差及人类主观感知相关性弱等问题,该文提出一种基于参数估计的无参考型图像质量评价算法。该算法通过分析图像本身所蕴含的质量特征,提取出图像结构信息、颜色信息和视觉信息的评价度量指标,采用回归分析的方法估计出相应指标的参数。实验结果表明,该算法与主观评价结果一致性好、鲁棒性强,优于其它客观评价算法,能够准确反映人类对图像质量的视觉感知效果。     

基于局部最大梯度的无参考图像质量评价

图像质量评价在数字图像处理中应用广泛,无参考图像质量评价更是近些年来的研究热点。该文提出一种基于局部结构的无参考图像质量评价方法,该方法首先利用局部梯度选择强边缘区域,然后通过强边缘的信息来评价图像的质量。该方法的创新之处在于:基于局部最大梯度的像素点质量评价;利用强边缘点的局部质量来估计全局图像质量。该方法可以同时评价噪声图像和模糊图像,图像失真越严重,该方法的评价分数就越低。与图像质量评价数据库的主观评价结果比较表明,该文方法与主观评价结果相关性很强,能很好地反映图像质量的视觉感知效果。     

去雾图像质量客观评价方法研究

针对目前去雾图像质量客观评价方法少和已有评价方法存在局限性等问题,提出一种去雾图像的客观质量评价新方法.针对去雾图像中存在的Halo效应,采用边缘加权结构相似性测度的方法,将雾化图像和去雾图像的整体轮廓信息与局部纹理细节信息加权来描述图像的结构相似度.从人类视觉感知的角度出发,定义了图像归一化灰度差,用来描述图像的亮度.将彩色图像转换到HSV颜色空间,利用S分量的信息熵和直方图相似度来描述图像的色彩还原能力.最后综合边缘加权结构相似性测度、图像归一化灰度差和色彩加权还原度建立去雾图像质量评价模型,并进行客观评价和比较.实验结果表明,与已有评价方法相比,所提出的评价方法能够获得与主观感受一致的结果,并具有较好的有效性和可靠性.     

一种基于混合特征的图像质量评价方法

基于空域的图像质量评价方法虽然计算效率较高,但忽视了图像本身的特征信息,适应范围也较窄。针对这一问题,文中利用小波分析与人类视觉系统的相似性,提出了一种基于梯度和结构特征的小波域图像质量评价方法。该方法将图像的低频成分与高频成分作为两个区域,将图像的低频成分的梯度特征作为质量评价函数的第一个特征;然后是将图像的高频成分中的边缘、纹理结构作为质量评价函数的第二个特征。最后融合这两个特征,计算参考图像和失真图像之间对应的质量评价测度。实验结果表明,该方法的评价结果更加有效、范围广,优于基于空域的图像质量评价方法。     

基于多尺度细节的孪生卷积神经网络图像融合算法

图像融合将来自不同捕获条件或不同传感器的互补图像进行融合以提高图像的视觉质量。针对这一任务,本文提出一种改进的滚动引导滤波与神经网络相结合的多尺度融合算法。首先,使用孪生卷积神经网络学习图像特征,并以此获得包含源图像显著特征的权值映射图。随后,使用改进的滚动引导滤波对图像进行多尺度分解,结合信息熵使滚动引导滤波权重参数自适应化来实现多尺度自适应分解,并结合非线性映射增强图像细节信息。最后,采用局部能量与权值图相结合的自适应调整融合模式对多尺度图像进行融合。经实验对比,所提方法能够避免出现图像边缘圆晕效应,且能够更好地突出图像边缘、细节纹理特征。另外,与其他算法相比,本文所提出的算法在平均梯度、信息熵、视觉信息保真度以及空间频率等客观评价指标项上均取得了更优的性能表现。     

一种基于最小可察觉失真的立体图像质量客观评价方法

立体图像质量是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效的评价是目前的研究难点。本文通过分析最小可察觉失真(JND,just noticeable distortion)视觉感知模型,并结合反映图像结构信息的奇异值矢量,提出了一种基于JND的立体图像质量客观评价方法。评价方法由图像质量评价和深度感知评价两部分组成,首先提取反映图像质量和深度感知的特征信息作为立体图像特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过支持向量回归(SVR,support vector Regression)预测得出立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体数据测试库进行评价,在不同失真类型或混合失真评价结果中,Pearson线性相关系数(CC)值均在0.94以上,Spearman等级相关系数(SROCC)值均在0.92以上,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于非局部梯度的图像质量评价算法

图像质量评价研究的目标在于模拟人类视觉系统对图像质量的感知过程,构建与主观评价结果尽可能一致的客观评价算法。现有的很多算法都是基于局部结构相似设计的,但人对图像的主观感知是高级的、语义的过程,而语义信息本质上是非局部的,因此图像质量评价应该考虑图像的非局部信息。该文突破了经典的基于局部信息的算法框架,提出一种基于非局部信息的框架,并在此框架内构建了一种基于非局部梯度的图像质量评价算法,该算法通过度量参考图像与失真图像的非局部梯度之间的相似性来预测图像质量。在公开测试数据库TID2008, LIVE, CSIQ上的数值实验结果表明,该算法能获得较好的评价效果。     

基于像素失真耦合边缘特征融合的无参考质量评价

为了适应多种类型的模糊图像进行质量评价,提高评价模型对图像模糊和振铃的洞察能力,提出了一种像素失真与边缘特征融合的无参考质量评价算法.首先,根据像素失真理论,计算图像像素的标准差和绝对差分值,提取图像的像素特征;然后,计算图像水平和垂直方向的过零率,并利用边缘保持滤波器对图像边缘信息进行测量,精确提取图像的边缘特征;最后,利用提取的像素特征和边缘特征,定义特征融合函数,并引入粒子群优化(PSO)对融合函数参数进行优化,提高对图像模糊和振铃的洞察能力,根据融合特征构建图像质量评价模型.与当前无参考质量评价算法比较,所提算法能够有效地对JPEG(Joint Photographic Experts Group)、JPEG2000(Joint Photographic Experts Group 2000)、模糊等失真图像进行质量评价,评价指标CC(Correlation Coefficient)与SROCC(Spearman Rank-order Correlation Coefficient)达0.9477和0.9153.该算法与主观评价方法具有较好的一致性,能够较好地适用于多种类型的失真图像评价.     

An optimized CNN-based quality assessment model for screen content image

Most existing convolutional neural network (CNN) based models designed for natural image quality assessment (IQA) employ image patches as training samples for data augmentation, and obtain final quality score by averaging all predicted scores of image patches. This brings two problems when applying these methods for screen content image (SCI) quality assessment. Firstly, SCI contains more complex content compared to natural image. As a result, qualities of SCI patches are different, and the subjective differential mean opinion score (DMOS) is not appropriate as qualities of all image patches. Secondly, the average score of image patches does not represent the quality of entire SCI since the human visual system (HVS) is sensitive to image patches containing texture and edge information. In this paper, we propose a novel quadratic optimized model based on the deep convolutional neural network (QODCNN) for full-reference (FR) and no-reference (NR) SCI quality assessment to overcome these two problems. The contribution of our algorithm can be concluded as follows: 1) Considering the characteristics of SCIs, a valid network architecture is designed for both NR and FR visual quality evaluation of SCIs, which makes the networks learn the feature differences for FR-IQA; 2) with the consideration of correlation between local quality and DMOS, a training data selection method is proposed to fine-tune the pre-trained model with valid SCI patches; 3) an adaptive pooling approach is employed to fuse patch quality to obtain image quality, owns strong noise robust and effects on both FR and NR IQA. Experimental results verify that our model outperforms both current no-reference and full-reference image quality assessment methods on the benchmark screen content image quality assessment database (SIQAD). Cross-database evaluation shows high generalization ability and high effectiveness of our model.     

基于Contourlet域分块压缩感知的图像融合

针对传统图像融合方法导致纹理细节丢失的现象,提出了一种基于抗混叠移不变Contourlet域的分块压缩感知（block-based compressed sensing,BCS）图像融合算法——Contourlet_BCS。把善于表达图像纹理及边缘信息的Contourlet变换引入了压缩感知稀疏表示中,同时对分解得到的低频系数采取加权的区域能量融合规则,高频系数采取基于广义高斯分布模型的加权融合规则进行图像系数融合,最后在压缩感知框架下利用带平滑处理的投影Landweber算法重构。实验结果表明,Contourlet_BCS融合效果优于传统方法,融合的图像纹理清晰,边缘细节信息更为丰富。     

基于多分辨率Trace变换的纹理图像分类

针对Trace变换提取的图像特征缺乏对纹理边缘信息描述和计算代价高的问题,利用小波变换对图像轮廓的表征优势,提出了多分辨率Trace变换并应用于纹理图像分类.首先,将小波变换引入到Trace变换中,对纹理图像进行非下采样小波变换,得到不同频率的低频特征子图及高频边缘子图;其次,在各级子图上进行一组泛函的Trace变换,获取纹理图像的融合特征,在获得图像边缘信息的同时避免了Trace变换不同泛函组合计算代价过高的问题;最后,把融合特征送入支持向量机对图像进行分类.实验结果表明,对图像采用多分辨率Trace变换提取的融合特征具有更好的纹理描述能力,相对于传统Trace变换及MCM等对比方法具有更高的鉴别性能,且在时间效率上相对于传统Trace变换有大幅提升.     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

基于CSR和能量特征的红外与可见光图像融合

传统稀疏表示(SR)分块处理策略降低了图像连续性,使得特征信息损失严重。因此,提出了基于卷积稀疏表示(CSR)和能量特征的红外与可见光图像融合算法。该算法将非下采样轮廓波变换(NSCT)域低频子带分解成低频基础分量和细节特征分量,使用局部拉普拉斯能量法(LLE)和卷积稀疏表示分别进行融合,获得低频子带融合图像。同时,根据底层视觉特征构建新活性度量方法来融合高频子带,最后对高、低频部分进行NSCT反变换重建。实验结果表明:该算法有效结合了源图像的边缘纹理信息,在主观和客观评价上皆优于现有的大部分算法。     

多尺度超像素纹理特征保持与融合的高光谱图像分类

高光谱图像的低空间分辨率特性往往导致全局纹理提取技术难以获取地物要素的精准纹理信息,同时,单一尺度的局部纹理提取技术难以达到有效识别地物的目的。基于此,该文设计了一种多尺度超像素纹理保持与融合(MSuTPF)的高光谱图像分类方法,主要架构如下:首先,利用2D Gabor滤波器对高光谱图像进行多方向与尺度的全局纹理提取,并通过融合各尺度的纹理特征,增强纹理结构表征能力;其次,融合纹理与光谱主成分特征以形成光谱-纹理联合判别特征;再次,采用形状自适应的超分割方法,作用至光谱-纹理联合特征进行局部纹理信息保持与融合,尤其是,为克服超像素邻域像元的隐性不相关问题,该文定义了基于密度最近邻相似性评价准则,使超像素纹理进一步趋于一致性;最后,将各更新的光谱-纹理联合特征输入像素级分类器获取其对应的类标签,并采用多数表决的决策融合机制取得最终分类结果。Indian Pines和Pavia University真实数据集的实验表明,该方法在小样本条件下的分类精度优于基准分类器(SVM)、深度学习方法(GFDN)以及最新的空-谱分类方法(S3-PCA)等8个对比方法,充分证明了该文所提方法的实用性和有效性。     

BGT: A blind image quality evaluator via gradient and texture statistical features

Blind image quality assessment (BIQA) aims to design a model that can accurately evaluate the quality of the distorted image without any information about its reference image. Previous studies have shown that gradients and textures of image is widely used in image quality evaluation tasks. However, few studies used the joint statistics of gradient and texture information to evaluate image quality. Considering the visual perception characteristics of the human visual system, we develop a novel general-purpose BIQA model via two sets of complementary perception features. Specifically, the joint statistical histograms of gradient and texture are extracted as the first set of features, and the second set of features is extracted using the local binary pattern (LBP) operator. After extracting two groups of complementary quality-aware features, the feature vectors are sent to the support vector regression machine to establish the nonlinear relationship between quality-aware features and quality scores. A large number of experiments on seven large benchmark databases show that the proposed BIQA model has higher accuracy, better generalization properties and lower computational complexity than the relevant state-of-the-art BIQA metrics.