自适应语义感知网络的盲图像质量评价

目的 盲图像质量评价（blind image quality assessment，BIQA）在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果，但评价准确性仍有待进一步提升。方法 提出一种自适应语义感知网络（self-adaptive semantic awareness network，SSA-Net）的盲图像质量评价方法，通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先，利用深度卷积神经网络（deep convolutional neuralnetwork，DCNN）获取各个阶段的语义特征，并提出多头位置注意力（multi-head position attention，MPA）模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着，提出基于多尺度内核的自适应特征感知（self-adaptivefeature awareness，SFA）模块感知图像的失真类型，并结合图像内容来捕获图像的全局失真和局部失真情况。最后，提出多级监督回归（multi-level supervision regression，MSR）网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果 本文方法在7个数据库上与11种不同方法进行了比较，在LIVEC（LIVE in the Wild ImageQuality Challenge）、BID（blurred image database）、KonIQ-10k（Konstanz authentic image quality 10k database）和SPAQ（smartphone photography attribute and quality）4个自然失真图像数据库中的斯皮尔曼等级相关系数（Spearman rankorder correlation coefficient，SRCC）值分别为0.867、0.877、0.913和0.915，获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明，与其他先进方法相比，本文方法在自然失真图像质量评价数据库上的表现更为优异。结论 本文方法通过结合图像内容理解与不同失真类型感知，能更好地适应自然图像的失真，提高评价准确性。     

雾天条件下偏振解析成像质量评价

目的 偏振成像产生的偏振参量图像具有一定的揭示雾天目标相关特性的优势,目前尚无适当的量化评估手段,由于偏振参量图像均由原方向图解析产生,针对解析类图像的质量评价问题利用现有方法无法有效解决,为此,提出一种用于雾天条件下偏振成像质量评价的方法,旨在给出不同雾天条件下偏振参量图像质量及其变化对比情况。方法 从图像质量分析角度验证雾天目标特性表征与主观观测一致性关系。在分析全偏振参量解析过程及雾天对图像质量的影响基础上,提取了与“解析失真”敏感的特征因子：基于空域的自然场景统计特征和图像的结构性特征,同时引入相应Stokes参量形成了偏振解析参量特征,依据马氏距离构建了统一的评价模型。结果 分别选取室内模拟雾天环境成像样本、仿真生成的雾天样本、室外实拍雾天成像样本3类样本。采用3个参数：1）非线性回归后的算法测试分数与DMOS（平均主观评份差值）间的线性相关系数（CC）;2）非线性回归后的算法测试分数与DMOS间;的均方根误差（RMSE）3）斯皮尔曼相关系数（SROCC）。开展了有效性实验及主客观一致性实验。采用本文算法评价的入射光强（I）图CC值和RMS值分别为0.930 2和4.593 2,偏振度（P）图的CC值和RMS值分别为0.877 1和0.995 0,算法准确度高。入射光强（I）图的SROCC值为0.939 0,P图的SROCC值为0.786 1,算法的客观分数与主观分数相一致。算法对不同雾天条件下的偏振解析参量图像的质量演变关系辨识性好,客观评价结果符合主观理论分析。结论 本文针对偏振参量图像提出的综合质量评价模型通过提取特征因子及Stokes参量形成的评价算法能够准确地评价参量图像中的I图和P图,算法准确度高、主客观一致性好,能够反映偏振参量图像的质量及相关关系,较好地解决了雾天条件下偏振成像质量评价问题。     

基于概率矩阵分解的多失真图像质量评估算法

图像质量评价(Image Quality Assessment, IQA)是视觉感知模型研究的重要分支,使用IQA算法自动化地评估图像质量有广阔的应用前景。基于概率矩阵分解(Probability Matrix Factorization)提出一种多失真图像质量评价算法,主要贡献有:提出一种图像质量评价的新思路,即利用PMF方法从失真图像估计参考图像,把失真图像和估计参考图像之间的信息损失作为图像质量的度量;构建新颖的特征向量描述这种信息损失;使用支持向量回归(Support Vector Regression, SVR)完成图像质量模型的训练。提出的算法在多个公开的图像质量评价数据库上超过了经典方法,实验结果证明该方法与人的主观质量评价具有更好的一致性。     

视线跟踪技术的图像质量主观数据库构建及其可视化

目的 视线跟踪技术是当前最新的无干扰地获得人类视觉注意力的生物测量方法。将视线跟踪方法的原理其应用于图像质量感知研究,建立了首个基于眼动的图像质量感知数据库XJTU_ETSS。方法 应用单刺激图像质量评价法,在Tobii TX300的眼动平台上对900幅原始和失真图像进行了49人的60 Hz眼动主观测试。对含眼动的失真图像进行了可视化分析,即利用注视图、热图和自动聚类感兴趣区域图分析注意力在失真图像上的分布特点。结果 针对XJTU_ETSS眼动数据特点,利用反映群体视觉注意力共性的热图可视化方法具体对数据库中一组原始图像和其对应的6种失真图像上的热图进行了比较和定性分析,直观地显了原始图像和不同种类失真图像上视觉注意力的分布特征。结论 通过实验结果可知,视线跟踪方法能十分直观地揭示人在主观图像感知过程中的特性,这对于今后建立基于人眼注意力模型的图像客观评价算法,以及更加深入地揭示人类视觉系统的感知机制都有着现实而重要的意义。     

色彩熵在图像质量评价中的应用

目的 由于色彩空间包含了图像的大量信息,而且Lab色彩空间更接近于人眼视觉,因此提出一种改进的无参考图像质量评价算法IQALE(image quality assessment using Lab color space and entropy),通过在SSEQ(spatial-spectral entropy-based quality)算法中加入Lab色彩空间a通道和b通道的特征来提高算法精度。方法 信息熵是近几年研究较多的图像特征,并且能较好地运用在图像质量评价研究中。该文在色彩空间和灰度空间同时提取信息熵特征,通过支持向量机(SVM)对图像特征和MOS值进行训练和测试。结果 在LIVE、TID2008、MICT、CSIQ和IVC这5个常用数据库上的实验结果表明:在算法中加入Lab色彩空间信息可以提高算法精度,并且本文算法IQALE的效果优于目前流行的无参考图像质量评价算法。为了验证算法的可扩展性,该文还在这5个数据库上进行了数据库独立性实验。结论 从实验结果来看,本文提出的IQALE算法通过加入色彩熵特征使得算法具有较高且较稳定的精度,数据库独立性实验也体现了算法较好的鲁棒性,对于各种失真类型都具有较好的普适性。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

基于非下采样轮廓波变换和多核学习的盲图像质量评价

非下采样轮廓波(Contourlet)变换具有多尺度、多方向特性,能够对图像纹理和结构信息进行精确提取,可以很好地模拟人类视觉系统的多分辨率特性,基于此提出一种基于非下采样Contourlet变换的通用型盲(无参考)图像质量评价算法。首先在空间域上对图像进行非下采样Contourlet变换;然后在各方向带中分别提取能有效反映人类视觉失真程度的特征:高频幅值、平均梯度、信息熵作为图像的特征;最后将其输入到高效的分层多核学习机中学习,预测图像的质量得分。在混合失真型数据库和3个单失真型数据库上的交叉实验结果表明,该算法性能优越,能很好地预测失真图像质量,具有很好的主客观一致性。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

局部均值噪声估计的盲3维滤波降噪算法

目的 图像在获取和传输的过程中很容易受到噪声的干扰,图像降噪作为众多图像处理系统的预处理模块在过去数十年中得到了广泛的研究。在已提出的降噪算法中,往往采用加性高斯白噪声模型AWGN（additive white Gaussian noise）为噪声建模,噪声水平（严重程度）由方差参数控制。经典的BM3D 3维滤波算法属于非盲降噪（non-blind denoising algorithm）算法,在实际使用中需要由人工评估图像噪声水平并设置参数,存在着噪声评估值随机性大而导致无法获得最佳降噪效果的问题。为此,提出了一种新的局部均值噪声估计（LME）算法并作为BM3D算法的前置预处理模块。方法 本文专注于利用基于自然统计规律（NSS）的图像质量感知特征和局部均值估计技术构建图像噪声水平预测器,并通过它高效地获得噪声图像中准确的噪声水平值。关于自然场景统计方面的研究表明,无失真的自然场景图像在空域或者频率域上具有显著的统计规律,一旦受到噪声干扰会产生规律性的偏移,可以提取这些特征值作为反映图像质量好坏的图像质量感知特征。另外,局部均值估计因其简单而高效率的预测特性被采用。具体实现上,在具有广泛代表性且未受噪声干扰图像集合上添加不同噪声水平的高斯噪声构建失真图像集合,然后利用小波变换对这些失真图像进行不同尺度和不同方向的分解,再用广义高斯分布模型（GGD）提取子带滤波系数的统计信息构成描述图像失真程度的特征矢量,最后用每幅失真图像上所提取的特征矢量及对其所施加的高斯噪声水平值构成了失真特征矢量库。在降噪阶段,用相同的特征提取方法提取待降噪的图像的特征矢量并在失真特征矢量库中检索出与之类似的若干特征矢量及它们所对应的噪声水平值,然后用局部均值法估计出待降噪图像中高斯噪声大小作为经典BM3D算法的输入参数。结果 改进后的BM3D算法转换为盲降噪算法,称为BM3D-LME（block-matching and 3D filtering based on local means estimation）算法。准确的噪声估计对于诸如图像降噪,图像超分辨率和图像分割等图像处理任务非常重要。已经验证了所提出噪声水平估计算法的准确性、鲁棒性和有效性。结论 相对人工进行噪声估计,LME算法能够准确、快速地估算出任意待降噪图像中的噪声大小。配合BM3D算法使用后,有效提高了它的实际降噪效果并扩大它的应用范围。     

结合梯度信息的特征相似性图像质量评估

目的 图像的边缘信息对于图像质量的评估非常重要.基于底层特征的图像质量评估算法(FSIM),虽然考虑了图像的底层特征,但该算法对边缘信息的识别能力不理想.针对以上问题,将FSIM算法与对边缘信息更敏感的梯度结构相似度(GSSIM)算法相结合得到一种既符合人眼视觉系统特点又能有效识别图像边缘的新的图像质量评估算法(FGSIM).方法 该算法将FSIM算法的相位一致性部分与GSSIM算法的提取图像信息的部分相结合从而得到一种新的图像质量评估算法FGSIM.其中,采用相位一致性表示图像的特征,用于保持评估算法接近人类视觉系统的特点,提取图像信息的部分通过图像的梯度来实现,用于更有效的识别图像边缘.结果 分别使用FSIM、GSSIM以及FGSIM算法对不同运动模糊程度、不同高斯模糊程度以及不同高斯噪声的图像进行质量评估,将得到的数据用曲线图表示,从图中可以看出:在运动模糊实验中,随图像模糊程度的增大,FGSIM算法的数值由0.8943下降到0.3443,变化更加明显,对运动模糊表现出更好的敏感性;在高斯模糊和高斯噪声实验中,FGSIM算法数值变化的程度虽然不如GSSIM算法好,但相较FSIM算法有一定的提高.FGSIM算法在公共测试图像库中与FSIM、GSSIM算法进行实验比较,FGSIM算法的散点图较FSIM算法稍差些,但与GSSIM算法相比具有非常大的改进,其散点图比GSSIM更为集中.采用较为常用的衡量评估方法性能的指标:皮尔逊相关系数、斯皮尔曼秩相关系数、KROCC 和均方根误差对评估算法的性能进行衡量,数据显示,FGSIM算法的性能比GSSIM算法好.结论 实验结果表明,FGSIM算法是一种既符合人眼视觉系统特点又能有效识别图像边缘的新的图像质量评估算法,该算法对边缘信息的识别能力更强,对图像质量的变化更加敏感.     

面向真实水下图像增强的质量评价数据集

目的 由于光在水中的衰减/散射以及微生物对光的吸收/反射等影响,水下图像通常存在色偏、模糊、光照不均匀以及对比度过低等诸多质量问题。研究人员对此提出了许多不同的水下图像增强算法。为了探究目前已有的水下图像增强算法的性能和图像质量客观评价方法是否适用于评估水下图像,本文开展大规模主观实验来对比不同水下图像增强算法在真实水下图像数据集上的性能,并对现有图像质量评价方法用于评估水下图像的准确性进行测试。方法 构建了一个真实的水下图像数据集,其中包含100幅原始水下图像以及对应的1 000幅由10种主流水下图像增强方法增强后的图像。基于成对比较的策略开展水下图像主观质量评价,进一步对主观评价得到的结果进行分析,包括一致性分析、收敛性分析以及显著性检验。最后将10种现有主流的无参考图像质量评价在本文数据集上进行测试,检验其在真实水下图像数据集上的评价性能。结果 一致性分析中,该数据集包含的主观评分有较高的肯德尔一致性系数,其值为0.41;收敛性分析中,所收集的投票数量与图像数量足够得到稳定的主观评分;表明本文构建的数据集具有良好的有效性与可靠性。此外,目前对比自然图像的无参考图像质量评价方法并不适用于水下图像数据集,验证了水下图像与自然图像的巨大差异。结论 本文构建的真实水下图像数据集为未来水下图像质量客观评价方法以及水下图像增强算法的研究提供了参考与支持。所涉及的图像以及所有收集的用户数据,都在项目主页(https://github.com/yia-yuese/RealUWIQ-dataset)上公开。     

可见光与红外图像融合质量评价指标分析

目的 客观评价作为图像融合的重要研究领域,是评价融合算法性能的有力工具。目前,已有几十种不同类型的评价指标,但各应用领域包括可见光与红外图像融合,仍缺少统一的选择依据。为了方便比较不同融合算法性能,提出一种客观评价指标的通用分析方法并应用于可见光与红外图像融合。方法 将可见光与红外图像基准数据集中的客观评价指标分为两类,分别是基于融合图像的评价指标与基于源图像和融合图像的评价指标。采用Kendall相关系数分析融合指标间的相关性,聚类得到指标分组;采用Borda计数排序法统计算法的综合排序,分析单一指标排序和综合排序的相关性,得到一致性较高的指标集合;采用离散系数分析指标均值随不同算法的波动程度,选择充分体现不同算法间差异的指标;综合相关性分析、一致性分析及离散系数分析,总结具有代表性的建议指标集合。结果 在13对彩色可见光与红外和8对灰度可见光与红外两组图像源中,分别统计分析不同图像融合算法的客观评价数据,得到可见光与红外图像融合的建议指标集(标准差、边缘保持度),作为融合算法性能评估的重要参考。相较于现有方法,实验覆盖20种融合算法和13种客观评价指标,并且不依赖主观评价结果。结论...     

三维重定向图像主观和客观质量评价方法

三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像；然后，每幅重定向图像通过主观测试，得到相应的主观打分值；最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。     

宏微观信息增强与色彩校正的高效色调映射

目的 色调映射是一种在保持视觉效果基本不变的前提下将高动态范围图像映射到常规低动态显示设备上进行显示的技术。针对现有方法存在细节模糊、边缘光晕及色彩失真等不足,提出一种宏微观信息增强与色彩校正的色调映射新方法。方法 将给定的高动态范围图像映射到HSV(hue, saturation, value)颜色空间,分离亮度信息与色彩信息。基于人类视觉感知机制,在亮度通道构建宏观一致性和微观显著性的亮度感知压缩模型,并进一步通过调节模型缩放因子消除边缘光晕现象。基于颜色恒常性原理,在色度通道构建自适应饱和度偏移模型,融合亮度压缩信息调整图像的饱和度信息,解决色调映射所造成的主观色彩失真问题。结果 实验结果表明,所提算法在结构保真度、自然度和色调映射质量指数等客观评价方面均优于对比色调映射算法,同时主观平均意见值也取得了最高的4.3分（即好—非常好）。结论 宏微观信息增强的亮度感知压缩模型,在确保场景亮度信息不变的情况下,可以有效增强图像纹理细节的完整性和保真性。融合亮度压缩的饱和度偏移模型可以有效解决亮度压缩导致的图像色彩失真等问题。该色调映射算法效率高、通用性强,可广泛应用于图像压缩、生物医学...     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

混合先验与加权引导滤波的图像去雾算法

目的 图像去雾是降低雾、霾、沙等低能见度成像环境对图像的退化影响,提高图像信息获取质量的过程。为了消除先验盲区,同时进一步提高去雾图像边缘细节的清晰度,提出一种混合先验与加权引导滤波的图像去雾算法。方法 首先改进大气光值估计方法,提高大气光值估计的准确性。然后利用混合先验理论求取双约束区域的大气透射率,一定程度上消除了先验盲区,提高了去雾算法的鲁棒性。最后利用加权引导滤波算法优化透射率图,提高了图像边缘细节的清晰度。结果 本文以通用去雾测试图像和小型无人机拍摄的雾天图像作为实验对象,通过对比分析4种组合步骤算法的复原效果,验证本文各步骤改进方法的合理性与整体算法的优越性。实验结果表明：混合先验理论改善了暗原色先验在明亮区域的失真现象和颜色衰减先验对浓雾处理上的不足,取得了较好的视觉效果;加权引导滤波改善了图像边缘模糊的现象,使复原后的图像边缘细节更加清晰;相较传统算法,本文算法视觉效果更好,去雾图像边缘细节更加明显,综合评价指标均值提升幅度较大。结论 针对有雾图像复原,通过理论分析和实验验证,说明了本文各步骤的改进具有一定的优越性,所提的算法具有较强的鲁棒性。