基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能，参考先进的深度生成对抗网络（GAN）研究成果，提出一种基于增强型对抗学习的无参考图像质量评价算法，即通过改进损失函数、网络模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”，进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先，利用数据集中失真的图像和未失真的原图像作为输入，从而基于增强对抗学习来训练网络模型；然后，利用该模型输出待测图像的模拟仿真图，提取仿真图的深度卷积特征；最后，将仿真图和待测失真图的卷积特征相融合，并输入到训练好的图像质量评价回归网络，输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明，所提算法在图像质量上的总体客观评价性能优于当前的主流算法，与人的主观评价表现出的性能相一致。     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。     

基于深度学习的图像质量评价方法综述

图像质量评价是对图像或视频的视觉质量的一种度量,主要分析了最近10年图像质量评价算法的研究情况。介绍了图像质量评价算法的衡量指标以及常用的图像质量评价数据集,对图像质量评价方法的分类做了阐述,重点分析了基于深度学习技术的图像质量评价算法。目前,该类算法的基础模型主要包括深度卷积神经网络、深度生成对抗网络和变换器,其性能通常高于传统的图像质量评价算法。描述了基于深度学习技术的图像质量评价算法的原理,重点介绍了基于深度生成对抗网络的无参考图像质量评价算法,通过增强对抗学习强度提高模拟参考图的可靠性。深度学习技术需要海量训练数据的支持,探讨和总结数据集增强的方法,对数字图像质量评价方法的未来研究进行展望。     

基于并行小规模卷积神经网络的图像质量评价

图像质量客观评价广泛应用在图像处理任务中,参考深度学习技术的研究成果,提出了一种基于并行小规模卷积神经网络的无参考图像质量评估算法。卷积操作和并行的多尺度输入能学习到丰富和细微的图像失真特征,首先利用高斯图像金字塔获取不同尺度的失真图像做为4路小规模单层卷积神经网络的输入,经过卷积和池化处理后,输出4路特征矢量,把学习到的特征矢量融合后,通过全连接回归映射为图像质量预测分数。参数优化分2个阶段完成,提高了模型精度。实验测试结果表明,设计的网络模型简单有效,提出的算法性能高于当前主流算法,具有很好的稳定性和较强的泛化能力。      

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

基于人眼色彩差异化感知的图像质量评价研究

针对显著性图像质量评价问题，参考人眼视觉对图像色彩的差异化感知，提出一种基于孪生神经网络对图像色彩对比显著区域进行质量评价的算法。首先，根据图像中的色彩对比和语义信息分别提取原始图像和失真图像中的色彩对比显著区域；然后，将原始图像和失真图像中对应的色彩区域作为子图像，以样本对的形式输入孪生神经网络；最后，计算主客观图像质量评估值的相关性。实验采用残差结构的Inception-ResNet-V2网络作为基础模型，同时增加EMD损失函数优化对图像质量的距离损失，经过Softmax层后输出图像质量评估值，并在TID2013数据集上进行了测试。结果表明，提出的算法在该数据集上性能良好。     

一种检测C&W对抗样本图像的盲取证算法

对抗样本图像能欺骗深度学习网络,亟待对抗样本防御机制以增强深度学习模型的安全性。C&W攻击是目前较热门的一种白盒攻击算法,它产生的对抗样本具有图像质量高、可转移、攻击性强、难防御等特点。本文以C&W攻击生成的对抗样本为研究对象,采用数字图像取证的思路,力图实现C&W对抗样本的检测,拒绝对抗样本输入深度学习网络。基于对抗样本中的对抗扰动易被破坏的假设,我们设计了基于FFDNet滤波器的检测算法。具体来说,FFDNet是一种基于深度卷积网络CNN的平滑滤波器,它能破坏对抗扰动,导致深度学习模型对对抗样本滤波前后的输出不一致。我们判断输出不一致的待测图像为C&W对抗样本。我们在ImageNet-1000图像库上针对经典的ResNet深度网络生成了6种C&W对抗样本。实验结果表明本文方法能较好地检测C&W对抗样本。相较于已有工作,本文方法不仅极大地降低了虚警率,而且提升了C&W对抗样本的检测准确率。     

基于生成对抗网络的深度图像去噪

深度图被广泛应用于三维重建等领域,然而,由深度相机捕获的深度图会产生各种类型的失真,这使得从深度图中准确估计深度信息变得困难。针对低质量深度图中存在的各种类型的噪声,提出一种基于生成对抗网络的深度图像去噪算法。生成对抗网络由生成网络和判别网络组成。在生成网络中引入残差网络,避免模型退化问题,使用跳跃连接,加快网络训练速度同时保证图像细节的有效传递;在判别网络中使用步幅卷积代替池化层,减少模型的计算量;通过优化模型的训练,使得生成的深度图像更加清晰。实验结果表明,该算法能够生成效果更好的深度图,在主观视觉和客观评价方面均优于其他算法。     

基于轮廓波数字水印的JPEG图像质量评价方法

半参考图像质量评价方法是一种利用原始图像的部分信息对失真图像进行质量预测的方法,提出了一种基于轮廓波变换数字水印的JPEG图像压缩半参考质量评价方法。首先参考人类视觉系统（Human Visual System,HVS）的思想,选取轮廓波变换的低频区域作为水印嵌入区域,从而生成半脆弱数字水印。然后根据已嵌入水印图像与原始图像之间的结构相似度（Structural Similarity,SSIM）的值,设计自适应水印嵌入系统,以保证水印的不可见性。最后分别在LIVE图像数据库2和TID2008图像数据库中,根据已嵌入水印图像进行数据库重建,并测试该算法的性能。实验结果对比显示,该算法与其他算法相比较,具有较好的准确性、单调性以及一致性,能够较好地反应JPEG失真图像的质量。     

基于多任务无参考图像质量评价模型研究

基于深度学习的无参考图像质量评价(NRIQA)模型常见2种结构,即单任务(Single-task)结构和多任务(Multi-task)结构。为了探讨在没有预训练情况下多任务结构对模型准确率影响,对比分析了基于MEON调整后的多任务模型及单任务模型在无参考图像质量评价任务上的性能优劣,其中多任务模型在图像质量评价数据库LIVE、TID2013上分别取得了0.882、0.871的准确率,表现出同等甚至优于单任务模型的性能。在此基础上,多任务模型的子任务输出维度实验表明在NRIQA研究中,子任务能够根据需求和目标在相关数据集上预训练,再结合质量评价任务微调,具有可迁移学习集成于其他任务中的优点。     

图像与视频质量评价综述

图像/视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,图像/视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量图像/视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。图像/视频质量评价研究取得了长足的发展,为计算机视觉领域中其他任务提供了一定的便利。本文在广泛调研前人研究的基础上,回顾了整个图像/视频质量评价领域的发展历程,分别列举了传统方法和深度学习方法中一些具有里程碑意义的算法和影响力较大的算法,然后从全参考、半参考和无参考3个方面分别对图像/视频质量评价领域的一些文献进行了综述,具体涉及的方法包含基于结构信息、基于人类视觉系统和基于自然图像统计的方法等;在LIVE(laboratory for image & video engineering)、CSIQ(categorical subjective image quality database)、TID2013等公开数据集的基础上,基于SROCC(Spearman rank order correlation coefficient)、PLCC(Pearson linear correlation coefficient)等评价指标,对一些具有代表性算法的性能进行了分析;最后总结当前质量评价领域仍存在的一些挑战与问题,并对其进行了展望。本文旨在为质量评价领域的研究人员提供一个较全面的参考。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

基于深度强化学习的黑盒对抗攻击算法

针对图像识别领域中的黑盒对抗攻击问题,基于强化学习中DDQN框架和Dueling网络结构提出一种黑盒对抗攻击算法。智能体通过模仿人类调整图像的方式生成对抗样本,与受攻击模型交互获得误分类结果,计算干净样本和对抗样本的结构相似性后获得奖励。攻击过程中仅获得了受攻击模型的标签输出信息。实验结果显示,攻击在CIFAR10和CIFAR100数据集上训练的4个深度神经网络模型的成功率均超过90%,生成的对抗样本质量与白盒攻击算法FGSM相近且成功率更有优势。     

No-reference image quality assessment using interval type 2 fuzzy sets

Image quality assessment of distorted or decompressed images without any reference to the original image is challenging from computational point of view. Quality of an image is best judged by human observers without any reference image, and evaluated using subjective measures. The paper aims at designing a generic no-reference image quality assessment (NR-IQA) method by incorporating human visual perception in assigning quality class labels to the images. Using fuzzy logic approach, we consider information theoretic entropies of visually salient regions of images as features and assess quality of the images using linguistic values. The features are transformed into fuzzy feature space by designing an algorithm based on interval type-2 (IT2) fuzzy sets. The algorithm measures uncertainty present in the input–output feature space to predict image quality accurately as close to human observations. We have taken a set of training images belonging to five different pre-assigned quality class labels for calculating foot print of uncertainty (FOU) corresponding to each class. To assess the quality class label of the test images, maximum of T-conorm applied on the lower and upper membership functions of the test images belonging to different classes is calculated. Our proposed image quality metric is compared with other no-reference quality metrics demonstrating more accurate results and compatible with subjective mean opinion score metric.