基于多尺度自相似性和非局部均值的单幅图像超分辨率方法

提出了一种基于多尺度局部自相似性和非局部均值的单幅图像超分辨率算法,该算法不依赖于外界图像,仅仅在原始图像的局部子窗口中搜索目标图像块的相似子块,利用非局部均值算法对相似子块进行加权求和来估计待复原图像,然后在复原图像上叠加最相似子块的高频细节图像,获得高分辨率图像。实验结果表明,本文算法不仅能很好地重构图像的高频细节,还能很好地恢复图像的纹理特征。     

基于非局部自相似序列集的一类视频图像盲去噪算法

为提高具有帧间位移平移特性的视频图像的信噪比和去噪时效,本文提出了基于非局部自相似序列集的视频图像盲去噪算法.选取与待去噪视频图像前后相邻的若干图像帧,在每一图像帧中寻找具有典型特征的图像块群,并通过在前一帧图像中查找和该图像块群具有最小差异度的块群来确定帧间的精确位移;将待去噪视频图像划分成若干图像块,根据帧间位移快速构建每个图像块的自相似序列集;随后将每个自相似序列集中的二维图像块整合成三维矩阵后进行三维变换,并对变换系数进行自适应阈值处理;再将三维逆变换后的图像块融合生成去噪图像.实验结果表明,在噪声方差未知的情况下,本文算法所得去噪视频图像具有较好的信噪比和视觉效果,并且有较高的运行效率.     

基于自相似性约束的视频稀疏超分辨率重建

通过研究帧间自相似性对图像重建的影响,提出一种自相似性约束的单视频稀疏超分辨率重建算法,以达到保持图像局部结构完整性的同时有效去噪的目的。该算法运用主成分分析PCA训练出适应图像不同局部结构的分类词典;通过帧间光流场的粗略运动估计和帧内帧间的精确块匹配,搜索自相似信息,运用非局部均值NLM滤波,并以此约束稀疏模型。仿真实验表明,提出的算法无论是客观指标,还是主观视觉上都超过了进行比较的几种分辨率提高算法。     

应用残差总变分和低秩表示的视频去噪算法

为了有效地去除视频当中的高斯噪声和脉冲噪声,提出了一种新的视频去噪算法。该算法通过相似图像块组内的残差值总变分及低秩表示来同时探索图像块内的局部相似性以及图像块之间的相似性。首先,采用块匹配的方式在含噪视频中寻找最相似图像块并组合成图像块组;其次将每个相似图像组表达为一个低秩矩阵及一个稀疏矩阵之和,并同时强调低秩矩阵内的残差总变分范数最小化;最后,通过求解最优化问题获得最终的低秩矩阵,即恢复出的图像块组数据。实验结果表明,本文的算法能够有效去除视频当中含有的高斯噪声和脉冲噪声。与同类算法相比,能够获得显著的峰值信噪比提升。      

视频压缩感知中基于结构相似的帧间组稀疏表示重构算法研究

基于视频帧内图像的非局部相似性和帧间信号的相关性,本文提出了一种基于结构相似的帧间组稀疏表示重构算法（SSIM-InterF-GSR）,有效地提高了视频压缩感知的重构性能.在SSIM-InterF-GSR算法中,提出以结构相似度（SSIM）作为相似块匹配准则,在当前帧和参考帧内搜索匹配块生成相似块组,以相似块组的稀疏性作为正则项重构当前帧.同时,还提出了阶梯递减匹配块个数调整方案用于SSIM-InterF-GSR重构算法的迭代过程.仿真结果表明,相比于目前最好的视频压缩感知重构算法（Up-Se-AWEN-HHP）,本文算法获得了更好的重构质量,最多可提升4~5dB.     

基于非局部相似块低秩的压缩感知图像重建算法

传统的压缩感知重建算法利用信号在某个特征空间下的稀疏性构建目标优化函数,但没有充分考虑信号的局部特性和结构化属性,影响了算法的重建性能和算法的适应性.本文考虑图像的非局部自相似性(NonlocalSelf-Similarity,NLSS),提出一种基于图像相似块低秩的压缩感知图像重建算法,将图像恢复问题转化为聚合的相似块矩阵秩最小问题.算法以最小压缩感知重建误差为约束构建优化模型,并采用加权核范数最小化算法(Weighed Nuclear Norm Minimization,WNNM)求解低秩优化问题,很好地挖掘了图像自身的信息和结构化稀疏特征,保护了图像的结构和纹理细节.多个测试图像、不同采样率下的实验证明了算法的有效性,特别是在低采率下对于纹理较为丰富的图像,提出的算法图像重建质量较明显的优于最新的同类算法.     

基于跨尺度低秩约束的单幅图像盲超分辨率算法

单幅图像盲超分辨率方法是在模糊核未知的情况下仅利用单幅低分辨率图像重建高分辨率图像,这是一个严重的欠定逆问题.超分辨率正则化方法通过正则化约束项引入附加信息,为低分辨率图像恢复或重建合理的高频成分.本文将跨尺度自相似性与低秩先验相结合,提出了一种基于跨尺度低秩约束的单幅图像盲超分辨率方法,采用联合建模的方法同时估计模糊核与高分辨率图像.利用高分辨率图像、低分辨率图像及其降采样图像之间的跨尺度自相似性,对于低分辨率图像中的图像块在降采样图像中搜索相似块,将该图像块在高分辨率重建图像中对应的父块与其相似块在低分辨率图像中对应的父块合并,构造跨尺度相似图像块组矩阵.由于低分辨率图像中的跨尺度相似图像块能够为重建图像块提供潜在的细节信息,因此对相似图像块组矩阵进行低秩约束,在迭代求解过程中迫使重建图像恢复高频成分,进而促使模糊核的估计更加准确.此外,低秩约束能够表示数据的全局结构,对噪声具有鲁棒性.在真实和模拟图像上的实验表明,本文的算法能够准确地估计模糊核,重建高分辨率图像的边缘和细节,优于现有的自监督盲超分辨率算法.     

基于几何字典学习和耦合约束的超分辨率重建

传统的基于稀疏表示的超分辨率重建算法对所有图像块,应用单一冗余字典表示而不能反映不同几何结构类型图像块间的区别。针对这一问题,本文探索图像局部几何结构特性,提出一种基于结构特性聚类的几何字典学习和耦合约束的超分辨率重建方法。该方法首先对训练样本图像块进行几何特性聚类,然后应用K-SVD算法为每个聚类块联合训练得到高低分辨率字典。此外,在重建过程中引入局部可控核回归和非局部相似性耦合约束,以提高重建图像质量。实验结果表明,与单一字典超分辨率算法相比,本文方法重建图像边缘和细节部分明显改善,评价参数较大提高。     

基于局部非局部联合模型的压缩图像插值技术

本文提出了一种基于局部自回归模型和非局部自相似模型的正则化的压缩图像插值技术.传统的基于图像先验模型正则化图像插值技术存在着2个缺陷.一方面,通常是只利用一个图像的先验特性,不能得到视觉质量很好的超分辨率效果;另一方面,在描述图像的非局部自相似特性时,多数利用一种相似块加权的方式来描述当前块,没能够将具有相同纹理的一系列的相似块的特性描述完整.基于以上2点考虑,研究设计整合了2种不同的模型:局部自回归模型和非局部自相似模型,形成一个整体的正则化的框架.不同于传统的只利用高低分辨率之间几何二元性的自回归模型,本文提出了一种自适应加权的在高分辨率图像上迭代的自回归模型;而非局部的自相似模型,并且以相似块组成的一个三维数据结构的变换域稀疏性来对一系列的相似块统一描述.由于压缩图像的特点,研究针对压缩图像提出了软数据精度项,最终采用分离布莱格曼方法来求解整体的正则化目标函数.     

基于结构组全变分模型的图像压缩感知重建

针对基于传统全变分(TV)模型的图像压缩感知(CS)重建算法不能有效地恢复图像的细节和纹理,从而导致图像过平滑的问题,该文提出一种基于结构组全变分(SGTV)模型的图像压缩感知重建算法。该算法利用图像的非局部自相似性和结构稀疏特性,将图像的重建问题转化为由非局部自相似图像块构建的结构组全变分最小化问题。算法以结构组全变分模型为正则化约束项构建优化模型,利用分裂Bregman迭代将算法分离成多个子问题,并对每个子问题高效地求解。所提算法很好地利用了图像自身的信息和结构稀疏特性,保护了图像细节和纹理。实验结果表明,该文所提出的算法优于现有基于全变分模型的压缩感知重建算法,在PSNR和视觉效果方面取得了显著提升。     

基于压缩感知理论的高能闪光照相密度反演方法

高能闪光照相中需要研究少数投影数据条件下的非轴对称客体的的密度反演问题。现有利用压缩感知思想的全变差TV类算法虽然考虑了图像的局部相似性，但没有考虑图像的非局部相似性。针对上述问题，文中提出了一种基于组稀疏正则化的全变分重建技术TV-GSR。该技术将组稀疏模型集成于TV框架之下，同时考虑了客体图像的局部相似性和非局部自相似性，充分利用了图像的先验稀疏信息，并利用客体的上、下、左、右4点对称性来降低图像重建的规模，重构精度有所增加，重建速度也更快。仿真实验表明，文中提出的TV-GSR算法提升了图像在无噪声和有噪声情况下的重建精度，对于高能闪光图像和纹理细节丰富的CT图像都有较好的效果，具有普适性。     

Video super-resolution reconstruction based on deep convolutional neural network and spatio-temporal similarity

Existing learning-based super-resolution (SR) reconstruction algorithms are mainly designed for single image, which ignore the spatio-temporal relationship between video frames. Aiming at applying the advantages of learning-based algorithms to video SR field, a novel video SR reconstruction algorithm based on deep convolutional neural network (CNN) and spatio-temporal similarity (STCNN-SR) was proposed in this paper. It is a deep learning method for video SR reconstruction, which considers not only the mapping relationship among associated low-resolution (LR) and high-resolution (HR) image blocks, but also the spatio-temporal non-local complementary and redundant information between adjacent low-resolution video frames. The reconstruction speed can be improved obviously with the pre-trained end-to-end reconstructed coefficients. Moreover, the performance of video SR will be further improved by the optimization process with spatio-temporal similarity. Experimental results demonstrated that the proposed algorithm achieves a competitive SR quality on both subjective and objective evaluations, when compared to other state-of-the-art algorithms.     

基于非局部梯度的图像质量评价算法

图像质量评价研究的目标在于模拟人类视觉系统对图像质量的感知过程,构建与主观评价结果尽可能一致的客观评价算法。现有的很多算法都是基于局部结构相似设计的,但人对图像的主观感知是高级的、语义的过程,而语义信息本质上是非局部的,因此图像质量评价应该考虑图像的非局部信息。该文突破了经典的基于局部信息的算法框架,提出一种基于非局部信息的框架,并在此框架内构建了一种基于非局部梯度的图像质量评价算法,该算法通过度量参考图像与失真图像的非局部梯度之间的相似性来预测图像质量。在公开测试数据库TID2008, LIVE, CSIQ上的数值实验结果表明,该算法能获得较好的评价效果。     

No-reference quality assessment using natural scene statistics: JPEG2000.

Measurement of image or video quality is crucial for many image-processing algorithms, such as acquisition, compression, restoration, enhancement, and reproduction. Traditionally, image quality assessment (QA) algorithms interpret image quality as similarity with a "reference" or "perfect" image. The obvious limitation of this approach is that the reference image or video may not be available to the QA algorithm. The field of blind, or no-reference, QA, in which image quality is predicted without the reference image or video, has been largely unexplored, with algorithms focusing mostly on measuring the blocking artifacts. Emerging image and video compression technologies can avoid the dreaded blocking artifact by using various mechanisms, but they introduce other types of distortions, specifically blurring and ringing. In this paper, we propose to use natural scene statistics (NSS) to blindly measure the quality of images compressed by JPEG2000 (or any other wavelet based) image coder. We claim that natural scenes contain nonlinear dependencies that are disturbed by the compression process, and that this disturbance can be quantified and related to human perceptions of quality. We train and test our algorithm with data from human subjects, and show that reasonably comprehensive NSS models can help us in making blind, but accurate, predictions of quality. Our algorithm performs close to the limit imposed on useful prediction by the variability between human subjects.     

CVS中基于视频运动特征的多假设-双稀疏重构算法

针对目前视频压缩感知重构算法对不同特征的视频序列重构质量参差不齐的问题,结合双稀疏对轮廓、细节的高清晰重构以及多假设算法对高频噪声有效抑制的优点,本文提出一种基于视频运动特征的多假设-双稀疏重构算法（VF-MH-DSR）.基本思路是基于每个视频组（GOP）的运动特征,采取相应的多假设-双稀疏重构策略.首先给出一种观测域多维度参考帧的多假设重构算法（MD-MRF-MH）及其最优相似块个数设置方案;然后给出一种像素域多假设参考帧的重构算法（PD-MRF-MH）及一种高性能双匹配准则;最后介绍了视频信号运动特征判定方案及多假设-双稀疏重构的具体实现方案.仿真实验表明,本文所提多假设-双稀疏重构算法相对于目前较好的多假设预测重构算法2sMHR及组稀疏重构算法SSIM-InterF-GSR,重构性能平均提升了1.98dB和0.84dB.     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

Locally adaptive perceptual image coding

Most existing efforts in image and video compression have focused on developing methods to minimize not perceptual but rather mathematically tractable, easy to measure, distortion metrics. While nonperceptual distortion measures were found to be reasonably reliable for higher bit rates (high-quality applications), they do not correlate well with the perceived quality at lower bit rates and they fail to guarantee preservation of important perceptual qualities in the reconstructed images despite the potential for a good signal-to-noise ratio (SNR). This paper presents a perceptual-based image coder, which discriminates between image components based on their perceptual relevance for achieving increased performance in terms of quality and bit rate. The new coder is based on a locally adaptive perceptual quantization scheme for compressing the visual data. Our strategy is to exploit human visual masking properties by deriving visual masking thresholds in a locally adaptive fashion based on a subband decomposition. The derived masking thresholds are used in controlling the quantization stage by adapting the quantizer reconstruction levels to the local amount of masking present at the level of each subband transform coefficient. Compared to the existing non-locally adaptive perceptual quantization methods, the new locally adaptive algorithm exhibits superior performance and does not require additional side information. This is accomplished by estimating the amount of available masking from the already quantized data and linear prediction of the coefficient under consideration. By virtue of the local adaptation, the proposed quantization scheme is able to remove a large amount of perceptually redundant information. Since the algorithm does not require additional side information, it yields a low entropy representation of the image and is well suited for perceptually lossless image compression.     

一种基于MAP的图像超分辨率重建算法

引入一种基于关键点滤波(Critical-Point Filters,CPF)的图像配准方法,并在最大后验概率(Maximum a Posteriori,MAP)框架下提出一种改进的集投影法(Projections onto ConvexSets,MAP/POCS)混合算法。算法把POCS的残差约束集合加入到基于CPF图像配准的MAP正则算法中,在每次迭代重建中对重建图像的像素点进行约束,充分利用这三种算法的优点。实验结果表明,相比于传统的重建方法,该算法能够更有效地表达视频中的非平移运动,超分辨图像主观质量有明显改善。     

Superresolution video reconstruction with arbitrary samplinglattices and nonzero aperture time

Printing from an NTSC source and conversion of NTSC source material to high-definition television (HDTV) format are some of the applications that motivate superresolution (SR) image and video reconstruction from low-resolution (LR) and possibly blurred sources. Existing methods for SR image reconstruction are limited by the assumptions that the input LR images are sampled progressively, and that the aperture time of the camera is zero, thus ignoring the motion blur occurring during the aperture time. Because of the observed adverse effects of these assumptions for many common video sources, this paper proposes (i) a complete model of video acquisition with an arbitrary input sampling lattice and a nonzero aperture time, and (ii) an algorithm based on this model using the theory of projections onto convex sets to reconstruct SR still images or video from an LR time sequence of images. Experimental results with real video are provided, which clearly demonstrate that a significant increase in the image resolution can be achieved by taking the motion blurring into account especially when there exists large interframe motion.     

基于空谱特性的高光谱图像压缩感知重构

针对现有的高光谱图像压缩感知重构算法对图像的空谱特性利用不够充分,导致重构图像质量不够高的问题,提出了一种高光谱图像变投影率分块压缩感知结合优化谱间预测重构方案。编码端以频段聚类方式将高光谱图像的所有频段分成参考频段和普通频段,对不同频段单独采用不同精度分块压缩感知以获取高光谱数据。在解码端,参考频段直接采用稀疏度自适应匹配追踪( SAMP)算法重构,对于普通频段,则设计了一种优化谱间预测结合SAMP算法的新模型进行重构：首先通过重构的参考频段双向预测普通频段,并对其进行压缩投影,然后计算预测前后普通频段投影值的残差,最后利用SAMP算法重构该残差,以此修正预测值。实验表明,相比同类算法,该算法充分考虑了高光谱图像的空谱特性,有效改善了重构图像质量,且编码复杂度低,易于硬件实现。