一种基于对象的动态视频超分辨率复原算法

从视频序列中复原高分辨率的运动对象在众多研究领域具有重要的应用意义.本文针对动态视频中整体运动的刚性或准刚性对象,提出一种基于对象的超分辨率复原方案,首先引入基于6参数仿射模型的对象跟踪和匹配算法,用于视频中运动对象的自动跟踪和匹配.进而将该运动模型与最大后验概率(MAP)算法相结合实现了所跟踪对象的超分辨率复原.对仿真和实测序列的实验结果表明,这种基于对象的处理方法能够实现更为准确的运动估计,因而收到了更好的复原效果.     

图像超分辨率重建处理算法研究

超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。     

改进的混合MAP-POCS超分辨率图像复原算法研究

超分辨率图像复原技术在不改变硬件的条件下可提高成像系统获取图像的分辨率。研究了图像退化机理,建立了精确的图像退化过程模型,提出一种改进的混合MAP-POCS复原算法,将POCS的凸集约束条件加入到MAP估计过程中。运用峰值信噪比(PSNR)等评价手段对复原图像进行质量评价。仿真结果表明,改进的混合复原算法能够有效地保证复原求解的收敛性并保持复原图像的边缘细节,提升了超分辨率的复原效果。     

基于图像分辨率增强算法的场景生成技术

针对高分辨率真实感的虚拟环境及场景浏览时变焦观察的需要,研究了基于图像的高分辨率场景生成技术。图像分辨率增强技术是指利用已采样的信息来重新构建分辨率更高的场景图像,包含单帧图像的分辨率增强和多帧图像序列的分辨率增强两种技术。对于单帧图像的分辨率增强技术,提出了一种基于熵变分的图像分辨率增强算法。该算法在贝叶斯估计和最大熵原理的基础上,将图像像素点梯度信息应用到图像分辨率增强中,从而建立起一种基于图像梯度信息的各向异性自适应分辨率增强算法。对于多帧图像序列的超分辨率复原技术,在单帧熵变分模型的基础上,将双边滤波技术引入到图像超分辨率复原中,建立了一种基于广义熵变分的图像超分辨率复原模型,提出了一种基于几何距离和梯度信息的双重加权各向异性分辨率增强算法。实验结果表明:使用本文算法得到的高分辨率复原图像具有较高的峰值信噪比和视觉质量,与传统图像分辨率增强算法相比具有一定的优势。     

一种用于动态视频超分辨率的多尺度最小二乘仿射块匹配图像配准方法

动态视频的超分辨率复原中,连续各帧图像间的精确匹配具有非常重要的意义。该文提出一种基于多尺度最小二乘仿射块匹配的图像配准方法。首先定义了一个指标Dmv来衡量图像的整体和局部匹配效果,并以此为基础设计了一种多尺度块选择机制,根据图像的运动情况选择匹配块大小,以兼顾图像中运动平坦和非平坦区域的匹配效果。与传统的块匹配方法不同,该文采用基于仿射模型的最小二乘配准方法实现各图像块的匹配,并通过修正步长的归一化处理解决了不同大小图像块在匹配时的收敛问题,从而在提高参数估计精度的同时降低了算法的运算量。最后,通过实验对算法的匹配性能及其对超分辨率复原算法整体性能的影响进行了测试。实验结果表明,该方法不仅可以实现更为准确的运动估计,当用于最大后验概率MAP超分辨率复原算法时,能够进一步有效提高算法的复原性能和实现速度。     

改进的稀疏表示图像超分辨率复原算法*

针对信号的稀疏分解特征,结合图像的超分辨率复原的特点,提出了基于稀疏表示的图像超分辨率复原算法,对两个过完备字典的训练过程、稀疏表示复原算法处理过程进行阐述,同时对改进算法中采用的优化的特征提取算法和自适应边缘方向插值优化低分辨率图像的初始估计两个过程进行详细描述,并通过MATLAB对其进行仿真和验证,实验结果表明,改进算法的复原效果进一步提高,图像细节能够得到恢复,获得更好的鲁棒性.     

一种改进的毫米波图像超分辨复原方法

针对无源毫米波图像分辨率低的问题,提出了一种基于对比度金字塔变换和改进非线性频谱外推方法的图像超分辨复原算法。该算法通过采用基于高频细节局部方差的高斯函数自适应调整频谱外推系数,并用其对对比度金字塔分解的高频细节进行频谱外推,同时采用Context模型去噪,最终重构出高分辨图像。通过该方法对无源毫米波图像进行超分辨复原,其结果表明新算法能有效增强图像的轮廓,提高图像的分辨率。     

使用改进的POCS算法的超分辨率图像复原

超分辨率复原技术的基本思想就是采用信号处理的方法,在改善图像质量的同时,重建成像系统截至频率外的信息。POCS（凸集投影）算法是一种广泛应用于图像超分辨率复原的方法。针对传统的POCS算法的边缘振荡效应,在分析其产生的原因．造成的影响的基础上,采用改进的POCS算法,以减少边缘振荡。采用基于小波变换模极大值的改进POCS算法进行图像超分辨率复原。实验结果表明,该方法有效的较少了复原图像的边缘振荡效应,是一种有效的图像超分辨率复原方法。     

超分辨率重建技术研究进展

超分辨率(Super Resolution,SR)重建技术是指由一些低分辨率(Low Resolution,LR)模糊的图像或视频序列来估计具有更高分辨率(High Resolution,HR)的图像或视频序列,同时能够消除噪声以及由有限检验器尺寸和光学元件产生的模糊,是提高降质图像或序列分辨率的有效手段。首先介绍超分辨率重建所基于的成像系统模型,并对现有的图像超分辨率重建算法进行总结,重点对基于学习的超分辨重建算法进行对比分析,最后指出超分辨率重建技术的发展方向。     

基于多尺度自相似性和非局部均值的单幅图像超分辨率方法

提出了一种基于多尺度局部自相似性和非局部均值的单幅图像超分辨率算法,该算法不依赖于外界图像,仅仅在原始图像的局部子窗口中搜索目标图像块的相似子块,利用非局部均值算法对相似子块进行加权求和来估计待复原图像,然后在复原图像上叠加最相似子块的高频细节图像,获得高分辨率图像。实验结果表明,本文算法不仅能很好地重构图像的高频细节,还能很好地恢复图像的纹理特征。     

Super-resolution image reconstruction: a technical overview

A new approach toward increasing spatial resolution is required to overcome the limitations of the sensors and optics manufacturing technology. One promising approach is to use signal processing techniques to obtain an high-resolution (HR) image (or sequence) from observed multiple low-resolution (LR) images. Such a resolution enhancement approach has been one of the most active research areas, and it is called super resolution (SR) (or HR) image reconstruction or simply resolution enhancement. In this article, we use the term "SR image reconstruction" to refer to a signal processing approach toward resolution enhancement because the term "super" in "super resolution" represents very well the characteristics of the technique overcoming the inherent resolution limitation of LR imaging systems. The major advantage of the signal processing approach is that it may cost less and the existing LR imaging systems can be still utilized. The SR image reconstruction is proved to be useful in many practical cases where multiple frames of the same scene can be obtained, including medical imaging, satellite imaging, and video applications. The goal of this article is to introduce the concept of SR algorithms to readers who are unfamiliar with this area and to provide a review for experts. To this purpose, we present the technical review of various existing SR methodologies which are often employed. Before presenting the review of existing SR algorithms, we first model the LR image acquisition process.     

Constrained adversarial loss for generative adversarial network‐based faithful image restoration

Generative adversarial networks (GAN) have been successfully used in many image restoration tasks, including image denoising, super‐resolution, and compression artifact reduction. By fully exploiting its characteristics, state‐of‐the‐art image restoration techniques can be used to generate images with photorealistic details. However, there are many applications that require faithful rather than visually appealing image reconstruction, such as medical imaging, surveillance, and video coding. We found that previous GAN‐training methods that used a loss function in the form of a weighted sum of fidelity and adversarial loss fails to reduce fidelity loss. This results in non‐negligible degradation of the objective image quality, including peak signal‐to‐noise ratio. Our approach is to alternate between fidelity and adversarial loss in a way that the minimization of adversarial loss does not deteriorate the fidelity. Experimental results on compression‐artifact reduction and super‐resolution tasks show that the proposed method can perform faithful and photorealistic image restoration.     

基于自相似性约束的视频稀疏超分辨率重建

通过研究帧间自相似性对图像重建的影响,提出一种自相似性约束的单视频稀疏超分辨率重建算法,以达到保持图像局部结构完整性的同时有效去噪的目的。该算法运用主成分分析PCA训练出适应图像不同局部结构的分类词典;通过帧间光流场的粗略运动估计和帧内帧间的精确块匹配,搜索自相似信息,运用非局部均值NLM滤波,并以此约束稀疏模型。仿真实验表明,提出的算法无论是客观指标,还是主观视觉上都超过了进行比较的几种分辨率提高算法。     

超分辨率图像重建引起的噪声放大与滤波

总结了图像序列相位关系对超分辨率图像重建效果的影响规律,对超分辨率图像重建引起的高斯噪声和散粒噪声的放大予以研究.通过叠加不同方差的高斯噪声的图像序列重建实验,得到结论维纳滤波可以有效地滤除放大后的高斯噪声,但是超分辨率图像重建后散粒噪声放大成为"波纹"形状的噪声,传统的中值滤波法不能有效地滤除放大后的"波纹"形状噪声...     

下采样对复眼图像超分辨率重构效果的影响

针对复眼超分辨率重构系统中,当以不同成像分辨率(对应不同的下采样因子)的器件拍摄同一场景时,重构效果相对于各自低分辨率图像改善程度不同的问题,研究了下采样程度与复眼超分辨率重构效果之间的关系。通过仿真实验获取不同下采样因子下低分辨率图像的重构结果,从信息熵、信噪比和峰值信噪比对重构前后图像质量进行评价,并采用Romchi Ruling分辨率靶板对仿真结果进行实验验证。实验结果表明:以3至4为下采样因子对512×512的lena图像采样时,信噪比提高7.29db,重构效果改善明显;以相对下采样因子2.2对50mm×50mm的Romchi Ruling分辨率靶板采样时,分辨率提高3个等级。其研究结果可用于指导复眼成像系统研制过程中对成像器件的选型。     

2D motion aided sampling and reconstruction

In this paper we consider the problem of generating data which is sufficient for super resolution reconstruction. The method considered here is by inducing motion on the (low resolution) image acquisition device which then generates a number of low resolution images – this is the data we use for the super resolution reconstruction. Our main concern is in investigating a number of motion types and providing the conditions which will guarantee the feasibility of the super resolution reconstruction from data available.     

自适应邻域选取的邻域嵌入超分辨率重建算法

在邻域嵌入超分辨率重建算法中,训练和重建过程均在特征空间进行的,因此,特征选择对算法的性能具有较大的影响。另外,大多数基于邻域嵌入算法对训练得到的样本库未经测试直接使用,使得邻域选择具有“盲目”性。考虑到特征选择的重要性以及避免邻域选择的盲目性,本文提出了一种新的邻域嵌入超分辨率重建算法。第一步:利用专家矢量场模型估计出输入图像的全局图像;第二步:利用邻域嵌入算法重建残差图像。在重建残差图像的过程中,首先将图像分成若干子块并利用线性滤波器提取特征;然后,将训练图像分成两组,第一组训练得到高、低分辨率重建样本库,第二组对重建样本库测试,得到邻域选择库;最后,自适应的选择输入图像子块的邻域数目,并利用重建样本库重建。仿真实验结果表明,相比其他基于邻域嵌入算法,提出算法可以重建更多的细节信息和锐利的边缘,重建得到的高分辨率图像具有较高的主客观质量。      

基于核回归正则项的图像超分辨率重建

讨论了图像成像的基本模型,并提出了一种基于调整核回归函数作为正则项的序列图像重建算法。该算法是对已经提出的核回归算法的改进,减少其在超分辨率图像重建时的运算量。而且在图像配准过程中针对图像间只存在平移和旋转变换,采用了基于矩形像素值的亚像素配准方法,以提高配准的速度和精度。利用此算法对序列图像进行重建仿真,并通过结论得出其在噪声严重的情况下具有更好的边缘保留特性。     

基于二阶广义全变差的多帧图像超分辨率重建

图像超分辨率重建是图像处理领域的重要问题.本文将二阶广义全变差用于基于正则化的多帧图像超分辨率重建问题,构建了基于二阶广义全变差正则项的图像超分辨率模型.为了更好地保持重建图像的边缘和细节,采用图像空域自适应正则化参数,并针对该重建模型的非光滑性,给出了基于半二次正则化和交替方向法的求解算法.实验结果表明该模型和数值算法能够较好地提高图像的分辨率,同时可以较好地保持图像的细节信息.