基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

基于高斯模糊的CNN的单幅图像超分辨率重建算法

近几年卷积神经网络在单幅图像超分辨率重建工作中取得了很大的进步,但是大部分基于卷积神经网络(CNN)的单幅图像超分辨重建算法是建立在低分辨率图像由高分辨率图像通过双三次插值法下采样取得的前提下,当这个假设不成立时,图像重建的客观评价指标PSNR以及主观的视觉效果就会较差.针对此问题,提出一种基于高斯模糊的CNN的单幅图...     

基于中间层监督卷积神经网络的图像超分辨率重建

目的 基于学习的图像超分辨率重建方法已成为近年来图像超分辨率重建研究的热点。针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法网络层少、感受野小、泛化能力差等缺陷,提出了基于中间层监督卷积神经网络的图像超分辨率重建方法,以进一步提高图像重建的质量。方法 设计了具有中间层监督的卷积神经网络结构,该网络共有16层卷积层,其中第7层为中间监督层;定义了监督层误差函数和重建误差函数,用于改善深层卷积神经网络梯度消失现象。训练网络时包括图像预处理、特征提取和图像重建3个步骤,采用不同尺度因子（2、3、4）模糊的低分辨率图像交叉训练网络,以适应对不同模糊程度的图像重建;使用卷积操作提取图像特征时将参数pad设置为1,提高了对图像和特征图的边缘信息利用;利用残差学习完成高分辨率图像重建。结果 在Set5和Set14数据集上进行了实验,并和双三次插值、A+、SelfEx和SRCNN等方法的结果进行比较。在主观视觉评价方面,本文方法重建图像的清晰度和边缘锐度更好。客观评价方面,本文方法的峰值信噪比（PSNR）平均分别提高了2.26 dB、0.28 dB、0.28 dB和0.15 dB,使用训练好的网络模型重建图像耗用的时间不及SRCNN方法的一半。结论 实验结果表明,本文方法获得了更好的主观视觉评价和客观量化评价,提升了图像超分辨率重建质量,泛化能力好,而且图像重建过程耗时更短,可用于自然场景图像的超分辨率重建。     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来.现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配.与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题.首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度卷积神经网络从输入的视频帧中提取特征,基于估计到的运动信息,将浅层深度卷积神经网络提取到的特征匹配到中间视频帧对应的特征中,并将得到的特征进行有效融合;最后,采用一个深度卷积神经网络重建视频帧.大量的实验结果验证了基于深度学习特征匹配的方法能有效地解决视频超分辨率问题.与现有的基于视频帧匹配的方法相比,所提方法在现有的公开视频超分辨率数据集上取得了较好的效果.     

基于三维时空注意的密集连接视频超分算法

针对视频超分对时间帧间信息以及分层信息的利用不充分,设计了一种具有空间时序注意力机制的密集可变形视频超分辨率重建网络。利用三维卷积来提取经可变形卷积模块对齐后的相邻帧之间的时间序列信息,同时设计具有步幅卷积层的轻量级模块来提取空间注意力信息。在特征重构阶段引入密集连接,充分利用分层特征信息以实现更好的特征重建。选取公共数据集进行实验验证,结果表明,提出的算法在客观评价指标与视觉对比效果上都有提升。。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

基于深度学习的芯片图像超分辨率重建

考虑到卷积神经网络可以通过训练过程引入图像的先验知识,文中提出基于深度学习的芯片图像超分辨率重建.利用卷积神经网络改善迭代反投影法的初始估计图像,通过迭代过程引入图像序列间的互补信息,建立芯片图像的样本集.实验表明,在不同放大倍数下,改进算法的客观评价指标平均值均较高,在芯片图像中的电路密集处,改进算法的主观视觉感受也较好.同时,文中算法适用于自然图像.     

基于特征融合注意网络的图像超分辨率重建

近年来, 基于深度卷积神经网络的单图像超分辨率重建, 取得了显著的进展, 但是, 仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题. 我们提出了基于特征融合注意网络的单图像超分辨率方法, 网络模型主要包括特征融合子网络和特征注意子网络. 特征融合子网络可以更好地融合不同深度的特征信息, 以及增加跨通道的学习能力; 特征注意子网络则着重关注高频信息, 以增强边缘和纹理. 实验结果表明: 无论是主观视觉效果, 还是客观度量, 我们方法的超分辨率性能明显优于其他代表性的方法.     

基于优化卷积神经网络的图像超分辨率重建

传统的图像超分辨率重建方法由于其计算局限性,无法对大批量或者模糊因子不同的图像做最优处理,也无法得出高分辨率图像。近年来随着深度学习神经网络越来越多被学者关注和青睐,其中卷积神经网络被成功应用于图像超分辨率重建。但是传统的图像超分辨率卷积神经网络,无论在训练速度,泛化能力,还是生成图像质量等方面仍存在问题。针对上述问题,对图像超分辨率重建的原理进行研究,对SRCNN模型在多种训练通道下的超分辨率效果进行了实验,并提出了基于多层特征提取层的图像超分辨率重建模型,采用新的优化方法,验证了多种包含不同层数体征提取层的卷积神经网络模型。实验证明该方法在一定程度上优于SRCNN方法,能够有效加快网络整体的训练速度。     

基于光流法的迭代反投影超分辨率重构算法

为了提高重构图像或者视频的分辨率．提出把新型的基于光流法的图像配准算法应用于迭代反投影（IBP）超分辨率算法中。在所提出的方法中．基于光流法的图像配准算法用来提高图像配准的准确性。首先,为了得到像素级别的运动矢量．基于光流法的图像配准算法被用于估计图像间的运动矢量。以得到更加准确的运动矢量矩阵。接着,利用所获得的运动矢量矩阵结合迭代反投影算法重构高分辨率的图像。同时．由于基于光流法的图像配准能够很好地估计视频图像间的运动．所提出的方法同样适用于视频图像的超分辨。实验结果表明．提出的方法对于图像或者视频的超分辨率效果．在主观效果和客观评价上都有一定的提升。     

基于多尺度时域3D卷积的视频超分辨率重建

视频超分辨率是一项很有实用价值的工作.针对超高清产业中高分辨率资源较为匮乏的问题,为了有效利用视频序列帧间丰富的时间相关性信息及空间信息,提出一种基于多尺度时域3D卷积的视频超分辨率重建算法.该算法将输入的低分辨率视频序列帧分别通过不同时间尺度的3D卷积进行时空特征提取,3D卷积能够同时对空间与时间建模,相较于2D卷积...     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领 域有着重要的研究意义。为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN) 的图像超分辨率重建模型。首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃 连接和特征复用模块对多层图像信息进行筛选重组,使网络模型对不同深度的图像信息综合利用;最后对重建 模型参数向量进行约束,通过对长度与方向的解耦运算使模型能够在更大学习率条件下收敛,提升模型训练速 度。在多个国际公开数据集上进行实验验证,实验结果表明,该方法获得了更好的主观视觉评价和客观量化评 价,例如对于四倍重建任务,ERDN 输出图像的峰值信噪比(PSNR)指标在 Urban100 数据集上比稠密残差网络 (RDN)提高了 0.24 dB,且模型参数量减少约 50%,可适用于各种场景图像的超分辨率重建。     

基于对抗网络人脸超分辨率重建算法研究

由于受到光照和成像设备等条件因素的影响,采集到的单帧人脸图像分辨率低,无法进行准确人脸识别,所以需要图像超分辨率重建。而利用SRGAN模型在进行人脸超分辨率重建过程中,易出现梯度消失或爆炸的问题,严重影响了重建图像的精度和质量。针对上述问题,提出了基于生成对抗网络的改进人脸超分辨率重建算法,在SRGAN结合WGA-N的基础上引入Wasserstein散度,并将其最大化得到最优化标量函数[T],实现去掉Lipschit-z约束能够直接得到Wassertein距离,并通过最小化Wassertein距离得到生成网络的目标函数,最终改进的模型提高了重建图像的质量。实验结果表明,该方法能够生成高分辨率的人脸图像,在主观视觉和客观评价指标均同比优于DRCN、FSRCNN、SRGAN_WGAN、VDSR和DRRN模型。     

基于卷积神经网络的图像超分辨率重建

单幅图像超分辨率（Super Resolution，SR）重建，是计算机视觉领域的一个经典问题，其目的在于从一个低分辨率图像得到一个高分辨率图像。目前的卷积神经网络重建算法只有三层结构，浅层结构在处理内部结构复杂的数据时，会出现表征能力不足的问题，因此提出了一个基于特征转移的八层卷积神经网络结构来实现图像超分辨率重建。针对不同的测试集，提出的卷积神经网络模型取得了更佳的超分辨率结果，不管是在主观视觉上还是在客观评价指标上均有明显改善，把数据集图像放大3倍时，对于不同算法的对比图像，该算法的峰值信噪比最高，而且在清晰度方面尤其是图像纹理边缘得到了增强。实验结果证明了基于迁移转移的八层卷积神经网络对图像超分辨率重建的有效性，且网络的收敛速度更快，在精细度方面具有更高的优势。     

基于改进上采样技术的图像超分辨率重建

图像超分辨率重建技术一直是计算机视觉领域的热门研究方向. 为了提高重建后图像的质量, 本文提出一种基于内容感知的上采样技术用于图像的重建. 将稠密残差网络作为骨干网络, 用基于内容感知上采样取代传统的亚像素卷积上采样技术, 即在特征重建阶段, 卷积核不会在整个特征图中共享参数, 而是神经网络可以根据特征图的内容在每个像...     

L1范数的总变分正则化超分辨率图像重建

超分辨率图像重建技术能够综合利用多帧离散图像、多组视频序列、或单帧图像与训练样本图像之间的互补信息,重建质量更好、空间分辨率更高的图像数据,弥补原有图像数据空间分辨率的不足,提高图像空间解像力和清晰度。介绍了基于正则化方法的超分辨率图像重建的研究现状和以正则化为基础的几种重建方法在近几年的研究和发展趋势。在此基础上,采用L1范数对重建图像保真度进行约束,利用总变分正则化克服重建问题的病态性,有效地保持了图像的边缘。实现了对包含文字信息的图像的正则化超分辨率重建,实验验证了方法的有效性。     

基于复合卷积神经网络的图像超分辨率算法

针对卷积神经网络图像超分辨率算法中的映射函数容易出现过拟合、梯度弥散等问题，提出一种由卷积网络和反卷积网络构成的复合卷积神经网络算法。提出使用RReLUs和Softplus函数结合形式作为激活函数，有效改善了过拟合问题；采用附加修正系数的小批量梯度下降法，避免梯度弥散现象；利用反卷积网络实现高分辨率图像重建。实验证明新的网络模型有效改善了图像的清晰度和边缘锐化，在主观视觉效果和客观评价指标上都获得了显著提升。