基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

基于双通道卷积神经网络算法的视频处理超分辨率增强方法

为提高视频清晰度,引进双通道卷积神经网络算法,设计了一种针对视频处理过程的超分辨率增强方法。将视频录入计算机,建立视频信息与输入特征之间的级联关系,提取视频处理中的图像边缘纹理信息;引进双通道卷积神经网络算法,使用3×3的滤波处理器,提取视频特征信息,将提取的信息映射到双通道3×3区域中,匹配视频的矢量信息;引进Pair-wise模型将输入的低分辨率图像作为模型的分支,通过训练分支得到一个针对处理视频特征的字典,并据此生成高分辨率图像块。实验结果证明,设计方法可以在提高视频清晰度的同时,提高视频峰值信噪比,达到优化视频处理效果的目的。     

一种层次级联融合的视频目标分割方法

文章主要研究半监督视频目标分割任务,输入一个完整视频及首帧的像素级标注(掩膜),使用端到端的深度神经网络模型来预测后续帧的掩膜.该模型使用残差卷积网络进行深度特征提取,通过层次级联模块实现各层次不同分辨率特征的交互融合,以此捕捉不同尺寸的目标,并通过尺度融合模块处理视频帧的细节和语义信息,生成像素级分类标注.在主流视频...     

时空域深度卷积神经网络及其在行为识别上的应用

近年来深度卷积神经网络在静态图像识别上取得了较大进展,但在行为视频上建模运动信息的能力较弱。但是,运动信息是行为识别区别于静态图像识别的关键。基于滤波器响应积提出了时空域深度卷积神经网络。该网络先将相邻帧对应的卷积核分为两组,近似地形成傅里叶基函数对,后续的乘法层将不同帧产生的响应两两相乘后再输入加法层求和,从而将相邻帧映射到变换矩阵的特征值对应的不变子空间上,依靠相邻帧在不变子空间上的旋转角度检测它们之间的运动特征。理论分析证明,网络既对运动敏感,又对内容敏感。实验表明,该网络能对行为视频做出更准确的分类,并与近年出现的其他6种算法进行比较,结果体现了本算法的优越性。     

基于超分辨率重建的低质量视频人脸识别方法

随着深度神经网络的兴起,人脸识别技术得到了飞速发展.但在光照条件差、低分辨率等情况下的低质量视频S2V(Still to Video)人脸识别由于存在低质量测试视频与样本库高清图像的异质匹配问题,仍然没有达到预期的效果.针对这个问题,提出一种基于超分辨率重建的低质量视频人脸识别方法.首先根据人脸姿态对低质量视频帧采用聚类算法和随机算法选取关键帧,然后建立一个面向低质量视频S2 V人脸识别的超分辨率重建模型S2 V-SR,对关键帧进行超分辨率重建,从而获得高分辨率且更多身份特征的超分辨率关键帧,最后使用视频人脸识别网络提取深度特征进行分类投票,得到最终的人脸识别结果.所提方法在COX视频人脸数据集上进行实验测试,在相对较高质量的cam1和cam3视频中获得了最好的识别准确率,即55.91％和70.85％,而在相对较低质量的cam2视频中获得了仅次于最好方法的识别准确率.实验结果证明,所提方法能够在一定程度上解决S2 V人脸识别中异质匹配的问题,并且能够获得较高的识别准确性和稳定性.     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。