基于边缘指导的双通道卷积神经网络单图像超分辨率算法

当前基于卷积神经网络(CNN)的超分辨率(SR)重建算法,虽然取得了很大的成功,但是重建图像高频纹理的效果仍然不能令人满意,其高分辨率(HR)图像局部边缘存在明显的震荡.本文提出一种结合形态学成分分析(MCA)分解的边缘指导双通道CNNSR算法:待处理的低分辨率(LR)图像通过MCA分解为纹理部分和平滑结构部分;纹理部分和原LR图像共同组成双通道,输入到改进的网络结构中重建HR纹理部分;结合HR纹理输出与LR平滑结构部分重建HR图像.训练过程采用最小化纹理损失与原图像损失之和最优化网络模型参数.后处理包括:执行网络输出与LR输入图像的直方图匹配使色调保持一致,提升感官效果;应用迭代的反向映射使HR重建与LR输入保持退化算子一致性提高PSNR值.实验结果显示:该方法能够很好地恢复HR图像的纹理细节,对纹理细节丰富的图像恢复效果更好.     

岩心三维CT图像超分辨率重建

为了提高岩心三维图像分辨率,将调整的锚点邻域回归算法（A+）扩展为三维图像超分辨率重建,提出三维高频修正A+算法.该算法利用已有的高分辨率（HR）岩心三维CT图像和高频修正信息训练高低分辨率字典、高频修正字典、映射矩阵和高频修正映射矩阵.重建时,对每个输入的三维低分辨率（LR）特征块搜索匹配的字典原子以及相应的映射矩阵和高频修正矩阵,通过LR特征向量分别与映射矩阵和高频映射矩阵相乘,直接将三维LR特征映射到HR空间.针对多组岩心三维CT图像进行实验,与其他三维超分辨率算法进行比较.实验结果表明,该算法具有较高的峰值信噪比和结构相似度.     

基于生成对抗网络的图像超分辨率方法

为了解决生成对抗网络(Generative adversarial network, GAN)训练不稳定问题,降低模型复杂度,加快网络学习速率,提高超分辨率图像的视觉效果和重建速率,提出了一种基于改进生成对抗网络的图像超分辨率方法。该方法以改进的生成对抗网络为模型,通过粗粒度主体内容和细粒度细节边缘结合的方式提取图像特征,利用线性组合的方式重建超分辨率图像,采用Wasserstein距离优化生成对抗网络。实验结果表明:该方法能够生成视觉效果良好的超分辨率图像,在Set5、Set14等测试集上,其主观视觉评价和客观量化指标(PSNR、SSIM)都优于SRGAN方法。该方法通过重新设计网络模型,使得特征提取更为全面,网络训练更加充分,有助于提高超分辨率图像重建速度,提高图像质量。     

基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建

针对医学MRI影像成像过程中由于噪声、成像技术等各种干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法.首先,利用多尺度残差组改进网络中的残差块,局部残差特征聚合模块将残差组聚合在一起,实现残差特征的非局部使用,减少局部特征在网络传播过程中的丢失;其次,通过注意力机制获取对关键信息响应程度更高的通道和空间特征信息,进而提升重建图像的细节纹理效果;然后,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最后,将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,从而明确地指导高质量超分辨率图像生成.对比基于梯度引导的结构保留超分辨率算法(SPSR),本文所提算法在×2,×3,×4尺度下的峰值信噪比平均提高了0.72 dB,实验结果表明所提算法重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真.     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

一种多映射卷积神经网络的超分辨率重建算法

针对现有卷积神经网络在超分辨率重建的图像上存在部分细节特征不够突出、边缘模糊等问题,在现有模型三大模块的基础上对映射模块及损失函数进行细致剖析,提出了一种多映射卷积神经网络的超分辨率重建算法．该算法通过构建多映射网络,极大地丰富了图像在聚合高分辨图像时的特征维度．同时在重建模块的卷积层后引入全变分正则项,结合误差反向传播算法,可有效地对解空间约束,从而提取出精确、有效的特征,丰富重建图像的细节信息．在常用数据集上的实验结果表明,该算法生成的网络模型获得了更好的超分辨率结果,主观视觉评价和客观衡量指标有一定的改进,有效地提高了图像的分辨率．     

改进残差块和对抗损失的GAN图像超分辨率重建

图像超分辨率(Super Resolution,SR)重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术,针对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长、重建图像视觉效果不理想的问题,本文提出了一种改进残差块和对抗损失的GAN(Generative Adversarial Networks)图像超分辨率重建模型.首先,在模型结构上,设计剔除多余批规范化操作的残差块并组合成生成模型,将深度卷积网络作为判别模型把控重建图像的训练方向,以减少模型的计算量;然后,在损失函数中,引入Earth-Mover距离设计对抗损失以缓解模型梯度消失的问题,采用L1距离作为重建图像与高分辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果.在DIV2K、Set5、Set14数据集上的实验结果表明:该模型剔除多余批规范化后的训练时间相比改进前模型减少约14%并有效提高图像的重建效果,结合Earth-Mover距离与L1距离的损失函数有效地缓解了梯度消失的问题.模型相较于双三次插值、SRCNN、VDSR、DSRN模型,提高了对低分辨率图像的超分辨率重建效率和视觉效果.     

双路多尺度残差网络的图像超分辨率重建

针对传统单幅图像超分辨率重建方法出现的边缘特征模糊问题,提出了一种双路多尺度残差网络(BMRN)的重建方法。首先直接对低分辨率图像进行特征提取,较大程度保留特征信息;再构建多个独立的双路多尺度残差网络提取高频信息,其中残差连接的引入可以有效解决网络加深导致的梯度消失问题,双路多尺度结构可以相互补充卷积中的尺度信息,改善网络中的信息流;最后通过上采样操作,得到重建高分辨率图像。在数据集Set5上进行的×3尺度的重建结果表明:与Bicubic、SRCNN和VDSR等传统方法相比,BMRN的平均PSNR/SSIM分别提高了3.37 dB/0.053 2、1.01 dB/0.012 4和0.09 dB/0.000 4。实验数据充分说明:BMRN能够较好的恢复图像轮廓特征,获得了较高的PSNR、SSIM和更好的视觉效果。     

多尺度自适应配准的视频超分辨率算法

为了提升制约视频超分辨率重建质量的多帧配准精度,提出了一种基于图像块多尺度自适应配准的视频超分辨率算法. 依据图像帧的块内容自适应选择配准尺度,运动边缘信息采用高精度配准,然后将运动向量补偿到多帧图像超分辨率重建代价函数中,利用最大后验概率算法迭代优化高分辨率视频帧. 仿真表明:多尺度自适应配准算法不仅提高了配准精度,还提升了视频超分辨率重建图像帧的主客观质量,证明了多尺度自适应配准在视频超分辨率重建中的有效性.     

神经网络模型在图像超分领域的应用研究

图像分辨率提高即超分技术是指从低分辨率图像重建相应的高分辨率图像,在医学影像等领域有重要的应用价值。传统的基于插值的方法效果不尽理想,近年来深度学习被应用于该领域。回顾了快速超分辨卷积神经网络（ FSRCNN）、深度超分辨率卷积神经网络（VDSR）、超分辨率生成对抗网络（ SRGAN）3种神经网络在图像超分中的应用原理,设计实验测试网络结构的效果,使用Set4、Setl4、 Urban100等数据集进行峰值信噪比、结构相似性等指标的测试ⅤDSR效果较好,改进VDSR网络结构,由原来的Y通道扩展为三通道（VDSR-RGB）,进一步提升了超分效果。     

植物景观三维图像边缘锐化方法

针对当前植物景观三维图像表面点自相似性系数较低,边缘锐化效果较差的问题,提出基于色调映射和颜色特征分解的植物景观三维图像边缘锐化方法.采用稀疏线性组合方法进行植物景观三维图像的边缘轮廓特征分解,提取植物景观三维图像的边缘分块特征量;根据植物景观的表面点、细节区域进行植物景观图像超分辨率重构和模板匹配,重建植物景观图像的整体直方图分布模型,采用色调映射和颜色特征分解方法,获得植物景观三维图像边缘锐化表面点自相似性系数.仿真结果表明,该方法获得的自相似性系数较高.     

基于多分辨率学习卷积神经网络的磁共振图像超分辨率重建

高分辨率磁共振图像对于医学诊断具有重要意义,本文提出一种多分辨率学习卷积神经网络,并应用于磁共振图像超分辨率。网络是一种新型深度残差网络,包含用于特征提取的残差单元、多分辨率上采样的反卷积层以及多分辨率学习层。设计的网络在低分辨率图像空间中实现图像超分辨率,采用多分辨率上采样实现多个残差单元信息融合并加速网络,多分辨率学习能够自适应地确定各分辨率上采样的高维特征图对磁共振图像超分辨重建的贡献度。实验表明,论文提出的方法能够很好地超分辨率重建磁共振图像,优于最新的深度学习方法。     

基于空间通道注意力机制的渐进式图像超分辨重建算法

目前在单帧图像超分辨率(SISR)研究领域中,一些深度网络在重构阶段通过简单级联、通道注意、空间注意等方式,利用中间特征来提高图像重构效果,但是它们通常只注意到其中一个方向.为此,文章研究了一种新的注意力,即基于空间特征变换(SFT)的空间通道注意力,并提出了基于SFT的空间通道注意力机制重构的渐进式网络算法.该算法多...     

基于非对称U型金字塔重建的轻量级人脸超分辨率网络

为解决深度卷积神经网络在人脸超分辨率任务中模型复杂并难以实际应用的问题,提出一种轻量级人脸超分辨率网络.利用残差编码块构成的编码结构进行特征提取,在解码结构中引入金字塔重建从而实现快速准确的超分辨率.为降低解码块中上采样操作的参数量,采用基于分辨率选择的非一致通道扩宽策略.为避免增加分支,通过热图损失引入人脸先验知识....     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

结合小波与递归神经网络的低分辨率人脸识别

针对低分辨率人脸图像缺少有效信息而导致识别率较低的问题,提出一种结合哈尔小波与递归神经网络的低分辨率人脸识别方法。首先,通过深层网络直接预测小波系数,经过小波逆变换得到高分辨率人脸图像,可以有效地重建高频信息;其次,在卷积神经网络中加入递归模块,在增加网络深度的同时减少参数冗余,提升模型的映射能力;最后,提出一种优化的重建与感知损失融合方法,将小波系数重建损失与感知损失进行加权融合,用以生成有利于识别的人脸图像。基于公开数据集,对图像重建质量与识别性能进行了对比。实验结果表明,即使在极低的分辨率条件下(8×8,16×16),仍然能够重建出更加锐利的人脸图像。在此基础上,其识别能力优于目前领先的超分辨率重建算法。     

基于流形学习的车牌图像超分辨率算法

为了解决视频监控系统中车牌图像分辨率较低、车牌字符难以辨识的问题,提出一种基于流形学习的车牌图像超分辨率重建算法。首先学习训练样本库中高、低分辨率图像之间的映射关系,然后利用线性判别分析(Linear Discriminant Analysis,LDA)算法提取图像特征,并利用流形学习中的局部线性嵌入(Locally Linear Embedding,LLE)算法对特征向量进行参数建模,最后通过特征映射关系获得高分辨率图像。实验表明,该方法对监控系统中的低分辨率车牌图像具有较好的超分辨率复原效果,不仅提高了字符的可读性,而且具有更高的峰值信噪比。     

结合特征选择和优化随机森林的无线网络数据丢失重建

基于K邻近(KNN)算法和随机森林算法,提出了一种无线网络中丢失数据的重建方法。首先将多维原始数据通过不稳定无线信道进行发送,接收端将接收到的完整原始数据集中,利用KNN算法筛选出部分和重建特征相关性较高的特征,用于构造随机森林模型。然后输入缺失的数据样本,随机森林模型自适应地对数据样本进行分类,并利用完整样本对缺失特征值进行预测,从而完成丢失数据的重建。最后通过仿真实验表明,该方案可以有效地提升数据重建的精确度,在数据丢失率达到80%的情况下,重建数据的准确率仍然优于现有的解决方案。