基于残差神经网络的图像超分辨率改进算法

为更有效地提升图像的超分辨率（SR）效果,提出了一种多阶段级联残差卷积神经网络模型。首先,该模型采用了两阶段超分辨率图像重建方法先重建2倍超分辨率图像,再重建4倍超分辨率图像;其次,第一阶段与第二阶段皆使用残差层和跳层结构预测出高分辨率空间的纹理信息,由反卷积层分别重建出2倍与4倍大小的超分辨率图像;最后,以两阶段的结果分别构建多任务损失函数,利用第一阶段的损失指导第二阶段的损失,从而提高网络的训练速度,加强网络学习中的监督指导。实验结果表明,与bilinear算法、bicubic算法、基于卷积神经网络的图像超分辨率（SRCNN）算法和加速的超分辨率卷积神经网络（FSRCNN）算法相比,所提模型能更好地重建出图像的细节和纹理,避免了经过迭代之后造成的图像过度平滑,获得更高的峰值信噪比（PSNR）和平均结构相似度（MSSIM）。     

基于混合深度卷积网络的图像超分辨率重建

针对传统图像超分辨率重建方法存在的重建图像模糊、噪声量大、视觉感差等问题,提出了一种基于混合深度卷积网络的图像超分辨率重建方法。首先,在上采样阶段将低分辨率图像放缩至指定大小;然后,在特征提取阶段提取低分辨率图像的初始特征;接着,将提取到的初始特征送入卷积编解码结构进行图像特征去噪;最后,在重建层用空洞卷积进行高维特征提取与运算,重建出高分辨率图像,并且使用残差学习快速优化网络,在降低噪声的同时,使重建图像的清晰度及视觉效果更优。在Set14数据集放大尺度×4的基准下,将所提方法与双三次插值（Bicubic）、锚定邻域回归（A+）、超分辨卷积神经网络（SRCNN）、极深度超分辨网络（VDSR）、编解码网络（REDNet）等超分辨率重建方法进行对比。在超分辨实验中,所提方法与对比方法比较,峰值信噪比（PSNR）分别提升了2.73 dB、1.41 dB、1.24 dB、0.72 dB和1.15 dB,结构相似性（SSIM）分别提高了0.067 3,0.020 9,0.019 7,0.002 6和0.004 6。实验结果表明,混合深度卷积网络能够有效地对图像进行超分辨率重建。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

基于自注意力网络的图像超分辨率重建

针对图像超分辨率重建中纹理细节等高频信息恢复的问题，提出一种基于自注意力网络的图像超分辨率重建方法。该网络框架利用两个重建阶段逐步地将图像的精确度从粗到细进行恢复。在第一阶段中，首先将低分辨率（LR）图像作为输入通过一个卷积神经网络（CNN），并输出一个粗精度的高分辨率（HR）图像；然后将粗精度图像作为输入并产生更加精细的高分辨率图像。在第二阶段中，使用自注意力模块计算特征之间所有位置的关联性，通过捕捉特征的全局依赖关系来提高纹理细节的恢复能力。在基准数据集上的实验结果表明，与现有基于深度神经网路的超分辨率重建算法相比，所提算法不仅图像视觉效果最好，而且在数据集Set5和BDSD100上的峰值信噪比（PSNR）平均提高了0.1 dB、0.15 dB，表明该网络可以通过增强特征的全局表达能力来重建出高质量图像。     

结合结构自相似性和卷积网络的单幅图像超分辨率

针对单幅图像超分辨率（SR）复原病态逆问题,在重建过程边缘细节丢失导致的模糊,提出一种结合结构自相似和卷积网络的单幅图像超分辨率算法。首先,通过将尺度分解获得待重构图片样本的自身结构相似性,结合外部数据库样本结合作为训练样本,可以解决样本过于分散的问题;其次,将样本输入卷积神经网络（CNN）进行训练学习,得到单幅图像超分辨率的先验知识;然后,利用非局部约束项自适应选择最优字典重建图像;最后,利用迭代反投影算法对图像超分辨率效果进一步提升。实验结果表明,与双三次插值（Bicubic）方法、K-SVD算法和基于卷积神经网络的图像超分辨率（SRCNN）方法等优秀算法相比,所提算法可以得到边缘更为清晰的超分辨率重建效果。     

边缘增强深层网络的图像超分辨率重建

目的 针对基于学习的图像超分辨率重建算法中存在边缘信息丢失、易产生视觉伪影等问题,提出一种基于边缘增强的深层网络模型用于图像的超分辨率重建。方法 本文算法首先利用预处理网络提取输入低分辨率图像的低级特征,然后将其分别输入到两路网络,其中一路网络通过卷积层级联的卷积网络得到高级特征,另一路网络通过卷积网络和与卷积网络成镜像结构的反卷积网络的级联实现图像边缘的重建。最后,利用支路连接将两路网络的结果进行融合,并将其结果通过一个卷积层从而得到最终重建的具有边缘增强效果的高分辨率图像。结果 以峰值信噪比（PSNR）和结构相似度（SSIM）作为评价指标来评价算法性能,在Set5、Set14和B100等常用测试集上放大3倍情况下进行实验,并且PSNR/SSIM指标分别取得了33.24 dB/0.9156、30.60 dB/0.852 1和28.45 dB/0.787 3的结果,相比其他方法有很大提升。结论 定量与定性的实验结果表明,基于边缘增强的深层网络的图像超分辨重建算法所重建的高分辨率图像不仅在重建图像边缘信息方面有较好的改善,同时也在客观评价和主观视觉上都有很大提高。     

基于双通道卷积神经网络的图像超分辨率增强算法

针对单通道图像超分辨率方法难以同时实现快速的收敛性能以及高质量的纹理细节恢复的问题,提出一种基于双通道卷积神经网络的图像超分辨率增强算法。首先,网络分为深层通道和浅层通道,深层通道用于提取图像的详细纹理信息,浅层通道用于恢复图像的总体轮廓。然后,深层通道利用残差学习的优势,加深网络并降低模型参数规模,消除因网络过深导致的网络退化问题,构造长短期记忆块消除由反卷积层造成的伪影现象和噪声,采用多尺度方式,提取图像不同尺度的纹理信息,而浅层通道只需负责恢复图像主要轮廓。最后,融合两通道损失对网络不断优化,指导网络生成高分辨率图像。实验结果表明,相比基于深层和浅层卷积神经网络的端到端图像超分辨率算法（EEDS）,所提算法收敛更迅速,图像边缘和纹理重建效果明显提升,其峰值信噪比（PSNR）和结构相似性（SSIM）在Set5数据集上平均提高了0.15 dB、0.0031,在和Set14数据集上平均提高了0.18 dB、0.0035。     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。     

颜色恢复和边缘保持的低照度图像超分辨率重建方法

针对常规图像超分辨率重建方法应用于低照度环境下的图像时存在纹理信息丢失、颜色偏移失真和重建性能退化等问题,提出了一种颜色恢复和边缘保持的低照度图像超分辨率重建方法。在锚定邻域回归（ANR）的图像超分辨率重建方法基础上引入颜色恢复和边缘保持的照度增强函数,从而提高图像内容和边缘纹理的显著性;选择最小加权二乘滤波作为中心环绕函数（WLS）以抑制高频特征退化;同时针对YCbCr颜色空间的Y通道分量采用边缘保持的照度增强函数计算其反射分量,进一步增强边缘纹理特征。实验结果表明,所提方法获得了更好的视觉效果,相比于其他方法,该方法峰值信噪比（PSNR）提高了63.15%,结构相似度（SSIM）分别提高了46.86%,感知质量（PI）提高了4.12%。     

基于非局部通道注意力机制的单图像超分辨率方法

单图像超分辨率是一个不适定的问题,是指在给定模糊和低分辨率图像的情况下重建纹理图案。卷积神经网络（CNN）最近被引入超分辨率领域中,尽管当前研究通过设计CNN的结构和连接方式获得了出色的性能,但是忽略了可以使用边缘数据来训练更强大的模型,因此提出了一种基于边缘数据增强的方法,即单图像超分辨率的非局部通道注意力（NCA）方法。该方法可以充分利用训练数据并通过非局部通道注意力提高性能。所提方法不仅为设计网络提供了引导,而且也可以对超分辨率任务进行解释。非局部通道注意力网络（NCAN）模型由主分支和边缘增强分支组成,通过往模型里输入低分辨率图像并预测边缘数据,使主分支自注意力重建超分辨率图像。实验结果表明,在BSD100基准数据集上与二阶注意力网络（SAN）模型相比,NCAN在3倍放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了0.21 dB和0.009;在Set5、Set14等其他基准数据集上与深度残差通道注意力网络（RCAN）模型相比,NCAN在3倍和4倍放大因子下的PSNR和SSIM都取得了较为明显的提升。NCAN在可比参数方面性能超过了最新模型。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

基于非局部通道注意力机制的单图像超分辨率方法

单图像超分辨率是一个不适定的问题，是指在给定模糊和低分辨率图像的情况下重建纹理图案。卷积神经网络（CNN）最近被引入超分辨率领域中，尽管当前研究通过设计CNN的结构和连接方式获得了出色的性能，但是忽略了可以使用边缘数据来训练更强大的模型，因此提出了一种基于边缘数据增强的方法，即单图像超分辨率的非局部通道注意力（NCA）方法。该方法可以充分利用训练数据并通过非局部通道注意力提高性能。所提方法不仅为设计网络提供了引导，而且也可以对超分辨率任务进行解释。非局部通道注意力网络（NCAN）模型由主分支和边缘增强分支组成，通过往模型里输入低分辨率图像并预测边缘数据，使主分支自注意力重建超分辨率图像。实验结果表明，在BSD100基准数据集上与二阶注意力网络（SAN）模型相比，NCAN在3倍放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了0.21 dB和0.009；在Set5、Set14等其他基准数据集上与深度残差通道注意力网络（RCAN）模型相比，NCAN在3倍和4倍放大因子下的PSNR和SSIM都取得了较为明显的提升。NCAN在可比参数方面性能超过了最新模型。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

基于轻量密集神经网络的医学图像超分辨率重建算法

医学图像的清晰与否直接影响临床诊断。由于成像设备与环境因素的限制,往往不能直接获得高分辨率的图像,且大多数智能终端的硬件并不适合运行大规模深度神经网络模型,因此提出一种拥有较少的层和参数的轻量密集神经网络模型。首先,网络中使用密集块和跳层结构进行全局和局部图像特征学习,并将更多特征信息传入激活函数,从而使网络中浅层低级的图像特征更容易传播到高层,由此提高医学图像超分辨率重建的质量;然后,采用分阶段方法训练网络,并以双任务损失加强网络学习中的监督指导,从而解决高倍图像超分辨率重建导致的网络训练难度增加的问题。实验结果表明,与最近邻（NN）插值、双线性插值、双立方插值、基于卷积神经网络（CNN）的算法以及基于残差神经网络的算法相比,所提模型能更好地重建出医学图像的纹理细节,获得更高的峰值信噪比（PSNR）和结构相似性（SSIM）,在训练速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

多层次融合注意力网络的双目图像超分辨率重建

目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验在3个...     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性。针对上述问题,提出了一种基于通道注意力机制（CA）和深度可分离卷积（DSC）的图像超分辨率重建方法。整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,在深层特征提取块中引入通道注意力机制,通过调整各通道的特征图权重来增加通道相关性,从而提取高频特征信息;最后,重建出高分辨率图像。为了减少注意力机制带来的巨大参数影响,在局部残差块中使用了深度可分离卷积技术以大大减少训练参数,同时采用自适应矩估计（Adam）优化器来加速模型的收敛,从而提高了算法性能。该方法在Set5、Set14数据集上进行图像重建,实验结果表明不仅该方法重建的图像具有更高的峰值信噪比（PSNR）和结构相似度（SSIM）,而且所提模型的参数量减少为深度残差通道注意力网络（RCAN）模型的参数量的1/26。     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

结合注意力的3D卷积网络脑胶质瘤分割算法

为了提升脑胶质瘤分割精度，提出一种结合注意力机制的3D卷积神经网络算法。输入3个不同尺度的图像块，经过9个卷积层和1个分类层后得到3个不同的分类结果，将分类结果与注意力学习到的权重相乘并逐体素相加得到输出。此外该算法采用了一种混合Dice损失函数与Focal损失函数的超参数损失函数。实验表明，该算法的Dice系数在整体区域、核心区域以及增强区域分别达到了95.31%、80.12%、82.25%。与已有的一种脑胶质瘤分割算法deepmedic相比，整体区域、核心区域以及增强区域的Dice系数分别提升了3%、2%、6%。在脑胶质瘤分割方面，具有重要的临床意义。