通道与空间注意力图像超分辨率网络

单幅图像超分辨率（Single Image Super Resolution,SISR）在计算机视觉领域占有重要地位,该技术旨在从低分辨率图像中重建出高分辨率图像。近年来,深度神经网络在SISR领域起到了至关重要的作用,然而,目前利用卷积神经网络平等地对待高频与低频特征,使得高频细节的重建表现不佳,输出过于平滑,缺少纹理信息。另一方面,过于深的网络不容易收敛,并且随着神经网络的深度增长,来自前一层的长期信息很容易在后期层中减弱或丢失,使得重建收益不能正比于网络的深度与计算复杂度。针对以上问题,对用于SISR的卷积神经网络的基本块提出了空间注意力模块与通道注意力模块,在同一通道中,不同位置的信息被空间注意力模块赋予不同的权重,不同通道间的权重由通道注意力模块决定,这使得高频信息在重建任务中获得更高的地位,提高了重建指标。进一步地提出了长期特征调制模块将网络的层深度转化为块深度,大大缩小了网络深度,以解决前层长期信息的丢失问题。在Set5等多个基准数据集上的峰值信噪比（PSNR）均比目前其他基于深度卷积神经网络的方法有所提升,这证明了提出的方法的有效性与先进性。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

一种注意力机制与SRGAN网络结合的超分辨率算法

超分辨率是指将一张低分辨率图片转换成高分辨率,在军事领域、工业领域等都有着重要作用.基于生成对抗网络(GAN)的超分变率方法,主要是根据生成对抗网络原理,由生成器生成一张伪高分辨率图片,再由鉴别器计算这张图片与真实高分辨率图片的差值,来衡量这张图片的真实程度.本文基于SRGAN(Super-resolution Generative Adversarial Network)网络主要进行了3点改进:1)引入了注意力通道机制,即在SRGAN网络中加入CA(Channel Attention)模块,同时增加网络深度以更好的表达高频特征; 2)删除原有的BN(Batch Normalization)层以提升网络性能; 3)修改损失函数,以减少噪声对图片的影响.通过实验表明,本文所采用的方法改善了伪影问题,在Set5、Set10、BSD100测试集上均提升了PSNR(峰值信噪比).     

轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建

基于深度学习的图像超分辨率重建算法的性能需求导致急剧增加的参数量与高额的计算成本,这限制超分辨率重建在移动设备上的应用.针对此问题,文中提出轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建算法.首先,设计渐进可分离蒸馏重洗模块,进行多重信息蒸馏,在提取多层次特征的同时保持模型轻量化,使用多个特征提取连接,学习更具区别性的特征表示,以便网络能从蒸馏中获得更多有益信息.然后,设计对比感知坐标注意力模块,充分利用通道感知与位置敏感信息,增强特征选择能力.最后,提出逐步补偿残差连接方式,提高浅层特征的利用率,补偿网络的纹理细节特征.实验表明,文中算法在模型复杂性与重建性能之间实现较好的均衡,重建的高分辨率图像主客观质量都很优秀.     

基于密集残差注意力网络的图像超分辨率算法

近年来,随着科学技术的高速发展,深度学习的蓬勃兴起,实现图像超分辨率重建成为计算机视觉领域一大热门研究课题.然而网络深度增加容易引起训练困难,并且网络无法获取准确的高频信息,导致图像重建效果差.本文提出基于密集残差注意力网络的图像超分辨率算法来解决这些问题.该算法主要采用密集残差网络,在加快模型收敛速度的同时,减轻了梯度消失问题.注意力机制的加入,使网络高频有效信息较大的权重,减少模型计算成本.实验证明,基于密集残差注意力网络的图像超分辨率算法在模型收敛速度上极大地提升,图像细节恢复效果令人满意.     

双阶段信息蒸馏的轻量级图像超分辨率网络

目的 在图像超分辨率（super resolution,SR）任务中采用大尺寸的卷积神经网络（convolutional neural network,CNN）可以获得理想的性能,但是会引入大量参数,导致繁重的计算负担,并不适合很多计算资源受限的应用场景。为了解决上述问题,本文提出一种基于双阶段信息蒸馏的轻量级网络模型。方法 提出一个双阶段带特征补偿的信息蒸馏模块（two-stage feature-compensated information distillation block,TFIDB）。TFIDB采用双阶段、特征补偿的信息蒸馏机制,有选择地提炼关键特征,同时将不同级别的特征进行合并,不仅提高了特征提炼的效率,还能促进网络内信息的流动。同时,TFIDB引入通道关注（channel attention,CA）机制,将经过双阶段信息蒸馏机制提炼的特征进行重要性判别,增强对特征的表达能力。以TFIDB为基础构建模块,提出完整的轻量级网络模型。在提出的网络模型中,设计了信息融合单元（information fusion unit,IFU）。IFU将网络各层级的信息进行有效融合,为最后重建阶段提供准确、丰富的层级信息。结果 在5个基准测试集上,在放大倍数为2时,相较于知名的轻量级网络CARN （cascading residual network）,本文算法分别获得了0.29 dB、0.08 dB、0.08 dB、0.27 dB和0.42 dB的峰值信噪比（peak singal to noise ratio,PSNR）增益,且模型参数量和乘加运算量明显更少。结论 提出的双阶段带补偿的信息蒸馏机制可以有效提升网络模型的效率。将多个TFIDB进行级联,并辅以IFU模块构成的轻量级网络可以在模型尺寸和性能之间达到更好的平衡。     

基于自注意力机制生成对抗网络的超分辨率磁共振图像重建

高分辨率的磁共振图像可以提供细粒度的解剖信息,但是获取数据需要较长的扫描时间.本文提出了一种基于自注意力机制生成对抗网络的超分辨率磁共振图像重构方法(SA-SR-GAN),利用生成对抗网络从低分辨率磁共振图像生成高分辨率磁共振图像,将自注意力机制集成到超分辨率生成对抗网络框架中,用于计算输入特征的权重参数,同时引入了谱...     

基于混合注意力机制的图像超分辨重建算法

现有的大多数基于深度学习的单幅图像超分辨率算法,是通过深化和拓宽网络结构来提取特征,而对于信息占比不同的空间域和通道域没有作区分,导致大量计算资源的浪费。针对上述问题,提出了一种通道-空间混合注意力模块,通过捕捉通道域和空间域内重要性的差异从而更高效地分配计算资源,以加快网络收敛,提高网络性能。采用跳跃连接的方式融合全局特征,加强网络内信息的传递,使得分层信息被充分利用。同时在网络中引入密集连接网络,以做到特征的复用,加强信息的传输。实验结果表明,上述算法在客观指标评价和主观视觉效果方面均优于比较算法。     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。     

基于非局部通道注意力机制的单图像超分辨率方法

单图像超分辨率是一个不适定的问题，是指在给定模糊和低分辨率图像的情况下重建纹理图案。卷积神经网络（CNN）最近被引入超分辨率领域中，尽管当前研究通过设计CNN的结构和连接方式获得了出色的性能，但是忽略了可以使用边缘数据来训练更强大的模型，因此提出了一种基于边缘数据增强的方法，即单图像超分辨率的非局部通道注意力（NCA）方法。该方法可以充分利用训练数据并通过非局部通道注意力提高性能。所提方法不仅为设计网络提供了引导，而且也可以对超分辨率任务进行解释。非局部通道注意力网络（NCAN）模型由主分支和边缘增强分支组成，通过往模型里输入低分辨率图像并预测边缘数据，使主分支自注意力重建超分辨率图像。实验结果表明，在BSD100基准数据集上与二阶注意力网络（SAN）模型相比，NCAN在3倍放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了0.21 dB和0.009；在Set5、Set14等其他基准数据集上与深度残差通道注意力网络（RCAN）模型相比，NCAN在3倍和4倍放大因子下的PSNR和SSIM都取得了较为明显的提升。NCAN在可比参数方面性能超过了最新模型。     

基于非局部通道注意力机制的单图像超分辨率方法

单图像超分辨率是一个不适定的问题,是指在给定模糊和低分辨率图像的情况下重建纹理图案。卷积神经网络（CNN）最近被引入超分辨率领域中,尽管当前研究通过设计CNN的结构和连接方式获得了出色的性能,但是忽略了可以使用边缘数据来训练更强大的模型,因此提出了一种基于边缘数据增强的方法,即单图像超分辨率的非局部通道注意力（NCA）方法。该方法可以充分利用训练数据并通过非局部通道注意力提高性能。所提方法不仅为设计网络提供了引导,而且也可以对超分辨率任务进行解释。非局部通道注意力网络（NCAN）模型由主分支和边缘增强分支组成,通过往模型里输入低分辨率图像并预测边缘数据,使主分支自注意力重建超分辨率图像。实验结果表明,在BSD100基准数据集上与二阶注意力网络（SAN）模型相比,NCAN在3倍放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了0.21 dB和0.009;在Set5、Set14等其他基准数据集上与深度残差通道注意力网络（RCAN）模型相比,NCAN在3倍和4倍放大因子下的PSNR和SSIM都取得了较为明显的提升。NCAN在可比参数方面性能超过了最新模型。     

基于双重注意力机制的图像超分辨重建算法

近年来,卷积神经网络(CNN)在单幅图像超分辨率重建领域(SISR)展现出良好效果。深度网络 可以在低分辨率图像和高分辨率图像之间建立复杂的映射,使得重建图像质量相对传统的方法取得巨大提升。 由于现有 SISR 方法通过加深和加宽网络结构以增大卷积核的感受野,在具有不同重要性的空间域和通道域采 用均等处理的方法,因此会导致大量的计算资源浪费在不重要的特征上。为了解决此问题,算法通过双重注意 力模块捕捉通道域与空间域隐含的权重信息,以更加高效的分配计算资源,加快网络收敛,在网络中通过残差 连接融合全局特征,不仅使得主干网络可以集中学习图像丢失的高频信息流,同时可以通过有效的特征监督加 快网络收敛,为缓解 MAE 损失函数存在的缺陷,在算法中引入了一种特殊的 Huber loss 函数。在主流数据集 上的实验结果表明,该算法相对现有的 SISR 算法在图像重建精度上有了明显的提高。     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性.针对上述问题,提出了一种基于通道注意力机制(CA)和深度可分离卷积(DSC)的图像超分辨率重建方法.整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,...     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法

针对目前的图像超分辨率重建算法中存在的大尺度因子的重建效果较差、不同尺度的图像重建均需要单独训练等问题,提出一种基于拉普拉斯金字塔生成对抗网络(GAN)的图像超分辨率重建算法.算法中的生成器使用金字塔结构实现多尺度的图像重建,从而以渐进上采样的方式降低了大尺度因子的学习难度,并在层与层之间使用密集连接加强特征传播,从而...     

基于联合插值—恢复的超分辨率图像盲复原

常规的超分辨复原方法需要预知退化图像的点扩展函数,但实际应用中许多退化图像的点扩展函数是未知的,因此提出一种新的超分辨率图像盲复原算法,在点扩展函数未知或不确知的情况下对图像进行恢复。该联合插值—恢复的超分辨率图像盲复原方法,利用多信道盲复原估计未知的点扩展函数,迭代运用帧间相似性确定模糊特性,同时结合超分辨率方法得到高分辨率图像。实验结果表明,该算法能有效地实现超分辨率图像的盲复原。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。