基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

基于双通道卷积神经网络的图像超分辨率增强算法

针对单通道图像超分辨率方法难以同时实现快速的收敛性能以及高质量的纹理细节恢复的问题,提出一种基于双通道卷积神经网络的图像超分辨率增强算法。首先,网络分为深层通道和浅层通道,深层通道用于提取图像的详细纹理信息,浅层通道用于恢复图像的总体轮廓。然后,深层通道利用残差学习的优势,加深网络并降低模型参数规模,消除因网络过深导致的网络退化问题,构造长短期记忆块消除由反卷积层造成的伪影现象和噪声,采用多尺度方式,提取图像不同尺度的纹理信息,而浅层通道只需负责恢复图像主要轮廓。最后,融合两通道损失对网络不断优化,指导网络生成高分辨率图像。实验结果表明,相比基于深层和浅层卷积神经网络的端到端图像超分辨率算法（EEDS）,所提算法收敛更迅速,图像边缘和纹理重建效果明显提升,其峰值信噪比（PSNR）和结构相似性（SSIM）在Set5数据集上平均提高了0.15 dB、0.0031,在和Set14数据集上平均提高了0.18 dB、0.0035。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

融合迭代反馈与注意力机制的图像超分辨重建方法

针对图像超分辨重建过程中原始高清图片与低质量图像之间缺乏依赖关系、深度网络中特征图信息不分主次重构导致的图像高频信息高精度重构困难的问题,提出一种融合迭代反馈与注意力机制的单幅图像超分辨重建方法。首先使用频率分解模块分别提取图像中的高、低频信息,并将二者分别处理,使网络重点关注提取出的高频细节部分,增强方法在图像细节上的复原能力;其次通过通道注意力机制将重建的重点放在有效特征所在的特征通道上,增强网络提取特征图信息的能力;然后采用迭代反馈的思想,在反复重建和比对过程中增加图像的还原程度;最后通过重建模块生成输出图像。在Set5、Set14、BSD100、Urban100和Manga109基准数据集上的2倍、4倍和8倍放大实验中,与主流超分辨率方法相比,所提方法表现出更优越的性能。在Manga109数据集的8倍放大实验中,相较于传统插值方法和基于卷积神经网络的图像超分辨率算法（SRCNN）,所提方法的峰值信噪比（PSNR）均值分别提升了约3.01 dB和2.32 dB。实验结果表明：所提方法能够降低重建过程中出现的误差,并有效重建出更精细的高分辨率图像。     

基于自适应残差的运动图像去模糊

针对当前运动图像去模糊网络忽略了运动模糊图像的非均匀性,不能有效地恢复图像的高频细节及去除伪影等问题,在对抗网络基础上提出一种基于自适应残差的运动图像去模糊方法.在生成网络中构造由形变卷积模块和通道注意力模块组成的自适应残差模块.其中,形变卷积模块学习运动模糊图像特征的形变量,可以根据图像的形变信息动态调整卷积核的形状和大小,提高网络适应图像形变的能力.通道注意力模块对所提取的形变特征进行通道调整,获取更多的图像高频特征,增强恢复后图像的纹理细节.在公开的GOPRO数据集上进行实验,实验结果表明,该算法的峰值信噪比(PSNR)有较大的提升,能够重建出纹理细节丰富的高质量图像.     

基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signal-to-noise ratio, PSNR）,在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。     

基于通道注意力机制的文本生成图像方法

针对文本生成图像任务中生成图像细节缺失及低分辨率阶段生成图像存在结构性错误的问题,基于动态注意力机制生成对抗网络（DMGAN）,引入内容感知上采样模块和通道注意力卷积模块,提出一种新的文本生成图像方法ECAGAN。在低分辨率图像生成阶段的特征图上采样过程中采用基于内容感知的上采样方法,通过输入特征图计算得到重组卷积核,使用重组卷积核和特征图进行卷积操作,确保上采样后的特征图和文本条件的语义一致性,使生成的低分辨率图像更加准确,利用通道注意力卷积模块学习特征图各个特征通道的重要程度,突出重要的特征通道,抑制无效信息,使生成图像的细节更丰富。此外在训练过程中结合条件增强和感知损失函数辅助训练,增强训练过程的鲁棒性,提高生成图像质量。在CUB-200-2011数据集上的实验结果表明,ECAGAN模型初始分数达到了4.83,R值达到了75.62,与DMGAN方法相比,分别提高了1.6%和4.6%,并且可改善生成图像结构错乱的问题,同时能够生成清晰的图像细节,语义一致性更高,更加接近真实图像。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题,提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先,构造了并行通道-空间注意力残差块,通过空间注意力模块获取图像重点区域与高频信息的相关性,通过通道注意力模块获取图像各通道对关键信息响应程度的权重,同时拓宽网络的特征提取层以增加流入注意力模块的特征信息;此外,添加了权重归一化层,保证了网络的训练效率;最后,在网络末端应用多尺度上采样层,增加了网络的灵活性和可用性。实验结果表明,相较深层残差通道注意力超分辨率网络（RCAN）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

An improved image enhancement framework based on multiple attention mechanism

Image enhancement can accentuate image feature and is necessary process in image processing. This work focuses on fusing multi-exposure image sequences low-light image enhancement. Inspired by the classical non-local means in computer vision, we proposed an improved deep neural network framework with attentions for image enhancement. Firstly, the original image was preprocessed in different dimensions. we get the edge images using an edge extracted algorithm and fusion multi exposed images to get an better initial images based on fully convolutional neural network with position and channel attention mechanism. Secondly, the head network is constructed by fully convolutional neural network. For capturing long-range dependencies between features maps, we designed a non-local attention module for head network to get better enhancement image. Finally, emerging the original images, edge image and fusion image as the input of the head network, it can enhance the images to get high-quality images. Experiments show that our framework proposed in this paper is effective and the attention mechanism play a significant hole in the network.     

改进的基于稀疏表示的全色锐化算法

为了更有效地结合高分辨率全色（PAN）图像细节信息和低分辨率多光谱（MS）图像光谱信息，提出了一种改进的全色锐化算法。首先，对低分辨率MS图像的强度通道进行下采样再上采样获取其低频成分；其次，用强度通道减去低频成分获取其高频成分，在获取到的高低频成分中进行随机采样来构建字典；然后，用构建好的过完备字典对高分辨率PAN图像进行分块分解以获取高频信息；最后，将分解出的高频信息注入到低分辨率MS图像中以重建高分辨率MS图像。经多组实验后发现，所提出的算法在主观上保留了光谱信息，并注入了大量的空间细节信息。对比结果表明，相比其他诸如基于成分替换算法、基于多分辨率分析算法、基于稀疏表示算法，所提算法重建出来的高分辨率MS图像更加清晰，且在相关系数等多种客观评价指标上优于对比算法。     

A spatial-channel progressive fusion ResNet for remote sensing classification

In recent years, the panchromatic (PAN) and the multispectral (MS) remote sensing images classification has become a research hotspot. In this paper, we propose a spatial-channel progressive fusion residual network (SCPF-ResNet) for multi-resolution remote sensing classification. Firstly, for the inputs of the proposed network, the interactive data fusion strategy (IDFS) combines generalized-intensity-hue-saturation (GIHS), and discrete wavelet transform (DWT) to interfuse patch pairs of the PAN and the MS images, so as to increase the similarity between them, thus reduce the difference in information between them. Secondly, for the branches of feature extraction, we design an adaptive spatial attention module (ASA-Module) and an adaptive channel attention module (ACA-Module) to strengthen spatial features from both larger-sized with smaller-sized targets and spectral features among channels. Finally, we insert the ASA-Module and ACA-Module into the residual modules to form a triple-branch network and use the common spatial-channel features extracted by the Fusion_Branch to gradually enhance the pure independent features extracted by the PAN_Branch and the MS_Branch, respectively. The experimental results indicate that SCPF-ResNet can achieve competitive performance.     

基于全卷积神经网络的单幅隧道图像裂纹提取算法

提出一种基于全卷积神经网络的单幅隧道图像裂纹提取算法,能够有效避免复杂背景下的伪裂纹噪声点干扰,实现对隧道裂纹的精确分割。首先,构建深度残差网络模型提取裂纹特征;其次,使用改进的全卷积神经网络中的反卷积操作恢复裂纹特征图的尺寸和裂纹细节;为了提升裂缝提取的精细程度,提出一个细节修复模块来保持裂缝的完整性与边缘细节;最后,公开一个裂纹数据集NUAACrack-2000,包含2 000幅隧道裂纹图像与精准标注标签。实验表明,提出的算法在避免噪声点干扰方面优于传统图像分割算法;在保留提取裂纹的整体性以及边缘细节处理方面优于基于机器学习的主流裂纹提取算法。     

小波系数指导的全色锐化网络

针对现有全色锐化网络无法同时兼顾空间信息与光谱信息保留的问题,提出一种基于小波系数指导的由融合网络和指导网络组成的全色锐化网络。融合网络分别提取PAN和MS图像的多级特征,并在同一级别进行特征的选择和融合,融合后的特征分别用于指导后一级别特征的提取;指导网络用于学习HRMS与已知的输入图像的小波系数之间的映射关系,并利用学习到的映射对融合网络的输出提供额外的监督。实验结果表明,该方法能够在保留MS图像光谱信息的同时恢复尽可能多的空间信息。在模拟数据集和真实数据集上的对比实验也表明,该方法融合效果优于其他传统方法和深度学习方法,具有一定的实用价值。     

多监督损失函数光滑化图像超分辨率重建

目的 将低分辨率（low-resolution,LR）图像映射到高分辨率（high-resolution,HR）图像是典型的不适定恢复问题,即输出的HR图像和输入的LR图像之间的映射是多对一的,这意味着仅通过增加网络深度来确定HR图像与LR图像之间的特定映射关系是非常困难的。针对该问题,本文提出一种基于多监督光滑化损失函数的图像超分辨率方法。方法 该方法主体由LR图像上采样通道和HR图像下采样通道两部分组成。各通道分为两个阶段,每个阶段均包括浅层特征提取模块、基于迭代采样错误反馈机制的采样模块、全局特征融合模块和图像重建模块。将LR图像上采样通道第1阶段结果与HR图像下采样通道第1阶段结果对比,然后将HR原图像和HR图像下采样通道第2阶段结果作为约束构成多监督,使映射函数空间尽可能精确,并将多监督损失函数光滑化保证梯度在全局范围内传递。结果 在基准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）、Urban100（urban scenes dataset）、Manga109（109 manga volumes dataset）数据集上进行测试,并与Bicubic、SRCNN （super-resolution convolutional neural network）、FSRCNN （fast super-resolution convolutional neural network）、LapSRN （Laplacian pyramid super-resolution network）、VDSR （very deep super-resolution convolutional networks）、DBPN （deep back-projection networks for super-resolution）和DRN （dual regression networks）等方法的实验结果进行对比。当放大因子为4时,本文算法的峰值信噪比分别为32.29 dB、28.85 dB、27.61 dB、26.16 dB和30.87 dB;在重建图像的可视化分析方面,本文算法相较于对比算法具有更加丰富的纹理和清晰的轮廓。结论 实验结果表明,基于多监督光滑化损失函数方法的图像重建结果与其他超分辨率主流算法相比,在重建图像质量和高频细节处理方面均有所提高。     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。