基于注意力和宽激活密集残差网络的图像超分辨率重建

针对全局和局部高低频空间信息利用不足而导致重建图像纹理细节模糊的问题,提出一种基于注意力和宽激活密集残差网络的图像超分辨率重建模型。首先,四个不同尺度且平行的卷积核被用来充分提取图像低频特征作为空间特征转换的先验信息。在深层特征映射模块中构建融合注意力的宽激活残差块,并利用低频先验信息来引导高频特征的提取。该宽激活残差块通过扩大激活函数前的特征通道数来提取更深层次的特征图,且所构造的全局和局部残差连接在加强残差块和网络特征前向传播的同时,在不增加参数情况下使得所提取特征的多样性更加丰富。最后,对得到的特征图进行上采样和重建以得到清晰的高分辨率图像。实验表明,所提算法在BSD100数据集上4倍超分辨率时,相比LatticeNet模型的PSNR指标提升了0.14 dB,SSIM提升了0.001,在主观视觉方面,重建出的图像局部纹理细节也更加清晰。     

通道注意力与残差级联的图像超分辨率重建

为了改善图像超分辨率重建的效果,针对很多超分辨率重建方法中忽略了特征通道间相关信息以及网络数据传递中信息丢失问题,提出了一种通道注意力与残差级联超分辨率重构网络.首先,对输入的低分辨率图像进行浅层的特征提取;随后,通过残差级联组提取深层特征,利用注意力模块自适应地对特征通道的权重进行校正,融合节点将残差级联组的输出特征...     

基于残差自注意力连接的深度电学层析成像方法

针对电学层析重建(ET)的“软场”特性和逆问题求解的病态性所造成的边界伪影和空间分辨率低的问题，本文提出一种基于迭代展开的预重建模块和改进的注意力深度U形卷积神经网络(CNN)的深度成像方法。其中，预重建模块是由牛顿—拉夫逊迭代算法得到的4层反卷积神经网络；深度U形CNN模块中，在特征提取和重建模块中加入残差连接，用于缓解深度CNN模型中的梯度消失问题，同时引入自注意力跳跃连接实现对全局特征和局部特征的抽象融合，使模型更好地表达图像重建问题的非线性特征。重建结果表明空间分辨率高，内含物边界清晰，重建相对误差为0.10,相关系数为0.93,说明本方法可以有效改善ET图像的质量，为无损测量与检测可视化提出了一种可靠方法。     

基于双路回归神经网络的遥感图像超分辨率重建方法

文中提出了一种于双路回归神经网络的遥感图像超分辨率重建方法，引入减少了计算量复杂性和加速网络融合的局部残差学习机制；通过跳级连接和通道注意力机制将融合引入网络以增加特征图的数量，并促进反卷积恢复图像细节的图层；双对称模的输出对增强特性表示和选择性地强调重要性特征的总结信息可使网络架构进行分类信息和减少计算成本。该方法克服了传统方法构建图像的解决方案未有显著改进、图像非常平滑、所需细节容易丢失等问题，进一步提高了改进后组织的有效性和优越性。     

融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法

针对矿井图像灰暗模糊、边缘不清晰等问题,提出了一种融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法。首先设计一种残差坐标注意力模块,在残差块中融入坐标注意力机制,使网络获得更丰富的高频细节信息;其次采用层次特征融合机制,对不同网络层次的特征信息进行特征融合,促进边缘细节信息的重建。最后,再对融合后的特征进行降维以减少模型计算量和参数量。为了使模型在真实矿井场景中具有更好的泛化能力,构建了一种煤矿井下图像数据集CMUID用于网络模型的训练和测试实验。实验结果表明,本文算法的重建图像质量在客观指标和主观感受上均优于其他对比算法。当缩放因子为4时,与OISR算法相比,在煤矿井下数据集上PSNR和SSIM的平均值分别提升了0.318 5 dB和0.012 6,在公共数据集上PSNR和SSIM的平均值分别提升了0.1 dB和0.003 5;网络模型参数量减少了70.7%。     

轻量级重参数化的遥感图像超分辨率重建网络设计

针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高,本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先,采用重参数化方法设计了一种残差局部特征模块,以有效地提取图像局部特征;同时考虑到图像内部出现的相似特征,设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力,并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能;最后,在上采样模块前使用多层特征融合模块聚合所有的深度特征,以产生更全面的特征表示。在UC Merced遥感数据集上进行测试,该算法在遥感图像3倍超分辨率下的参数量为539 K,峰值信噪比为30.01 dB,结构相似性为0.844 9,模型的推理时间为0.010 s;而HSENet算法的参数量为5 470 K,峰值信噪比为30.00 dB,结构相似性为0.842 0,模型的推理时间为0.059 s。实验结果表明,该算法相比HSENet算法,参数量更少,运行速度较快,且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试,该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势,...     

多阶段帧对齐的视频超分辨率重建网络

视频超分辨率（Video-Super Resolution,VSR）旨在将低分辨率视频帧序列重建为高分辨率视频帧序列。相较于图像超分辨率，VSR由于增加了时间维度的信息，因此通常需要依赖邻近帧高度相关信息实现当前帧的重建。如何对齐相邻帧，并获取帧间高度相关信息，是VSR任务关注的重点问题。本文将VSR任务分为去模糊、对齐、重建三个阶段。在去模糊阶段，将当前帧与相邻帧进行预对齐，获取与当前帧高度相关的特征信息，通过强化当前帧的细节以便实现初始阶段更多特征信息的提取。在对齐阶段，通过对输入特征进行二次对齐操作，利用相邻帧中高度相关信息进一步强化当前帧中特征信息。在重建阶段，通过聚合原始低分辨率帧以在网络末端提供更多特征信息。本文利用多层感知机（Multi-Layer Perceptron,MLP）代替传统卷积操作构造特征提取模块，同时对生成的特征信息进行二次对齐，以细化图像特征获得更优的视频帧重建效果。实验结果表明，本文提出的算法在多种公开数据集上的视频帧序列重建精度更高的同时，也取得了更少的网络参数量和更连贯的视频序列重建表现。     

REC-ResNet：面向COVID-19辅助诊断的特征增强模型

基于残差神经网络的新冠肺炎（Corona Virus Disease 2019, COVID-19）辅助诊断是最近的研究热点，但是COVID-19胸部X-Ray图像病变区域多样化，其大小、形状、位置因患者而异，且与周围组织的边界模糊，对比度较低，导致难以充分提取病变区域的有效特征。本文针对上述问题，提出一种COVID-19辅助诊断模型REC-ResNet，该模型以ResNet50为主干网络，引入三种特征增强策略，用来提高模型的特征提取能力。首先，采用残差自适应特征融合模块以自适应加权的方式有效地融合模型每个Stage中来自不同残差块的分层特征，该模块不仅建模不同通道之间的相关性，还学习自适应地估计不同层次信息的相对重要性；然后，在模型主干中引入高效特征增强Transformer模块，采用特征增强多头自注意力提取胸部X-Ray图像中的全局信息以增强模型的表达能力，有效地弥补了CNN捕获全局特征表示能力较弱的不足；其次，为了获得更丰富的上下文信息，提出跨层注意力增强模块，分别采用通道注意力和空间注意力对深层和浅层特征进行增强，并在充分考虑长距离特征依赖的情况下有效地融合高级语义信息和低级空...     

深度卷积神经网络图像超分辨率重建方法研究

本文为了解决现有算法重建超分辨率算法,所需较长训练时间的问题,提出一种更加高效的深度卷积神经网络图像超分辨率重建方法。该方法可以在保证每层卷积层、非线性层基础上,包含20层卷积神经网络,每层级联构建神经网络结构,通过运用此方法于低分辨率图像中,可以提取图像特征,利用此算法残差学习获取高频信息,LIR结合预测高频信息即可重建高频率图像。训练中利用裁剪梯度避免爆破,保证训练平稳与图像重建的高效性。该方法经仿真表明较原始方法图像处理性能明显提升,有效改善主观视觉体验,获取的低分辨率图像重建后PSNR值最大可提升0.19,各客观评价指标也明显提升,证明该方法的有效性。     

基于多尺度自适应特征聚合网络的 ECT 图像重建

针对深层卷积神经网络在电容层析成像图像重建过程中存在电容特征提取尺度单一、中间层特征利用率不高等问题, 提出了一种多尺度自适应特征聚合网络模型。 首先,利用堆叠的增强型选择核卷积模块设计了一种特征增强模块(FEM),并 通过串联多个 FEM 自适应地提取电容向量多个尺度的特征信息,极大地减少了使用普通卷积所带来的伪影现象;其次,引入了 一种特征聚合机制,采用长短残差连接加强了远近特征信息的相关性,解决了网络中间层特征利用不充分的问题。 实验结果表 明,与传统算法及卷积神经网络算法相比,所提方法在主观视觉效果和客观评价指标上都具有更好的性能,图像相关系数最高 达到 0. 962 9,图像相对误差降低至 0. 053 0。     

多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割

针对传统建筑物提取方法难以有效描述遥感图像细节特征,导致复杂场景下道路、树木及建筑物之间分割边界不清晰等问题,提出了一种基于多尺度特征融合空洞卷积ResNet(Multiscale-feature Fusion Dilated Convolution ResNet,MFDC-ResNet)模型。首先,为了获取遥感图像建筑物更大范围的特征信息,在深度残差网络中引入空洞卷积增大特征提取的感受野,以捕捉更丰富的多尺度细节特征;其次,为了增强空洞卷积中心点对图像局部区域特征的表达能力,利用3×3卷积核提取遥感图像的中心点区域特征,引入更多的中心点空间先验信息;最后,利用空间金字塔池化模型对不同尺度空洞卷积特征进行融合,获取不同尺度的遥感图像建筑物的上下文信息。在WHU遥感图像数据集上的实验表明,平均交并比mIoU达到0.820,召回率Recall达到0.882。提出算法不仅提高了分割精度,而且有效克服了道路、树木等因素的干扰,得到了较清晰的建筑物边界。     

多尺度交替连接残差网络用于图像去模糊

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题,本文设计了一种多尺度交替连接残差网络用于图像去模糊,采用"从粗到细"的多尺度方式来逐渐恢复出清晰图像。首先,提出一种多尺度残差模块来拓展网络宽度,提取并融合不同尺度之间的特征信息;其次,提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息;最后,利用一层卷积来对特征图进行重建。实验结果表明:本文所提去模糊算法的峰值信噪比以及结构相似度分别为32.313 6 dB和0.942 5,均高于目前先进的图像去模糊技术。从评价指标和主观效果上均可看出本文所提去模糊方法具有更强的图像恢复能力,纹理细节更丰富,能够有效提升图像去模糊效果,具有更强的实用价值。     

融合3D对极平面图像的光场角度超分辨重建

针对光场成像中因硬件限制而造成的光场图像角度分辨率低的问题，提出一种融合3D对极平面图像的光场角度超分辨重建方法。该方法首先将输入图像按不同的视差方向排列分别进行特征提取，以充分利用输入图像的视差信息，提高深度估计的准确性。利用深度图将输入图像映射到新视角位置，生成初始合成光场。为了使重建光场图像能够保持更好的细节信息及几何一致性，先通过水平3D对极平面图像融合重建分支和垂直3D对极平面图像融合重建分支，分别对初始合成光场进行水平融合重建和垂直融合重建，再将两个结果进行混合重建，生成最终的高角度分辨率光场图像。实验结果表明：相比于现有方法，本文方法在合成光场数据集和真实光场数据集上的重建效果均得到了提高，峰值信噪比的提升幅度最高达1.99%，有效地提高了重建光场的质量。     

融合边缘增强与非局部模块的遥感图像超分辨率重建生成对抗网络

针对遥感图像成像过程中噪声污染严重,超分辨率重建图像存在目标边缘模糊和伪影等问题,本文提出一种融合边缘增强与非局部模块的遥感图像超分辨率算法（Edge-Enhanced and Non-local Modules Generative Adversarial Network,ENGAN）。为了使图像细节边缘更清晰,本文融合一种图像边缘增强模块;同时,为进一步扩大模型感受野和增强去除边缘噪声性能,改进边缘增强模块中的Mask分支;此外,引入非局部模块,通过更好地利用图像的内在特征相关性,进一步提升了网络的重建性能。本文在UCAS-AOD和NWPU VHR-10两种遥感图像数据集上进行多个算法的对比实验,结果表明本文提出的方法在多个评价指标上均有所改善。以退化类型Ⅳ为例,本文方法相比深度盲超分辨率退化模型,4倍超分辨率的SSIM提升了0.068,PSNR提升了1.400 dB,RMSE减少了12.5%,且重建后的遥感图像相较于原始图像可以得到更好的地面目标检测结果。     

融合多尺度特征卷积神经网络的多光谱图像压缩方法

不同于普通图像压缩,多光谱图像压缩除了需要去除空间冗余同时还需要去除光谱间冗余,近年来研究表明端到端的卷积神经网络模型在图像压缩方面具有很好的性能,但对于多光谱图像压缩其编解码器并不能有效解决同时高效提取到多光谱图像空间和光谱间特征的问题,同时也会忽略图像局部特征信息。针对以上问题,本文提出了一种融合多尺度特征卷积神经网络的多光谱图像压缩方法。所提出网络在压缩模型的编解码器中嵌入了可以提取出不同尺度下空间和光谱间特征信息的多尺度特征提取模块,以及可以用来捕捉局部空间信息和光谱信息的空间光谱间非对称卷积模块。实验表明,与传统算法如JPEG2000和3D-SPIHT以及深度学习方法相比,在Landsat-8的7波段和Sentinel-2的8波段数据集上所提出模型的峰值信噪比(PSNR)指标高于传统算法1-2dB。在平均光谱角度(MSA)指标的衡量下,所提出的模型在Landsat-8数据集上优于传统算法约8×10^-3 rad,在Sentinel-2数据集上优于传统算法约2×10^-3 rad。满足了多光谱图像压缩对空间和光谱间特征提取以及局部特征提取...     

基于改进ResNet模型的轴承沟道表面加工缺陷分类

轴承沟道表面缺陷具有细节丰富但特征不突出的特点,传统的特征提取方法进行缺陷分类时存在建模困难、分类准确率低的弊端,因此使用改进残差网络(ResNet)实现轴承沟道表面缺陷的高精度分类.以卷积神经网络为基础模型架构,使用残差块作为主要特征计算方法,在深层网络中融入Inception模块进行特征降维和拼接以获取更多的图像细...     

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

基于多种卷积核特征提取自适应融合的滚动轴承故障诊断方法

传统卷积神经网络模型采用单一类型卷积核，面对复杂工况下的实际数据时存在特征提取不充分，故障识别率低等问题，因此提出了一种基于多种卷积核特征提取自适应融合的滚动轴承故障诊断方法(MCK-CNN)。首先，将轴承一维振动信号经过小波变换转换为二维时频图，将时频图经过一个共同的特征提取网络初步进行特征提取后并行经过一个常规的Convolution和Involution卷积网络；然后，经过2个由不同卷积核构成的网络进行不同方式的特征提取并通过CBAM注意力模块将两类特征自适应地融合；最后，将融合特征输入全连接层并通过Softmax函数输出分类结果。CWRU和实验室轴承数据集的试验结果表明，MCK-CNN模型的训练效率和故障识别率均较高。     

模型参数对卷积神经网络电容层析成像图像重建的影响

卷积神经网络凭借其较强的非线性拟合能力,在电容层析成像图像重建中逐渐得到应用。本文针对卷积神经网络模型超参数调节问题,研究了模型参数对卷积神经网络电容层析成像图像重建的影响。首先,通过数值方法构建了包含80 000组随机流型与40 000组典型流型的"电容矩阵-介质分布"数据集;然后,通过该数据集中的训练集对不同超参数的卷积神经网络模型进行训练和验证,并系统研究了网络初始化、网格密度、卷积核数、全连接层神经元数以及隐藏层结构等超参数对图像重建精度的影响;接着,利用额外生成的12 000组数据作为测试集对各网络模型性能进行评价;最后通过静态实验,对不同网络模型的图像重建效果进行了比较和分析。结果表明:网络隐藏层结构对图像重建精度影响较大,而网络初始化、网格密度、卷积核数以及全连接层神经元数等超参数对重建精度影响较小。     

基于Dy Res Net-CBAM网络的滚动轴承剩余寿命预测

滚动轴承的工作状况关系到使用滚动轴承的机械能否正常运行,预测轴承的剩余使用寿命（RUL）是避免机械系统失效的关键。针对传统的轴承使用寿命预测方法无法自适应调节特征权重、提取有用特征,造成预测值误差过大的问题,提出了一种带有卷积块注意力模块（CBAM）的动态残差网络（Dy Res Net）用于预测轴承RUL。对振动信号进行快速傅里叶变换求得频域累积幅值特征,在动态残差网络中加入CBAM模块,并利用压缩激励模块进行特征细化得出预测结果,使用公开轴承数据集对所提模型进行评估。实验表明：与其他模型相比,Dy Res Net-CBAM模型能够充分提取特征信息,对轴承RUL预测的准确度高于其他模型。