基于特征融合和注意力机制的图像超分辨率模型

现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。     

利用金字塔空间注意力与特征推理的图像修复

针对现有基于深度学习的图像修复方法对图像未受损区域多尺度特征空间信息利用不足的问题,提出一种利用金字塔空间注意力与特征推理的图像修复模型.首先,采用基于部分卷积的区域识别模块,用于识别本次循环中需要推理的区域,其次,通过循环特征推理模块高效地推理待推理区域的图像特征,最后,使用基于残差去冗余特征的特征融合模块以保证在融合中间特征图的过程中减少无效特征信息对图像修复的干扰.在人脸、街景等数据集上端对端地对所提模型进行实验的结果表明,与经典方法相比,该模型在峰值信噪比、结构相似度和平均L1损失评估指标方面分别提升了3%, 1%和3%.     

基于多模型特征与精简注意力融合的图像分类

为了提高图像分类性能,本文提出一种多模型特征和注意力模块融合的图像分类算法(image classification algorithm based on Multi-model Feature and Reduced Attention fusion,MFRA).通过多模型特征融合,使网络学习输入图像不同层次的特征,增加特征互补性,提高特征提取能力;通过加入注意力模块,使网络更关注有目标的区域,降低无关的背景干扰信息.本文算法在Cifar-10,Cifar-100,Caltech-101这3个公开数据集上的大量实验对比,验证了其有效性.与现有算法对比,本文算法的分类性能有较为明显的提升.     

结合特征融合和注意力机制的微表情识别方法

微表情指当人们试图隐藏或抑制自己的真实情感时,脸上出现的一种无法控制的肌肉运动.此类情绪面部表情由于具有持续时间短、动作幅度小、难以掩饰和抑制的特点,因此其识别精度受到了制约.为了应对这些挑战,文中提出一种结合特征融合和注意力机制的微表情识别方法,同时考虑了光流特征和人脸特征,通过进一步加入注意力机制来提升识别性能.该...     

注意力和多重特征融合的图像局部特征检测及描述

针对基于深度学习的图像局部特征检测与描述模型参数大和内存资源消耗大的问题,提出一种结合注意力和多重特征融合的图像局部特征检测及描述算法.首先在不改变图片大小的条件下,使用基础残差块和膨胀卷积搭建基础骨干网络以获得图片的多尺度特征;然后在不增加模型复杂度的前提下,结合注意力机制从而获得更加优良的特征;最后通过改进的跳跃连接将低层语义信息与高级语义信息融合,更利于特征点的检测和描述.实验结果表明,在模型大小远小于同类方法模型的情况下,所提算法在HPatches数据集上表现优异,当阈值选取2～6时总体上的MMA值分别为0.57、0.71、0.78、0.81、0.83,与R2D2相比,分别提升了2.3％、2.4％、1.9％、1.4％、1.1％,提取的特征及描述更加鲁棒.     

结合注意力机制与几何信息的特征融合框架

不平衡问题在现实世界中普遍存在,而不平衡数据的分布不平衡性会严重影响模型的性能.不平衡数据通常从两方面影响模型性能:一方面是数量上的不平衡导致多数类的数据对参数有更多的更新,导致模型更加偏向多数类;另一方面是少数类样本特别少,多样性不足从而导致模型表征能力不足.针对上述问题,提出了一个结合注意力机制与几何信息的特征融合...     

融合注意力机制与联合优化的表面缺陷检测

两段式缺陷检测模型中分割和分类网络的优化目标不一致,导致二者耦合性较差,且分割模块误差的积累可能进一步弱化分类模块的性能.针对上述问题,提出一种基于注意力机制的缺陷检测联合优化算法.首先基于混合注意力特征融合模块的分割网络融合浅层特征和深层特征,提取更全面的缺陷位置信息;然后基于多感受野空间注意力模块的分类网络挖掘更具判别性的缺陷类别特征;最后通过联合优化目标实现分割和分类网络的学习优化,提升整个算法的耦合性以及性能.基于PyTorch框架,在公开工业缺陷检测数据集DAGM 2007, MAGNETIC-TILE和KolektorSDD2数据集上进行实验,并引入分段式算法及类U-Net算法进行横向对比的结果表明,所提算法的准确率相比分段式算法最高提升28.02%,相比类U-Net算法最高提升8.3%,且精确率、召回率、F1值均优于同类算法,具有更好的检测性能.     

改进曲率驱动模型的敦煌壁画修复算法

针对敦煌壁画裂纹形状复杂、划痕不规则,采用CDD曲率扩散算法修复时易出现假边缘、阶梯效应以及修复时间长的问题,提出一种改进曲率驱动模型的自适应敦煌壁画修复算法.首先对CDD算法中梯度消失问题进行改进,使扩散项更加合理;然后引入自适应控制策略,壁画破损区域曲率不同时能够选择不同的修复模型进行动态自适应控制修复;最后利用光滑函数进行角点扩散修复,达到去噪和保护边缘的目的.对真实敦煌壁画进行数字化修复的实验结果表明,该算法较好地解决了CDD算法的边缘过渡不自然以及修复时间过长的问题,在PSNR和修复时间评价指标上均优于其他对比算法.     

基于边缘图与多尺度特征融合的图像修复

针对现有的图像修复方法在面对大规模图像缺损和不规则破损区域修复时,修复结果出现生成结构与原图像语义不符以及纹理细节模糊等问题,本文提出一种利用生成边缘图的多尺度特征融合图像修复算法——MSFGAN(multi-scale feature network model based on edge condition).模型采用两阶段网络设计,使用边缘图作为修复条件对修复结果进行结构约束.首先,使用Canny算子提取待修复图像的边缘图进行完整边缘图生成;然后利用完整的边缘图结合待修复图像进行图像修复.为了弥补图像修复算法中经常出现的问题,提出一种融入了注意力机制的多尺度特征融合模块(attention mechanism multi-fusion convolution block, AM block),实现受损图像的特征提取和特征融合.在图像修复网络解码器部分引入跳跃链接,将高级语义提取和底层特征进行融合实现高质量细节纹理修复.在CelebA和Places2数据集上的测试结果显示, MSFGAN修复质量上比当前修复方法有一定提升,其中在20%–30%掩码比例中, SSIM平均提升0.029...     

基于特征融合和注意力机制的超声影像分割网络

针对医学超声影像中图像受斑点噪声干扰、细节信息丢失、目标边界模糊等问题,提出一种基于特征融合和注意力机制的超声影像分割网络,整体结构采用编码器-解码器网络结构。首先,使用编码器模块对图像进行上下文特征提取,提取全局特征信息;然后,设计多尺度特征提取模块,捕获更广泛的语义信息;最后,在解码器模块中加入双注意力机制,沿空间和通道两个维度细化特征信息,加强对超声心动图影像中左心室区域的关注,使模型对有噪声的输入图像具有鲁棒性。实验结果表明,所提出的网络在超声心动图心尖四腔心数据集上的实验分割结果的Dice系数达到93.11%,平均交并比（mIoU）为86.80%,较传统的U-Net卷积神经网络分别提升了3.06个百分点和3.95个百分点,有效获取了左心室区域细节信息和边界信息,取得了较好的分割结果。     

融合注意力机制与多任务学习的DR分级模型

在糖尿病患者中,糖尿病视网膜病变（Diabetic Retinopathy,DR）是导致失明的主要原因。针对眼底图像中存在极难发现的微动脉瘤等微小病理特征的问题,提出了一种注意力机制模块。该模块通过融合特征图原本的特征信息与注意力单元得到的通道信息,为微小特征增加了网络的权重,再使用除操作去除特征图中的冗余信息,得到注意力机制特征作为双任务的输入;针对均方误差（Mean Square Error,MSE）损失难优化和交叉熵（Cross Entropy,CE）损失未考虑错分DR等级的代价,设计了多任务学习模块,加权融合了回归任务的MSE损失和分类任务的CE损失。基于这两个模块的设计,提出了融合注意力机制的多任务学习网络（Fusion of Attention mechanism and Multi-Tasking learning network,FAMT）。在kaggle数据集上的实验表明,FAMT网络在验证集上的Kappa比仅使用回归任务的网络高出了2%,比仅使用分类任务的网络提高了4%;FAMT网络在测试集上的Kappa比EfficientNet网络高出1%,比M2CNN网络高出了5%。     

融合多粒度注意力特征的小样本分类模型

在小样本分类任务中,现有的CNN模型存在特征提取不足、特征单一和小样本数据集类间差异化较弱的问题,导致分类精度较低。针对以上问题,提出一种融合多粒度注意力特征（fusion multi-granular attention feature,FMAF）的小样本分类模型。首先,该方法借鉴多粒度思想,重新设计CNN特征提取网络的架构来增强特征多样性;其次,在多粒度特征提取网络后添加自注意力层,提取多粒度图像特征中的关键特征,在多粒度注意力特征的基础上,借助特征融合方法融合多粒度注意力特征信息,突出关键特征,提高特征的表征力;最后,在两个经典的小样本数据集miniImageNet和tieredImageNet上进行了评估。实验结果表明,FMAF方法能有效提升分类的准确度和效率。     

图像特征注意力与自适应注意力融合的图像内容中文描述

针对现有基于注意力机制的图像内容中文描述模型无法在关注信息不减弱和无缺失的条件下对重点内容进行注意力加强关注的问题,提出一种图像特征注意力与自适应注意力融合的图像内容中文描述模型.模型使用编解码结构,首先在编码器网络中提取图像特征,并通过图像特征注意力提取图像全部特征区域的注意力信息;然后使用解码器网络将带有注意力权重...     

融合注意力和裁剪机制的通用文本分类模型

针对当前分类模型通常仅对一种长度文本有效,而在实际场景中长短文本大量混合存在的问题,提出了一种基于混合神经网络的通用型长短文本分类模型（GLSTCM-HNN）。首先,利用BERT(Bidirectional Encoder Representations from Transformers)对文本进行动态编码;然后,使用卷积操作提取局部语义信息,并构建双通道注意力机制（DCATT）对关键文本区域增强;同时,使用循环神经网络（RNN）捕获全局语义信息,并建立长文本裁剪机制（LTCM）来筛选重要文本;最后,将提取到的局部和全局特征进行融合降维,并输入到Softmax函数里以得到类别输出。在4个公开数据集上的对比实验中,与基线模型（BERT-TextCNN）和性能最优的对比模型（BERT）相比,GLSTCMHNN的F1分数至多分别提升了3.87和5.86个百分点;在混合文本上的两组通用性实验中,GLSTCM-HNN的F1分数较已有研究提出的通用型模型——基于Attention的改进CNN-BiLSTM/BiGRU混联文本分类模型（CBLGA）分别提升了6.63和37.22个百分点。实验结果表...     

特征融合AlexNet模型的古代壁画分类

目的 针对古代壁画图像自身特征提取存在的主观单一性和客观不充分性等问题,以经典AlexNet网络模型为基础,提出了一种结合特征融合思想的卷积神经网络模型,用于古代壁画图像的自动分类。方法 首先,由于大型壁画数据集较为缺乏,通过对壁画样本使用缩放、亮度变换、加噪和翻转等图像增强算法来扩大数据集,并提取壁画图像第1阶段的边缘等底层特征;其次,采用结构不同的双通道网络对提取的第1阶段特征进行第2阶段的深层抽象,得到两个通道的特征;最后,融合两个通道的特征,共同构建损失函数得到分类结果,从而提高模型的鲁棒性和特征表达能力。结果 实验结果表明,在构造的壁画图像数据集上,该模型最终达到了85.39%的准确率。与AlexNet模型以及一些改进的卷积神经网络模型相比,各项评价指标均有大约5%的提高;与未进行预训练的经典模型相比,本文网络结构不易产生过拟合现象;与结合预训练的经典模型相比,准确率大致上有1%~5%的提升,从硬件条件、网络结构和内存消耗上来说代价更小。由此验证了本文模型对于壁画图像自动分类的合理性和有效性。结论 本文提出的壁画分类模型,综合考虑网络宽度和深度的影响,能从多局部的角度提取壁画图像丰富的细节特征,具有一定的优势和使用价值,可进一步结合到与壁画图像分类的相关模型中。     

基于注意力和卷积特征重排的图像修复

近年来,基于UNet与GAN（生成对抗网络）的深度学习网络模型在图像修复领域展现出了独特的优势,但是修复结果中仍然存在伪影、模糊、纹理细节退化、对于大面积破损难以修复、修复后的孔洞与背景图像不相容等现象。为了解决现有模型对大面积破损图像修复不友好以及修复后的图像存在退化现象等问题,通过对现有方法进行研究,改进了Shift-UNet（移位网络）模型：在UNet与GAN的基础上,在每一层编码器和解码器之间增加了改进之后的注意力机制Attention-UNet并融入shift-UNet,形成Attention-Shift-UNet;并且通过研究,将原来下采样部分的激活函数由Leaky_ReLU改为了SiLU函数。改进模型不仅在64×64的中心遮罩上取得了较好的效果,还实现了随机遮罩,遮罩面积由20%增加到80%。通过实验结果证明,该模型的修复效果更优,特别是针对大面积破损图像的修复。在CelebA、ParisArchitecture以及Paris Streetview数据集上经过测试,各评价指标都有明显的提高,其中结构相似性（SSIM）由原来的0.944 5提高到0.947 1,峰值信噪比（PSNR）由原来的27.992 7提高到28.553 6,L2损失由原来的0.001 7降低到0.001 5。     

结合空间注意力多层特征融合显著性检测

目的 多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法 为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果 本文在DUTS,DUT-OMRON（Dalian University of Technology and OMRON Corporation）,HKU-IS和ECSSD（extended complex scene saliency dataset） 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值（MaxF）提高了1.04%,平均绝对误差（mean absolute error,MAE）下降了4.35%,准确率—召回率（precision-recall,PR）曲线、结构性度量（S-measure）等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论 本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。     

注意力与多尺度有效融合的SSD目标检测算法

针对传统的SSD目标检测算法在进行多尺度目标检测时,存在特征图有效信息弱和困难目标漏检率大等问题,提出一种改进的SSD目标检测算法.首先,在网络特征图输出处引入即插即用的轻量级注意力机制,通过不降维、局部跨通道交互以及核大小自适应选择等操作,在保持网络原始计算量的同时有效突出特征图中关键信息.该模块有利于增强背景信息和...     

利用通道注意力与分层残差网络的图像修复

针对现有深度学习图像修复方法对不同尺度特征的感知和表达能力存在不足的问题,提出一种利用多尺度通道注意力与分层残差网络的图像修复模型.首先采用U-Net作为生成器的主干网络,实现对破损图像的编码与解码操作;然后通过在编码器与解码器中分别构建多尺度的分层残差结构,以增强网络提取和表达破损图像特征的能力;最后在编码器与解码器间的跳跃连接中嵌入扩张的多尺度通道注意力模块,以提高模型对编码器中图像低级特征的利用效率.实验结果表明,在人脸、街景等数据集的破损图像修复上,该模型在主观视觉感受和客观评价指标方面均优于其他经典的图像修复方法.     

基于邻近切片注意力融合的直肠癌分割网络

针对直肠癌目标靶区在磁共振成像（MRI）图像的大小、形状、纹理和边界清晰程度不同等问题,为了克服患者之间的个体差异性并提高分割精度,提出一种基于邻近切片注意力融合的直肠癌分割网络（ASAF-Net）。首先,使用高分辨率网络（HRNet）作为主干网络,并在特征提取过程始终保持高分辨率特征表示,以减少语义信息和空间位置信息的损失;其次,通过邻近切片注意力融合（ASAF）模块融合并增强相邻切片之间的多尺度上下文语义信息,使网络能够学习相邻切片之间的空间特征;最后,在解码网络使用全卷积网络（FCN）和空洞空间金字塔池化（ASPP）分割头协同训练,并通过添加相邻切片间的一致性约束作为辅助损失缓解训练过程中出现的相邻切片差异过大的问题。实验结果表明,与HRNet相比,ASAF-Net在平均交并比（IoU）、平均Dice相似系数（DSC）指标上分别提升了1.68和1.26个百分点,平均95%豪斯多夫距离（HD）降低了0.91 mm。同时,ASAF-Net在直肠癌MRI图像多目标靶区的内部填充和边界预测方面均能实现更好的分割效果,有助于提升医生在临床辅助诊断中的效率。