双分支注意力与FasterNet相融合的航拍场景分类

航拍高分辨率图像的场景类别多且类间相似度高,经典的基于深度学习的分类方法,由于在提取特征过程中会产生冗余浮点运算,运行效率较低, FasterNet通过部分卷积提高了运行效率但会降低模型的特征提取能力,从而降低模型的分类精度.针对上述问题,提出了一种融合FasterNet和注意力机制的混合结构分类方法.首先采用“十字型卷积模块”对场景特征进行部分提取,以提高模型运行效率.然后采用坐标注意力与通道注意力相融合的双分支注意力机制,以增强模型对于特征的提取能力.最后将“十字型卷积模块”与双分支注意力模块之间进行残差连接,使网络能训练到更多与任务相关的特征,从而在提高分类精度的同时,减小运行代价,提高运行效率.实验结果表明,与现有基于深度学习的分类模型相比,所提出的方法,推理时间短而且准确率高,参数量为19M,平均一张图像的推理时间为7.1 ms,在公开的数据集NWPU-RESISC45、EuroSAT、VArcGIS (10%)和VArcGIS (20%)的分类精度分别为96.12%、98.64%、95.42%和97.87%,与FasterNet相比分别提升了2.06%、0.77%、1.34...     

上下文感知与层级注意力网络的文档分类方法

文档分类是自然语言处理(NLP)领域中的一个基本问题.近年来,尽管针对这一问题的层级注意力网络已经取得了进展,但由于每条句子被独立编码,使得模型中使用的双向编码器仅能考虑到所编码句子的相邻句子,仍然集中于当前所编码的句子,并没有有效地将文档结构知识整合到体系结构中.针对此问题,提出一种上下文感知与层级注意力网络的文档分...     

基于ResNet双注意力机制的遥感图像场景分类

针对基于传统机器学习遥感图像场景分类无法快速有效提取图像特征造成分类结果不准确的问题,提出一种基于注意力残差网络的遥感图像场景分类的方法,以残差网络为基准模型,在通道和空间两个维度上建立注意力模块,实验过程中对参数进行合理有效的设置,调整网络层数优化模型,达到对UC Merced Land-Use数据集的有效分类.实验...     

注意力机制结合残差收缩网络对遥感图像分类

针对遥感场景图像中背景复杂、类内差异大以及类间相似度高问题所导致的分类效果欠佳情况,提出一种基于有监督对比学习的注意力机制和残差收缩单元算法。首先对有效通道注意力机制（ECA）进行改进,优化对待识别图像特征的提取;然后提出一种协同残差收缩单元算法,利用算法对图像进行冗余信息的筛选消除;再用有监督对比学习算法,增强算法的泛化能力。最后在遥感图像数据集进行实验,并与最新算法如增强注意算法、尺度注意力机制算法进行对比实验。实验表明,该算法在20%训练比例的AID数据集中分类精度提高了1.75%和2.5%。     

注意力机制与双线性网络的垃圾图像分类研究

针对基于人工垃圾分类既费力又费时,且因分拣出错率高、速度慢等问题,以高效率网络模型为基础,提出了一种双线性注意力机制的卷积神经网络分类方法.首先,为EfficientNetB3模型添加通道注意力机制模块,学习通道间的非线性关系,提高关键特征的表达力.然后,采用双线性汇合的方法计算不同空间位置的外积,并对不同空间位置计算平均汇合以得到双线性特征.仿真结果表明,上述方法为卷积神经网络添加注意力模块和双行线汇合的方法可以提供更强的特征表示,在垃圾图像分类任务中提高分类精度,理论分析和试验验证均验证了所提算法的有效性.     

基于自注意力机制辅助分类生成对抗网络的轴承故障诊断

针对传统判别式轴承故障诊断算法在复杂工况下依赖人工特征提取、诊断效果不佳的问题,提出将生成式模型辅助分类生成对抗网络(auxiliary classifier generative adversarial network,ACGAN)用于轴承故障诊断研究。首先,通过快速傅里叶变换将轴承振动信号转为2维频域特征灰度图,设计卷积网络作为模型主体结构,添加批量归一化和LeakyReLU激活函数缓解梯度消失问题;其次,引入自注意力机制(self-attention mechanism,SA),将数据中相距较远的特征相互关联建立新的SA-ACGAN模型,实现多分类场景下对原始数据分布特征的有效学习;最后,将模型应用于电机轴承进行对比验证,结果表明所提方法故障诊断准确率高达99.7％,并具有良好的鲁棒性和泛化性。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

基于双注意力核化双线性网络的细粒度图像分类

针对双线性卷积网络忽略特征图中不同通道和空间位置对分类的不同作用问题,提出一种基于双注意力机制的核化双线性卷积网络模型。从通道和空间两个维度上对局部区域进行双注意力建模,通道注意力机制对通道加权,空间注意力机制对位置加权,将两个机制的注意力特征图矩阵相加后进行外积聚合。采用sigmoid核函数对外积矩阵进行核化,建模通道间的非线性关系。实验在CUB-200-2011、FGVC-Aircraft以及Standford-Cars这3个细粒度数据集上对该方法进行测试,实验结果表明,该方法在3个数据集上均优于同类方法。     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

基于自注意力孪生网络的野生蛇细粒度分类

野生蛇的分类相较于其他细粒度图像分类更加困难和复杂, 这是因为蛇姿势各异、变化急促、常处于运动或盘曲状态, 很难根据蛇的局部特征去判断并分类. 为了解决这个问题, 本文将自注意力机制应用野生蛇细粒度图像分类, 从而解决卷积神经网络因层数加深造成的过于专注局部而忽略全局信息问题. 通过Swin Transformer (Swin-T)进行迁移学习获得细粒度特征提取模型. 为了进一步研究自注意力机制在元学习领域的性能, 本文改进特征提取模型搭建孪生网络并构造元学习器对少量样本进行学习和分类. 相较于其他方法, 本方法减少了元学习在特征提取时所造成的时间和空间开销, 提高了元学习分类的准确率和效率并增加了元学习的自主学习性.     

基于双注意力残差循环单幅图像去雨集成网络

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中,雨的形状、方向和密度不同,导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络(简称RDARENet).在网络中,因为上下文的信息对于去除雨痕十分重要,所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是...     

任务感知双原型网络的人物交互少样本识别

人物交互(HOI)识别是计算机视觉领域的重要研究热点.随着深度学习在图像分类任务中的巨大成功,人物交互识别任务也取得重大进展,但样本不平衡和组合爆炸问题仍是制约当前人物交互识别任务性能的关键挑战.由此,将人物交互识别任务与少样本学习相结合,将人物交互识别任务定义为一个少样本任务,并提出了任务感知双原型网络(TDP-Net)来解决少样本人物交互任务.具体地,首先使用图方法为每个任务生成语义感知的任务表示作为任务的先验信息,并使用语义图注意力模块(SGA-Module)生成注意力权重,对特征图中不同区域进行不同重要程度的关注,以适应不同任务条件下的映射关系,实现在新任务中自动推理.此外,还设计了一个双路原型模块(DP-Module)以分别产生交互类别的动作类原型和物体类原型,并分别对动词和名词进行分类.通过分别为动作和物体建立类原型,有效地分离了动作和物体间复杂的视觉关系.同时由于人物交互类别之间具有相似性,可通过重新组合动作和物体类别将知识迁移到新的交互类别中.实验结果表明,该模型在人物交互少样本任务上的平均准确率比基线方法在两个实验设置上分别提高了3.2个百分点和15.7个百分点,验证了TDP-Net在少样本人物交互任务中的有效性.     

改进Res2Net和注意力机制的高光谱图像分类

针对目前以卷积神经网络（CNN）为框架的高光谱图像分类模型参数量多,训练时间长,对样本数量依赖性大的问题,提出了一种改进Res2Net和注意力机制的高光谱图像分类模型。该模型首先使用主成分分析（PCA）对原始图像的通道维度进行降维,将降维后的数据输入三维空洞卷积层,并添加空间注意力模块以强化空间纹理特征;将所得特征映射输入两组空间-深度可分离残差结构结合通道注意力模块中,使用全局平均池化层将输出映射转换成一维向量;经过Softmax分类器获得分类标签。实验结果显示,该模型参数数量少,收敛速度快,使用少量训练样本在Indian Pines和Pavia University数据集上总体分类精度（OA）分别为98.95%和99.46%。     

一种适用于轻量级网络的双分支融合注意力机制

注意力机制越来越受到关注,许多研究已经分别证明了通道注意力和空间注意力对于提升模型性能的有效性,但现有算法通常忽略了如何将这两种信息更好地结合起来。对此,通过将通道注意力、空间注意力和全局提取的特征信息有效结合,提出了一种新的移动网络注意力机制,称之为双分支融合注意力机制,并将双分支融合注意力机制应用到轻量级网络上进行实验。实验结果表明,引入双分支融合注意力机制的模型在CIFAR-100和ImageNet-100数据集上的准确率相较于原始模型均有明显提升,且浮点计算量和参数量并未显著增加。     

利用位置增强注意力机制的属性级情感分类

属性级情感分类旨在准确识别评论中属性的情感极性。现有的基于长短时记忆网络(LSTM)的方法大多只利用了属性和上下文的语义信息,而忽视了属性与上下文相对位置信息。针对此问题,提出一种利用相对位置信息来增强注意力的LSTM网络模型,解决属性级情感分类问题。首先,对上下文的输入层加入位置向量,利用两个LSTM网络对上下文和属性分别进行独立语义编码;然后,对上下文的隐藏层再次拼接位置向量,并利用属性隐藏层向量参与上下文不同词注意力权重的计算;最后,利用上下文生成的有效表示进行情感分类。该模型在SemEval 2014 Task4 Restaurant和Laptop两个不同领域数据集上进行了实验,在三分类实验中,准确率分别达到79.7%和72.1%。在二分类实验中,准确率分别达到92.1%和88.3%。相比多个基线模型,在准确率上都有一定的提升。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息.提出一种基于注意力交互机制的层次网络(HNAIM)模型.该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征.最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利...     

基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.     

融合注意力机制的模糊图像多尺度复原

目的 去模糊任务通常难以进行对图像纹理细节的学习,所复原图像的细节信息不丰富,图像边缘不够清晰,并且需要耗费大量时间。本文通过对图像去模糊方法进行分析,同时结合深度学习和对抗学习的方法,提出一种新型的基于生成对抗网络(generative adversarial network, GAN)的模糊图像多尺度复原方法。方法 使用多尺度级联网络结构,采用由粗到细的策略对模糊图像进行复原,增强去模糊图像的纹理细节;同时采用改进的残差卷积结构,在不增加计算量的同时,加入并行空洞卷积模块,增加了感受野,获得更大范围的特征信息;并且加入通道注意力模块,通过对通道之间的相关性进行建模,加强有效特征权重,并抑制无效特征;在损失函数方面,结合感知损失(perceptual loss)以及最小均方差(mean squared error, MSE)损失,保证生成图像和清晰图像内容一致性。结果 通过全参考图像质量评价指标峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity,SSIM)以及复原时间来评价算法优劣。与其他方法的对比结...