融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

基于轻量级光谱-空间注意力交互网络的高光谱地物分类研究

通过引入基于卷积神经网络(convolutional neural network, CNN)的分类算法,高光谱图像(hyperspectral image, HSI)分类任务的精度取得显著的提升,但目前主流CNN算法往往较为复杂且参数量大,从而导致网络难以训练以及容易产生过拟合问题。为在保证网络分类性能的前提下实现轻量化,本文提出一个轻量级架构的基于光谱-空间注意力交互机制的CNN网络用于HSI分类。为实现HSI的光谱-空间特征提取,构建了一个轻量化的双路径骨干网络用于两种特征的提取和融合。其次,为提高特征的表征能力,设计了两个注意力模块分别用于光谱和空间特征的权重再调整。同时,为加强双路径特征之间的关联以实现特征的更好融合,注意力交互机制被引入到网络中以进一步提升网络性能。在3个真实HSI数据集上的分类结果表明,本文所提网络可达到99.5%的分类准确度,并相比于其他网络至少减少50%的参数量。     

注意力引导梯形金字塔融合网络识别新冠肺炎X射线影像

新型冠状病毒肺炎(corona virus disease 2019,COVID-19)严重影响人类社会和经济的发展,威胁人类的健康。如何更准确、快速地排查感染病毒的患者,使用卷积神经网络(convolutional neural network, CNN)的方法识别COVID-19胸部X射线影像,完成计算机自动辅助诊断。但是,由于识别精度不高,难以准确判断是否感染了COVID-19。为了提高网络模型对COVID-19胸部X射线影像的识别性能,首先提出注意力引导梯形金字塔融合网络(attention steered trapezoid pyramid fusion network, ASTPNet),该网络可以附加在不同的CNN上,有效地利用模型中深层与浅层网络的特点;其次提出注意力引导块(attention steered block, AS Block),通过通道和空间注意力,强调通道和空间中的有效语义信息,弱化无效的干扰信息,高效地聚合加权信息。最终实验结果表明：将ASTPNet附加在VGG16/19、ResNet34/50和ResNeXt上,识别精度有了显著提升;应用于自建的C...     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

基于图卷积的视网膜血管轮廓及高不确定度区域细化框架

针对传统卷积神经网络(convolutional neural network, CNN)受感受野大小的限制,无法直接有效地获取空间结构及全局语义等关键信息,导致宽血管边界及毛细血管区域特征提取困难,造成视网膜血管分割表现不佳的问题,提出一种基于图卷积的视网膜血管分割细化框架。该框架通过轮廓提取及不确定分析方法,选取CNN粗分割结果中潜在的误分割区域,并结合其提取的特征信息构造出合适的图数据,送入残差图卷积网络(residual graph convolutional network, Res-GCN)二次分类,得到视网膜血管细化分割结果。该框架可以作为一个即插即用模块接入任意视网膜血管分割网络的末端,具有高移植性和易用性的特点。实验分别选用U型网络(U-neural network, U-Net)及其代表性改进网络DenseU-Net和AttU-Net作为基准网络,在DRIVE、STARE和CHASEDB1数据集上进行测试,本文框架的Sp分别为98.28%、99.10%和99.04%,Pr分别为87.97%、88.87%和90.25%,证明其具有提升基准网络分割效果的细化能力。     

基于CTCNet对球结膜进行糖尿病视网膜病变分类

糖尿病视网膜病变(diabetic retinopathy, DR)是一种糖尿病性微血管病变,会在球结膜微血管上有所体现,球结膜血管图像的获取比眼底图像更加便捷,但微血管的特征变化微小且难以量化。为了能够对患者进行早期辅助诊断,本文依据球结膜微血管形态与DR的关联,首先对球结膜图像进行预处理,使用限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization, CLAHE)算法进行图像增强,随机处理使数据增强,然后结合卷积神经网络(convolutional neural network, CNN)和Transformer各自的网络优势构建CTCNet,对处理后的球结膜血管图像进行DR分类,分类准确率达到了97.44%,敏感度97.69%,特异性97.11%,精确度97.69%,通过实验对比CNN和Transformer, CTCNet网络性能优于其他模型,能够有效识别DR。     

基于多维度特征遥感图像分类方法的研究北大核心CSCD

为了解决传统高光谱图像分类方法精度低、计算成本高及未能充分利用空-谱信息的问题,本文提出一种基于多维度并行卷积神经网络(multidimensional parallel convolutional neural network,3D-2D-1D PCNN)的高光谱图像分类方法。首先,该算法利用不同维度卷积神经网络(convolutional neural network,CNN)提取高光谱图像信息中的空-谱特征、空间特征及光谱特征;之后,采用相同并行卷积层将组合后的空-谱特征、空间特征及光谱特征进行特征融合;最后,通过线性分类器对高光谱图像信息进行精准分类。本文所提方法不仅可以提取高光谱图像中更深层次的空间特征和光谱特征信息,同时能够将光谱图像不同维度的特征进行融合,减小计算成本。在Indian Pines、Pavia Center和Pavia University数据集上对本文算法和4种传统算法进行对比实验,结果表明,本文算法均得到最优结果,分类精度分别达到了99.210%、99.755%和99.770%。     

一种基于可变形卷积的高光谱图像分类算法

随着深度学习的不断发展,基于深度学习的机器 视觉方法被广泛应用,其中,卷积神 经网络(convolutional neural network,CNN)对高光谱图像(hyperspectral imagery,HSI ) 分类有着显著的效果。传统卷积网络中卷积核的采样位置是固定的,不能根据HSI中复杂的 空间结构而改变,忽略了数据在空间分布上的特征,为了提高高光谱图像分类在实际应用中 的性能,本文提出了一种基于可变形卷积的高光谱图像分类方法,考虑到HSI高维度的特性 , 将可变形卷积从2D引伸到3D,从而更好地提取3D空间上的特征。本文结合双分支双注意机制网络(double- branch dual-attention mechanism network,DBDA)的网络结构和3D可变形卷积,在Indi an Pines(IP)和Botswana(BS)2个数据集上进行了实验。实验结果表明,本文的方法在 综合精度(overall accuracy, OA) 、平均精度(average accuracy, AA)、KAPPA评价标准上均获得了更好的分类准确 率,相较于次优算法,OA提高了0.15%—0.23%,AA提高了0.21%, KAPPA提高了0.000—0.001。     

基于注意力机制辅助的空谱联合残差网络的高光谱图像分类

卷积神经网络（convolutional neural network,CNN）是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,CNN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

基于多尺度注意力CNN的SAR遥感目标识别

目标识别是合成孔径雷达（Synthetic Aperture Radar,SAR）图像解译的重要步骤。鉴于卷积神经网络（Convolutional Neural Network, CNN）在自然图像分类领域表现优越,基于CNN的SAR图像目标识别方法成为了当前的研究热点。SAR图像目标的散射特征往往存在于多个尺度当中,且存在固有的噪声斑,含有冗余信息,因此,SAR图像目标智能识别成为了一项挑战。针对以上问题,本文提出一种多尺度注意力卷积神经网络,结合多尺度特征提取和注意力机制,设计了基于注意力的多尺度残差特征提取模块,实现了高精度的SAR遥感图像目标识别。该方法在MSTAR数据集10类目标识别任务中的总体准确率达到了99.84%,明显优于其他算法。在测试集加入4种型号变体后,10类目标识别任务中的总体准确率达到了99.28%,验证了该方法在复杂情况下的有效性。     

基于全卷积神经网络的SAR图像目标分类

近年来,卷积神经网络(Convolutional Neural Network,CNN)在合成孔径雷达(Synthetic Aperture Radar,SAR)图像目标分类中取得了较好的分类结果。CNN结构中,前面若干层由交替的卷积层、池化层堆叠而成,后面若干层为全连接层。全卷积神经网络（All Convolutional Neural Network, A-CNN）是对CNN结构的一种改进,其中池化层和全连接层都用卷积层代替,该结构已在计算机视觉领域被应用。针对公布的MSTAR数据集,提出了基于A-CNN的SAR图像目标分类方法,并与基于CNN的SAR图像分类方法进行对比。实验结果表明,基于A-CNN的SAR图像目标分类正确率要高于基于CNN的分类正确率。     

基于卷积神经网络和注意力机制的图像检索

当前先进的图像检索方法中,存在着不能很好地分辨图像中不同区域和内容的重要性的问题,导致计算资源分配不合理、检索正确率较低等一系列结果。为了解决这些问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)和注意力机制的图像检索方法。首先使用卷积神经网络提取特征,然后使用注意力机制处理提取的特征,可以在计算能力有限的情况下根据图像中的内容合理分配计算资源,使图像中的突出部分得到更多的关注。最后通过融合全局平均池化层处理后的CNN特征来进行图像检索。所提方法在corel1k、corel5k和corel10k三个数据集上与其他先进的图像检索方法进行了比较,结果表明该方法能够有效提高图像检索的精确率和召回率,并且在检索返回的前k张图像的数量(top-k)增加时,仍能保持良好且稳定的检索精确率。     

基于图卷积神经网络的胸部放射影像疾病分类方法北大核心CSCD

医学X射线作为胸部疾病的常规检查手段,可以对早期不明显的胸部疾病进行诊断,并且观察出病变部位。但是,同一张放射影像上呈现出多种疾病特征,对分类任务而言是一个挑战。此外,疾病标签之间存在着不同的对应关系,进一步导致了分类任务的困难。针对以上问题,本文将图卷积神经网络(graph convolutional neural network,GCN)与传统卷积神经网络(convolutional neural network,CNN)相结合,提出了一种将标签特征与图像特征融合的多标签胸部放射影像疾病分类方法。该方法利用图卷积神经网络对标签的全局相关性进行建模,即在疾病标签上构建有向关系图,有向图中每个节点表示一种标签类别,再将该图输入图卷积神经网络以提取标签特征,最后与图像特征融合以进行分类。本文所提出的方法在ChestX-ray14数据集上的实验结果显示对14种胸部疾病的平均AUC达到了0.843,与目前3种经典方法以及先进方法进行比较,本文方法能够有效提高分类性能。     

结合LSTM与CNN的野外车辆声信号分类

针对野外环境下微声传感器采集的小型轮式车、大型轮式车和履带车3种车辆声信号受风噪影响严重、分类性能较低的问题,提出了一种长短时记忆网络（LSTM）与多尺度、多层次特征融合卷积神经网络（CNN）相结合的分类算法——野外车辆识别算法（FVNet）。该算法先采用一层LSTM网络提取声信号的时序特征,充分利用声信号的长时依赖关系;再用CNN并行提取多尺度特征,避免网络加深过程中特征的流失;引入通道注意力机制进行多尺度和多层次特征融合,增强多尺度、多层次关键特征信息;最后在相同数据集上进行验证。实验结果表明,FVNet算法对3种车辆的总识别率可达94.95%,与传统方法相比,其总识别率提高了14.61%,取得了较好的分类效果。