基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

改进的基于多路径特征的胶囊网络

针对胶囊网络(CapsNet)在复杂数据集上的分类效果差，而且在路由过程中参数数量过大等问题，提出一种基于多路径特征的胶囊网络(MCNet)，包含新的胶囊特征提取器和新的胶囊池化方法。该胶囊特征提取器从多个不同路径中并行地提取不同层次、不同位置的特征，然后将特征编码为包含更多语义信息的胶囊特征；胶囊池化方法则在胶囊特征图的每个位置选取最活跃的胶囊，用少量的胶囊表示有效的胶囊特征。在4个数据集(CIFAR-10、SVHN、Fashion-MNIST、MNIST)上与CapsNet等模型进行了对比。实验结果显示，MCNet在CIFAR-10数据集上的分类准确率为79.27%，可训练的参数数量为6.25×10⁶，与CapsNet相比，MCNet的分类准确率提升了8.7%，参数数量减少了46.8%。MCNet能够有效提升分类准确率，同时减少可训练的参数数量。     

一种多尺度特征关联网络的遥感影像场景分类方法

针对遥感影像场景分类中提取特征信息不准确以及融合冗余信息的问题,提出一种多尺度特征关联网络的遥感影像场景分类方法。首先,利用ResNet18提取多尺度影像特征,并在特征金字塔结构中引入空洞卷积和多头自注意力模块关注各层有效信息,以增强语义信息和抑制周围噪声;其次,使用多特征关联模块来增强关键特征信息,对各层使用全局平均池化并加和,得到特征向量;最后,采用全连接层进行分类。该方法在NWPU数据集上的总体分类精度为90.51%,相比VGG＿VD16-MSCP、VGG＿VD16-SAFF以及DTDCNN等网络分别提升1.58%、2.65%和6.39%。结果表明,文章所用的多尺度融合方式能够更好地提取特征地物并抑制周围背景,从而取得更高的遥感影像场景分类精度。     

基于自适应三线性池化网络的细粒度图像分类

细粒度图像分类的关键在于提取图像中微妙的特征。现有基于弱监督方式的细粒度图像识别方法大多使用专家标注的边界注释辅助定位关键区域,存在标注成本高、训练过程复杂等问题。基于弱监督的双线性卷积神经网络方法因其学习到的特征空间更符合细粒度图像特性而具有一定的有效性,但忽略了层间的相互作用。针对细粒度图像识别领域存在的关键区域识别困难和层间交互关联弱的问题,融合二阶协方差通道注意力机制、自适应特征掩码与自适应三线性池化,提出自适应三线性池化网络ATP-Net,用于细粒度图像分类任务。通过二阶协方差通道注意力机制学习通道上的注意力向量,构建自适应特征掩码模块学习空间维上的注意力矩阵,设计自适应三线性池化模块学习特征的最终表示,以充分利用空间维、通道维上的信息。在CUB-200、Cars-196和Aircraft-100 3个细粒度图像分类数据集上的实验结果表明,ATP-Net的分类精度分别为89.30%、94.20%和91.80%。     

基于有效通道注意力的遥感图像场景分类

针对基于人工设计特征的方法不能提取高层次遥感图像信息以及以往利用VGGNet、ResNet等卷积神经网络（CNN）无法关注到遥感图像中显著分类特征的问题,提出了一种基于有效通道注意力（ECA）机制的遥感图像场景分类新模型——ECA-ResNeXt-8-SVM。为了建立高效模型,一方面,设计了嵌入ECA模块的深度特征提取网络ECA-ResNeXt-8,通过端到端的学习使网络更关注分类特征明显的通道;另一方面,利用支持向量机（SVM）代替全连接层作为已提取到的深度特征的分类器,从而进一步提高模型的分类准确率与泛化能力。该模型在实验数据集UC Merced Land-Use上的分类准确率达到95.81%,相较于使用SE-ResNeXt50与ResNeXt50网络,分别提高了6%与18%,且在分类准确率为75%时所提模型的训练时间比上述两个网络分别减少了82%与81%。实验结果表明,所提模型能够有效地减少模型的收敛时间并提升遥感图像场景分类的准确率。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于分层特征关联条件随机场的遥感图像分类

针对高分辨率遥感图像分类中空间上下文信息表达的难题,提出了一种新的多尺度条件随机场(CRF)模型。首先将图像内容表示成从细到粗三个超像素层:区域层、对象层、场景层,并将超像素特征逐层关联形成特征向量;再利用支持向量机(SVM)定义CRF关联势函数,利用相邻超像素特征对比度加权的Potts模型定义CRF交互势函数,最后形成一个分层特征关联的多尺度SVM-CRF模型。以Quickbird遥感图像中两个复杂场景为测试数据对该模型的分类有效性进行了验证,结果表明:该模型比基于上述三个超像素层的单尺度SVM-CRF模型分类精度分别平均提高了2.68%、1.66%、3.75%,而且分类时耗时较少。     

基于空间特征重标定网络的遥感图像场景分类

为充分利用遥感图像的场景信息,提高场景分类的正确率,提出一种基于空间特征重标定网络的场景分类方法。采用多尺度全向高斯导数滤波器获取遥感图像的空间特征,通过引入可分离卷积与附加动量法构建特征重标定网络,利用全连接层形成的瓶颈结构学习特征通道间的相关性,对多尺度空间特征进行权重筛选以实现特征重标定,并结合卷积神经网络训练得到最终的分类结果。实验结果表明,该方法在UCM_LandUse与机载SAR图像数据上的分类正确率分别达到94.76%和95.38%,与MNCC、MS-DCNN、PCA-CNN等算法相比,其遥感图像分类精度与泛化能力显著提升。     

基于池化和特征组合增强BERT的答案选择模型

当前主流模型无法充分地表示问答对的语义,未充分考虑问答对主题信息间的联系并且激活函数存在软饱和的问题,而这些会影响模型的整体性能。针对这些问题,提出了一种基于池化和特征组合增强BERT的答案选择模型。首先,在预训练模型BERT的基础上增加对抗样本并引入池化操作来表示问答对的语义;其次,引入主题信息特征组合来加强问答对主题信息间的联系;最后,改进隐藏层的激活函数,并用拼接向量通过隐藏层和分类器完成答案选择任务。在SemEval-2016CQA和SemEval-2017CQA数据集上进行的验证结果表明,所提模型与tBERT模型相比,准确率分别提高了3.1个百分点和2.2个百分点;F1值分别提高了2.0个百分点和3.1个百分点。可见,所提模型在答案选择任务上的综合效果得到了有效提升,准确率和F1值均优于对比模型。     

多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

基于动态图卷积的加权点云分类网络

传统的直接处理点云的PointNet类深度学习网络大多只考虑了点云的全局特征而忽视了点云局部特征,动态图卷积网络DGCNN通过构建[k]近邻图完成了对局部特征的弥补。然而现有的DGCNN使用简单的边缘特征作为局部特征的输入,没有对局部特征进行更深入的研究,且仅使用最大池化处理点云无序性问题,这造成了一定的信息损失。提出加权点云分类网络WDGCNN,使用特征拼接思想优化网络结构以实现多层次特征的融合、通过对[k]近邻图构成的边缘特征设计恰当的加权函数以弱化远点的干扰,相对加强近点的特征、采用最大池化和平均池化相结合的对称函数弥补单独使用最大池化造成的全局信息损失的新方法,实现了模型优化。实验结果表明,在通用点云分类数据集ModelNet40上,WDGCNN相比于DGCNN分类准确率由91.61%达到了93.22%,验证了新方法的有效性。     

基于高斯函数的池化算法

针对卷积神经网络（CNN）中的传统池化算法不能很好地考虑到池化域内每个元素与该池化域所含特征之间关联性的问题,提出一种基于高斯函数的池化算法。首先根据池化域内各元素的值和所有元素的最大值计算高斯函数的三个参数值,然后运用高斯函数计算池化域内所有元素的权重,最后根据这些权重对池化域内所有元素值计算加权平均值,并以此作为池化结果。选择LeNet5、VGG16、ResNet18和MobileNet v3作为实验模型,在公开数据集CIFAR-10、Fer2013和德国交通标志识别基准（GTSRB）上进行实验,并与最大池化、平均池化、随机池化、混合池化、模糊池化、融合随机池化和soft池化这七种池化算法进行对比。实验结果表明,所提算法在三个数据集上相较其他算法在精度方面均有0.5个百分点到6个百分点的提升,且在运行效率方面优于上述除最大池化和平均池化两种池化算法外的其他池化算法,从而验证所提算法有效且具适合应用于对运算时间要求不高但对精度要求较高的情况。     

基于随机子图像模型的遥感图像分类

高分辨率遥感图像（HRRS）的分类是一项具有挑战性的任务。针对遥感数据集图像本身的语义特性,提出一种对数据集图像进行随机子图像提取并带有金字塔池化模型的卷积神经网络（Convolutional Neural Network,CNN）。对输入图像的尺寸进行基于柯西分布的随机尺寸剪切,将这些尺寸不同但是标签相同的子图像送进带有SPP（空间金字塔池化）的卷积神经网络,将子图像的预测类别众数作为最终分类输出。实验结果表明该方法对多类遥感图像的分类精度有一定提升。     

面向文本分类的多头注意力池化RCNN模型

针对经典循环卷积神经网络（RCNN）在池化层采用的最大池化策略较为单一,会忽略除最突出特征外的其他特征,影响分类精度的问题,提出基于多头注意力池化的循环卷积神经网络（MHAP-RCNN）模型。多头注意力池化可以充分考虑各特征对分类的贡献,且能在训练过程中动态优化,有效缓解最大池化的单一性问题。在三个公开的文本分类数据集上进行实验,结果表明与经典RCNN及其他各模型相比,提出的模型具有更好的文本分类性能。     

结合像元形状特征分割的高分辨率影像面向对象分类

针对高分辨率遥感影像空间分辨率高,结构形状、纹理、细节信息丰富等特点,提出一种新的融合特征的面向对象影像分类方法来提取城市空间信息。基本过程包含以下4个方面:①提取影像的几何纹理等结构;②融合几何与纹理特征的面向对象影像分割;③提取对象的形状、纹理和光谱特征,并优选最佳特征子集;④最后基于支持向量机(SVM)完成面向对象的影像分类。通过对福州IKONOS影像数据实验,结果表明融入影像特征后的分割效果明显优于原始影像的分割结果,而信息最大化(mRMR)的特征选择能够快速地获得较好的特征子集。通过与eCognition最邻近分类方法比较,表明本文方法的分类总体精度大约提高了6%,效果显著。     

基于U-Net的高分辨率遥感图像土地利用信息提取

随着现代遥感技术的迅速发展,遥感图像的质量和数量得到了显著的提升,新技术带来的高分辨率遥感图像所蕴含的信息也更加丰富,如何利用人工智能手段辅助挖掘这些丰富的信息也成为了遥感图像分析与理解的重要内容。与此同时,以深度卷积神经网络为代表的人工智能技术在图像处理领域大放异彩。得益于类人眼的分层卷积池化模型,深度卷积神经网络可以在图像分割和分类等任务上取得优异的结果。因此采用U-Net为代表的深度卷积神经网络对2 m的高分辨率遥感影像进行了特征提取、分割和分类,不同于传统基于手工设定图像特征的方法,U-Net可以自动对海量高分辨率的遥感图像进行特征提取,从而充分挖掘高分辨率遥感影像中复杂的非线性特征、光谱特征和纹理特征。实验结果表明：利用训练好的U-Net模型对新昌县土地利用分类计算时间为55.7 s,分类准确率可达90.95%,Kappa系数为0.86。U-Net模型可以快速、精确地提取高分辨率遥感影像中的地表覆盖特征,得到高精度的土地利用分类结果,说明将该模型应用于遥感影像土地利用分类提取有着广阔前景。     

基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

针对阿尔兹海默症（AD）患者和正常（NC）人之间核磁共振成像（MRI）图像差别小、分类难度大的问题,提出了基于改进VGG网络的弱监督细粒度AD分类方法。该方法以弱监督数据增强网络（WSDAN）为基本模型,主要由弱监督注意力学习模块、数据增强模块及双线性注意力池化模块等构成。首先,通过弱监督力注意学习模块生成特征图和注意力图,并利用注意力图引导数据增强,将原图和增强后的数据同时作为输入数据进行训练;然后,通过双线性注意力池化算法将特征图和注意力图按元素进行点乘,进而得到特征矩阵;最后,将特征矩阵作为线性分类层的输入。将以VGG19作为特征提取网络的WSDAN基本模型应用到AD的MRI数据上,实验结果表明,仅使用图像增强的模型的准确性、敏感性和特异性分别比WSDAN基本模型提高了1.6个百分点、0.34个百分点和0.12个百分点;仅利用VGG19网络的改进的模型的准确性和特异性相较WSDAN基本模型分别提高了0.7个百分点和2.82个百分点;以上两个方法结合使用的模型与WSDAN基本模型相比,准确性、敏感性和特异性分别提高了2.1个百分点、1.91个百分点和2.19个百分点。