基于反卷积高层特征的遥感地物图像分类

目前利用深度卷积神经网络提取图像底层特征后分类效果已比较优秀,但是对于数据量大、波段多、波段间相关性高的多光谱遥感图像并非完全适用。针对多光谱遥感地物分类中常常出现的Hughes现象,即当训练样本一定时,模型的预测能力随着维度的增加而减小,提出了一种结合高层特征空间和迁移学习网络的遥感地物图像分类算法,利用两层堆叠的反卷积网络来提取目标数据集的高层特征,利用VGG16模型的卷积层权重来构建迁移网络模型,将高层特征导入迁移网络中加强训练得到更加优越的训练模型,利用训练模型可对多光谱遥感数据集更加准确分类。实验结果表明,在Satellite、NWPU和UC Merced实验数据中,冰川、建筑群和海滩分类精度得到有效提高,达到92%左右,针对沙漠、岩石、水域等特殊环境遥感图像,总体分类精度提高5%左右。部分多光谱遥感数据的底层特征和中层特征在训练器中表现并不理想,波段的增多也会导致信息的冗余和数据处理复杂性的提高,反而高层特征在这部分数据中保留了地物信息的轮廓,能更好地适应分类器,得到更加优越的分类结果。     

基于卷积神经网络的小样本图像识别方法

为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。     

结合迁移学习模型的卷积神经网络算法研究

针对传统的卷积神经网络算法在训练集与测试集分布不同时分类精度较低且标注成本较高的问题,提出结合迁移学习模型的卷积神经网络算法。使用主成分分析算法对源域数据进行无监督降维,同时结合自编码机算法对目标数据集降维,使源域和目标数据集在低维度下具有相似的特征分布;根据卷积神经网络特征提取的特点,利用JS散度来判别卷积池层能否迁移,并使用初始化的隐藏层补全trCNN模型;使用少量带标注的目标数据集进行训练,完成分类模型的构建。设计实验验证分类模型能够在使用少量标注数据情况下准确地完成分类工作。     

一种利用知识迁移的卷积神经网络训练策略

针对深层卷积神经网络在有限标记样本下训练时存在的过拟合和梯度弥散问题,提出一种从源模型中迁移知识训练一个深层目标模型的策略.迁移的知识包括样本的类别分布和源模型的低层特征,类别分布提供了样本的类间相关信息,扩展了训练集的监督信息,可以缓解样本不足的问题;低层特征包含样本的局部特征,在相关任务的迁移过程中具有一般性,可以使目标模型跳出局部最小值区域.利用这两部分知识对目标模型进行预训练,能够使模型收敛到较好的位置,之后再用真实标记样本进行微调.实验结果表明,所提方法能够增强模型的抗过拟合能力,并提升预测精度.     

联合Fisher核编码和卷积神经网络的影像场景分类

针对高分辨率遥感影像场景分类中使用中、低层特征不能有效表达高分影像的语义信息,造成分类精度不高的问题,提出了一种联合Fisher核编码和卷积神经网络的高分影像场景分类方法。首先利用Fisher核编码框架提取影像的中层语义特征,然后利用深度卷积神经网络提取影像高层语义特征,最后融合中、高层特征利用支持向量机进行分类。实验采用迁移学习方法来克服深度卷积神经网络对训练数据量的需求。实验数据采用UC-Merced 21类和WHURS 19类2个高分影像数据集。实验结果表明,中、高层融合特征包含更丰富的场景信息,增加了目标的可区分性,相比已有方法,该方法能够有效提高分类精度;迁移学习方法能够克服深度卷积神经网络对训练数据量的依赖性。     

基于双注意力多层特征融合的视觉情感分析

为获得更具判别性的视觉特征并提升情感分类效果,构建融合双注意力多层特征的视觉情感分析模型。通过卷积神经网络提取图像多通道的多层次特征,根据空间注意力机制对多通道的低层特征赋予空间注意力权重,利用通道注意力机制对多通道的高层特征赋予通道注意力权重,分别强化不同层次的特征表示,将强化后的高层特征和低层特征进行融合,形成用于训练情感分类器的判别性特征。在3个真实数据集Twitter Ⅰ、Twitter Ⅱ和EmotionROI上进行对比实验,结果表明,该模型的分类准确率分别达到79.83%、78.25%和49.34%,有效提升了社交媒体视觉情感分析的效果。     

基于迁移学习的水产动物图像识别方法

针对传统水产动物图像识别方法步骤复杂、准确率差、泛化性差,而深度卷积神经网络（DCNN）模型开发难度大等问题,提出一种基于参数迁移策略采用微调方式再训练源模型的方法。首先,对图像进行数据增强等预处理;然后,在修改源模型全连接分类层的基础上,进一步将高层卷积模块的权重设置为可训练以进行自适应调整;最后,以验证集识别率与训练时间作为评估指标,针对不同源模型采用不同的可训练参数占比进行性能实验。实验结果表明,通过再训练得到的图像识别模型准确率可达到97.4%,相比源模型最多可提高20个百分点;在可训练参数占比为75%左右时可得到较理想的性能。通过实验证实了采用微调方法可以在低成本开发条件下得到性能良好的深度神经网络图像识别模型。     

融合迁移学习的Inception-v3模型在古壁画朝代识别中的应用

针对古代壁画图像数量少、质量差、特征提取困难和存在壁画文本与绘画风格相似等问题,提出了一种融合迁移学习的Inception-v3模型来对古代壁画的朝代进行识别与分类。首先,将Inception-v3模型在ImageNet数据集上进行预训练以得到迁移模型;然后,将迁移模型在小型壁画数据集上进行参数微调后对壁画图像提取高层特征;其次,增加两个全连接层来增强特征表达能力,并用颜色直方图与局部二值模式（LBP）纹理直方图提取壁画的艺术特征;最后,将高层特征与艺术特征相融合,用Softmax分类器进行壁画的朝代分类。实验结果表明,所提出的模型训练过程稳定,在构造的小型壁画数据集上,其最终准确率为88.70%,召回率为88.62%,F1值为88.58%,以上各评价指标均优于AlexNet、VGGNet等经典网络模型;与LeNet-5、AlexNet-S6等改进的卷积神经网络模型相比,该模型对各朝代类别准确率平均提升了至少7个百分点。可见,该模型泛化能力强,不易出现过拟合现象,能有效识别壁画所属朝代。     

基于InceptionV3和特征融合的人脸活体检测

针对身份验证中经常出现的照片欺诈问题,提出了一种基于InceptionV3和特征融合的人脸活体检测模型——InceptionV3_FF。首先,在ImageNet数据集上预训练InceptionV3模型;其次,从InceptionV3模型的不同层得到图像的浅层、中层和深层特征;然后,将不同的特征进行融合得到最终的特征;最后,使用全连接层对特征进行分类,从而实现端到端的训练。InceptionV3_FF模型在NUAA数据集和自制的STAR数据集上进行仿真实验,实验结果表明,InceptionV3_FF模型在NUAA数据集和STAR数据集上分别取得了99.96%和98.85%的准确率,高于InceptionV3迁移学习和迁移微调模型;而与非线性扩散卷积神经网络（ND-CNN）、扩散核（DK）、异构内核卷积神经网络（HK-CNN）等模型相比,InceptionV3_FF模型在NUAA数据集上的准确率更高,具备一定的优越性。InceptionV3_FF模型对数据集中随机抽取的单张图片进行识别时,仅需4 ms。InceptionV3_FF模型和OpenCV结合构成的活体检测系统可以对真假人脸进行识别。     

一种基于迁移学习的能见度检测方法

为学习可有效反映能见度的视觉特征,解决大规模训练数据集构建困难的问题,提出一种将深度卷积神经网络应用于能见度检测的方法。将样本图像划分为多个子区域,利用预训练的VGG-16网络对其进行编码。通过编码特征集训练支持向量回归模型,并根据支持向量误差计算各子区域的融合权重,按权重融合子区域能见度估计值。实验结果表明,该方法检测正确率超过90%,可满足实际应用的需求。     

Research on Transfer Learning Methods for Classification of Typhoon Cloud Image

Aiming at the complexity of traditional methods for feature extraction about satellite cloud images, and the difficulty of developing deep convolutional neural network from scratch, a parameter-based transfer learning method for classifying typhoon intensity is proposed. Take typhoon satellite cloud images published by Japan Meteorological Agency, which includes 10 000 scenes among nearly 40 years to construct training and test typhoon datasets. Three deep convolutional neural networks, VGG16, InceptionV3 and ResNet50 are trained as source models on the large-scale ImageNet datasets. Considering the discrepancy between low-level features and high-level semantic features of typhoon cloud images, adapt the optimal number of transferable layers in neural networks and freeze weights of low-level network. Meanwhile, fine-tune surplus weights on typhoon dataset adaptively. Finally, a transferred prediction model which is suitable for small sample typhoon datasets, called T-typCNNs is proposed. Experimental results show that the T-typCNNs can achieve training accuracy of 95.081% and testing accuracy of 91.134%, 18.571% higher than using shallow convolutional neural network, 9.819% higher than training with source models from scratch.     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

多维加权密集连接卷积网络的卫星云图云检测

云检测是多光谱卫星云图分析的前提。传统云检测方法不能很好地对多光谱卫星云图进行特征表示,导致了云检测不是很准确。卷积神经网络虽然能有效地提取特征,但训练时会产生梯度扩散,训练效率低,优化困难等问题。针对这些问题,提出多维加权密集连接卷积神经网络模型实现对多光谱卫星云图的云检测。跨层连接能够实现网络中所有层之间的信息流,从而减少训练过程中的梯度消失导致收敛困难的问题。特征图之间连接的权值不同使得网络能够更高效地利用特征信息。通过实验结果对比,该模型可以很好地提取云图特征,提高多光谱云图检测的准确率,具有更好的泛化性能和优化效率。     

基于卷积特征的非平衡人群密度估计方法

人群密度估计在智能监控领域具有重要的应用价值。大量理论和经验研究表明,基于数据驱动的深度神经网络往往优于传统的基于手工特征的方法。但是人群样本的数据规模很小,深层次的网络很难得到较优解。鉴于此,提出了3种解决方法:训练较浅的神经网络,使用预训练深度模型的全连接层特征和使用预训练深度模型的卷积-FV(Fisher Vector)特征。针对样本的不平衡性问题,提出了使用多个分类评估标准的解决方案。在标准数据集PETs2009上的实验结果表明,相比于现有的手工特征,卷积特征具有更好的效果。其次,相比于训练一个全新的卷积模型,基于迁移学习的深度卷积特征是更好的选择。另外,通过层数较少的深度模型获得的较低层特征的迁移性更好。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

Fine-tuning deep convolutional neural networks for distinguishing illustrations from photographs

Systems for aggregating illustrations require a function for automatically distinguishing illustrations from photographs as they crawl the network to collect images. A previous attempt to implement this functionality by designing basic features that were deemed useful for classification achieved an accuracy of only about 58%. On the other hand, deep neural networks had been successful in computer vision tasks, and convolutional neural networks (CNNs) had performed good at extracting such useful image features automatically. We evaluated alternative methods to implement this classification functionality with focus on deep neural networks. As the result of experiments, the method that fine-tuned deep convolutional neural network (DCNN) acquired 96.8% accuracy, outperforming the other models including the custom CNN models that were trained from scratch. We conclude that DCNN with fine-tuning is the best method for implementing a function for automatically distinguishing illustrations from photographs.     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

基于卷积神经网络的图像数据增强算法

提升卷积神经网络的泛化能力和降低过拟合的风险是深度卷积神经网络的研究重点。遮挡是影响卷积神经网络泛化能力的关键因素之一,通常希望经过复杂训练得到的模型能够对遮挡图像有良好的泛化性。为了降低模型过拟合的风险和提升模型对随机遮挡图像识别的鲁棒性,提出了激活区域处理算法,在训练过程中对某一卷积层的最大激活特征图进行处理后对输入图像进行遮挡,然后将被遮挡的新图像作为网络的新输入并继续训练模型。实验结果表明,提出的算法能够提高多种卷积神经网络模型在不同数据集上的分类性能,并且训练好的模型对随机遮挡图像的识别具有非常好的鲁棒性。     

Cloud/snow recognition for multispectral satellite imagery based on a multidimensional deep residual network

Cloud/snow recognition technology for multispectral satellite imagery plays an important role in resource investigation, natural disasters, and environmental pollution. Traditional feature based classification methods cannot make full use of the effective features and multispectral optical parameters of satellite imagery; the precision of cloud/snow recognition is not good enough. Although deep convolution neural network (CNN) can extract features effectively, it faces training gradient diffusion and model degradation, which lead to a low accuracy in classification. In order to solve this problem, an improved deep residual network with multidimensional input is proposed for the cloud/snow recognition. The multidimensional deep residual network (M-ResNet) can effectively extract the image features and spectral information of satellite imagery. The multispectral satellite imagery is divided into cloud/snow-free, cloud only, snow only and cloud/snow mixed using the proposed method. The experimental results of HuanJing-1A/1B (HJ-1A/1B) satellite imagery in China show that the M-ResNet performs a good distinction for the four kinds of images. The accuracy of the classification is higher than support vector machine (SVM), random forest, convolution neural networks, and multi-grained cascaded forest (GcForest).     

基于深度极限学习机的卫星云图云量计算

卫星云图云量计算是卫星气象应用的基础,现阶段对其的研究未能充分利用卫星云图的特征,导致云检测及云量计算的效果不好。针对该问题,利用多层神经网络进行卫星云图的特征提取,并通过大量实验寻找到最优的深度学习的网络结构。基于度极限学习机对卫星云图的云进行检测和分类,再利用“空间相关法”计算云图中的总云量。实验结果表明,基于传统极限学习机的深度极限学习机能够充分提取云图的特征,在进行云分类时能够较清晰地区分厚云和薄云间的界限。相比于传统阈值法、极限学习机模型以及卷积神经网络,深度极限学习机的云识别率以及云量计算准确率更高,且所提方法比卷积神经网络的效率更高。