基于残差网络迁移学习的花卉识别系统

传统的花卉识别算法一般是建立在手动特征提取和分类器训练的基础上，其泛化能力有限且准确度存在瓶颈。为此提出了基于深度卷积网络的识别算法，采用152层残差网络架构，在爬虫获取的大量标定数据基础上，对神经网络进行迁移学习训练。上线发布的算法集成系统中，用户拍照获取的花卉照片可通过网络传输到云服务器，并在服务端部署的深度学习架构下实现花卉快速识别。针对ImageNet和网龙花卉数据集的实验对比结果表明，基于残差网络迁移学习的方法具有识别准确率高、实时反馈、鲁棒性好等特点。     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

基于自发表情数据集预训练的多任务深度网络表情识别方法

为了更好地将现有深度卷积神经网络应用于表情识别,提出将构建自然表情图像集预训练和多任务深度学习相结合的方法。首先,利用社交网络图像构建一个自发面部表情数据集,对现有深度卷积神经网络进行预训练;然后,以双层树分类器替换输出层的平面softmax分类器,构建深度多任务人脸表情识别模型。实验结果表明,本文提出的方法有效提高了人脸表情识别准确率。     

基于深度可分离残差网络的遥感影像路网检测

从高分辨率遥感影像中提取并检测路网一直都是计算机视觉研究的热点和难点。目前,基于深度学习的遥感影像路网检测方法大部分都是以卷积运算为基础的卷积神经网络,而以深度可分离卷积运算为基础深度可分离卷积神经网络作为以卷积运算为基础的卷积神经网络的替代神经网络,不仅在特征提取能力上优于卷积神经网络,而且在参数量和计算量方面也低于卷积神经网络。鉴于此,该文利用深度可分离卷积运算替换卷积运算,并引入残差模块,构造了深度可分离残差网络进行遥感影像的路网自动检测的应用。实验结果表明,在RRSI和CHN6-CUG数据集上,虽然深度可分离残差网络的准确率和损失与相对应的卷积神经网络和残差网络的准确率和损失的区别不大,但是深度可分离残差网络的训练耗时时长远远低于相对应的卷积神经网络和残差网络的训练耗时时长,而且深度可分离残差网络的路网检测实际结果也优于相对应的卷积神经网络和残差网络的路网检测实际结果。     

基于遮挡感知卷积神经网络的面部表情识别模型

针对面部遮挡情况下表情特征难以提取的问题,提出一种双通道遮挡感知神经网络模型。设计区域遮挡判定单元并集成到VGG16网络中形成遮挡感知神经网络,提取面部图像中未遮挡区域及遮挡较少区域的表情特征。运用迁移学习算法对卷积层参数进行预训练,减轻训练数据样本不足带来的过拟合问题。通过优化残差网络提取全脸表情相关特征,在此基础上加权融合遮挡感知神经网络和残差网络的输出以识别表情。在CK+、RAF-DB、SFEW这3个公开数据库上进行对比实验,结果表明,该模型平均准确率分别达到97.33%、86%、61.06%,与OPCNN、ResNet、VGG16等传统卷积神经网络模型相比,有效提高了面部遮挡情况下的表情识别精度。     

基于残差的改进卷积神经网络图像分类算法

现有深度残差网络作为一种卷积神经网络的变种,由于其良好的表现,被应用于各个领域,深度残差网络虽然通过增加神经网络深度获得了较高的准确率,但是在相同深度情况下,仍然有其他方式提升其准确率.本文针对深度残差网络使用了三种优化方法：（1）通过卷积网络进行映射实现维度填充;（2）构建基于SELU激活函数的残差模块（3）学习率随迭代次数进行衰减.在数据集Fashion-MNIST上测试改进后的网络,实验结果表明：所提出的网络模型在准确率上优于传统的深度残差网络.     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

面向表情识别的重影非对称残差注意力网络模型

针对ResNet50中的Bottleneck经过1×1卷积降维后主干分支丢失部分特征信息而导致在表情识别中准确率不高的问题,本文通过引入Ghost模块和深度可分离卷积分别替换Bottleneck中的1×1卷积和3×3卷积,保留更多原始特征信息,提升主干分支的特征提取能力;利用Mish激活函数替换Bottleneck中的ReLU激活函数,提高了表情识别的准确率;在此基础上,通过在改进的Bottleneck之间添加非对称残差注意力模块(asymmetric residual attention block, ARABlock)来提升模型对重要信息的表示能力,从而提出一种面向表情识别的重影非对称残差注意力网络（ghost asymmetric residual attention network, GARAN）模型。对比实验结果表明,本文方法在FER2013和CK+表情数据集上具有较高的识别准确率。     

全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

一种改进的深度残差网络行人检测方法

为了提高行人检测方法的准确率,针对行人图像特征,提出一种基于深度残差网络和YOLO(You Only Look Once)方法的行人检测方法。以加强行人特征表达为目的,通过分析行人在图像中的表达和分布特征,提出一种不影响实时性的矩形输入深度残差网络分类模型以改进YOLO检测方法,使模型能够更好的表征行人;为了进一步提高模型的准确率和泛化能力,采用了混合行人数据集训练的方式,提取VOC数据集的行人数据与INRIA数据集组成混合数据集进行训练,明显降低了漏检率;并且利用聚类分析预测框的方法重新设计了初始预测框,提高行人定位能力并加快收敛。经公开的INRIA数据集的测试实验证明,本方法较主流的行人检测方法每张图片误检率有明显改善,降低至13.86%,有1.51%至58.62%不同程度的提升,并且本方法拥有良好的实时性和泛化能力,实用性强。     

结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

深度学习在分组密码差分区分器上的研究应用

差分分析在分组密码分析领域是一种重要的研究方法, 针对分组密码的差分分析的重点在于找到一个轮数或者概率更大的差分区分器. 首先描述了通过深度学习技术构造差分区分器时所需要的数据集的构造方法, 并且分别基于卷积神经网络(convolutional neural networks, CNN)和残差神经网络(residual...     

基于轻量型卷积神经网络的交通标志识别方法

交通标志识别设备的功耗和硬件性能较低,而现有卷积神经网络模型内存占用高、训练速度慢、计算开销大,无法应用于识别设备.针对此问题,为降低模型存储,提升训练速度,引入深度可分离卷积和混洗分组卷积并与极限学习机相结合,提出两种轻量型卷积神经网络模型:DSC-ELM模型和SGC-ELM模型.模型使用轻量化卷积神经网络提取特征后,将特征送入极限学习机进行分类,解决了卷积神经网络全连接层参数训练慢的问题.新模型结合了轻量型卷积神经网络模型内存占用低、提取特征质量好以及ELM的泛化性好、训练速度快的优点.实验结果表明.与其他模型相比,该混合模型能够更加快速准确地完成交通标志识别任务.     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

基于极深卷积神经网络的人脸超分辨率重建算法

针对多种放大倍数的人脸超分辨率重建问题,提出一种基于极深卷积神经网络的人脸超分辨率重建方法,并通过实验发现增加网络深度能够有效提升人脸重建的精度。首先,设计一个包含20个卷积层的网络从低分辨率图片和高分辨率图片之间学习一种端到端的映射关系,并通过在网络结构中将多个小的滤波器进行多次串联以扩大提取纹理信息的范围。其次,引入了残差学习的方法来解决随着深度的提升细节信息丢失的问题。另外,将不同放大因子的低分辨率人脸图片融合到一个训练集中训练,使得该卷积网络能够解决不同放大因子的人脸超分辨率重建问题。在CASPEAL测试集上的结果显示,该极深卷积神经网络的方法比基于双三次插值的人脸重建方法在峰值信噪比（PSNR）和结构相似度上有2.7 dB和2%的提升,和SRCNN的方法比较也有较大的提升,在精度和视觉改善方面都有较大提升。这显示了更深的网络结构能够在重建中取得更好的结果。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于多任务学习的人脸属性识别方法

针对传统深度卷积神经网络模型复杂、识别速度慢的问题,提出一种基于多任务学习的人脸属性识别方法。通过轻量化残差模块构建基础网络,根据属性类之间的关联关系设计共享分支网络,以大幅减少网络参数和计算开销。以多任务学习的方式联合优化各分支网络与基础网络的参数,利用关联属性间的共同特征实现人脸属性识别。采用带权重的交叉熵作为损失函数监督训练网络模型,改善正负样本数不均衡问题。在公开数据集CelebA上的实验结果表明,该方法的识别错误率低至8.45%,空间开销仅2.7 MB,在CPU上每幅图预测时间低至15ms,方便部署在资源有限的移动或便携式设备上,具有实际应用价值。