基于卷积神经网络模型的手写数字辨识算法研究

针对目前基于卷积神经网络模型(CNN)手写数字辨识算法收敛速度慢、识别率低的问题,设计一种CNN网络模型。在模型训练时,改进模型学习率,使学习率指数可以动态衰减;使用Dropout正则化方法,提高模型的泛化能力;与批量随机梯度下降法、Momentum算法、Adagrad算法、RMSprop算法、Adam算法等参数优化方法作比较。实验结果表明:基于RMSprop或Adam的优化算法CNN模型在对MNIST数据集进行训练时,算法收敛速度快、测试集识别准确率为99.40%或99.70%。     

基于改进卷积神经网络的多源数字识别算法

现有的数字识别算法多是对单一类型数字进行识别,无法应对识别多源数字。针对包含手写体数字与数码管数字的字符识别场景,提出一种基于改进卷积神经网络（CNN）的多源数字识别算法。首先,使用从数显仪表生产企业现场采集的样本,结合MINIST数据集,建立起包含手写体和数码管的混合数据集;然后,考虑更好的鲁棒性,提出一种改进的CNN,并用上述混合数据集对其训练,实现了一个网络识别多类型数字;最后,训练好的神经网络模型被成功应用于RoboMaster机甲大赛的多源数字识别场景中。测试结果表明,所提算法整体识别准确率稳定且较高,具有较好的鲁棒性和泛化能力。     

基于PCA初始化卷积核的CNN手写数字识别算法

针对卷积神经网络对手写数字识别训练在卷积核随机初始化情况下收敛速度慢和识别率低的问题，提出一种主成分分析（PCA）初始化卷积核的卷积神经网络（CNN）手写数字识别算法。算法首先选取训练样本集并将其送入CNN，在相应层对Feature Map进行全覆盖取图像块处理，然后进行分层PCA学习，将学习到的特征向量做为对应卷积层的卷积核参数进行初始化，最后再用这些卷积核对原始图像进行卷积操作。实验结果表明，与随机初始化卷积核的CNN手写数字识别算法相比，改进的算法在应用MNIST数据库训练时不仅收敛，而且在产生相同均方误差的情况下迭代次数少，识别率高。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于改进卷积神经网络与支持向量机结合的面部表情识别算法

针对当前卷积神经网络（CNN）利用端层特征进行面部表情识别存在模型结构繁琐、训练参数过多、识别不够理想的问题,提出一种基于改进CNN与支持向量机（SVM）相结合的优化算法。首先,利用连续卷积的思想设计网络模型,以获取更多非线性激活;然后,采用自适应全局平均池化（GAP）层取代传统CNN中的全连接层,以减少网络参数量;最后,用SVM分类器代替传统Softmax函数实现表情识别,以提高模型泛化能力。实验结果表明,所提算法在Fer2013和CK+数据集上分别取得了73.4%和98.06%的识别准确率,与传统LeNet-5算法相比,在Fer2013数据集上提升了2.2个百分点,且该网络模型结构简单、参数量较少,具有良好的鲁棒性。     

基于融合卷积神经网络模型的手写数字识别

针对传统手写数字识别方法识别率较低的问题,提出一种融合卷积神经网络(F-CNN)模型。通过结合暹罗网络(SN)模型和二进制卷积神经网络(B-CNN)模型的高级特征,扩展网络高级层的尺寸,增强F-CNN模型的特征表达能力。在网络训练过程中,设计周期性数据打乱策略,提高F-CNN模型的收敛速度,更好地实现手写数字识别。在MNIST数据集上的实验结果表明,融合模型对于手写数字的识别准确率达到99.10%,识别性能优于SN模型和B-CNN模型。     

深度学习下融合不同模型的小样本表情识别

为了进一步提高人脸表情识别在小样本中的准确率,提出了一种深度学习下融合不同模型的小样本表情识别方法。该方法首先对单个卷积神经网络(CNN)模型进行比较,通过dropout层不同的节点保留概率p,筛选相对合适的CNN。之后采用尺度不变特征变换(SIFT)算法提取出特征,使用SIFT提取特征的目的是提高小数据的性能。为了减少误差,避免过拟合,将所有模型进行汇总,采用简单平均的模型融合方法得到CNN-SIFT-AVG模型。最后,只采用少量样本数据来训练模型即可。该模型已在FER2013、CK+和JAFFE数据集上进行了验证实验。实验结果表明,该模型可以很大程度上提高小样本表情识别的准确率,并在FER2013、CK+和JAFFE数据集上产生了较优异的结果,与其他表情识别方法相比,准确率最大提升约6%。     

基于双注意力机制的遥感图像目标检测

针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。     

基于STN与异构卷积滤波器的肝硬化识别

卷积神经网络因缺乏空间不变性造成分类精度不高,且由于复杂度过高导致分类效率较低。提出一种利用空间变换网络和异构卷积滤波器的SH_ImAlexNet网络,应用于肝硬化样本识别。改进卷积神经网络AlexNet的结构和参数以满足肝硬化样本尺度要求,引入空间变换网络层增强特征提取能力与空间不变性,采用异构卷积滤波器替换部分卷积核降低复杂度并提升鲁棒性。实验结果表明,该网络的分类效果较AlexNet、VGG等传统网络更优,在小样本数据集和大样本数据集上的识别率分别达到98.28%和95.67%,空间复杂度和时间复杂度更低且运行效率更高。     

基于改进胶囊神经网络的遥感影像分类

针对遥感影像卷积神经网络（CNN）分类会导致特征信息丢失及泛化能力差的问题,提出一种基于通道注意力和混合注意力改进的胶囊神经网络分类模型。首先,为了胶囊神经网络能够适应于大尺寸输入图像,在特征提取模块中使用2个最大池化层;其次,为了提高分类精度,分别将SENet注意力和CBAM注意力加在特征提取模块的最后一层去改进特征提取模块;最后,将样本集随机地划分为训练集、验证集和测试集,进一步使用训练集和验证集训练模型,测试集测试模型,使用AID数据集对模型分类的泛化能力进行验证。实验结果表明:基于SENet网络改进的胶囊神经网络的准确率与Kappa系数要高于其他模型,泛化能力也优于其他模型,本文提出的模型的总体分类精度和泛化能力有了显著性提升,从而验证了本文方法的可行性和使用性。     

改进LeNet-5网络在图像分类中的应用

LeNet-5卷积神经网络（CNN）虽然在手写数字识别上取得很好的分类效果,但在具有复杂纹理特征的数据集上分类精度不高。为提高网络在复杂纹理特征图像上分类的正确率,提出一种改进的LeNet-5网络结构。引入跨连思想,充分利用网络提取的低层次特征;把Inception V1模块嵌入LeNet-5卷积神经网络,提取图像的多尺度特征;输出层使用softmax函数对图像进行分类。在Cifar-10和Fashion MNIST数据集上进行的实验结果表明,改进的卷积神经网络在复杂纹理特征数据集上具有很好的分类能力。     

基于CNN的改进行人重识别技术

针对行人重识别研究中训练样本的不足,为提高识别精度及泛化能力,提出一种基于卷积神经网络的改进行人重识别方法。首先对训练数据集进行扩充,使用生成对抗网络无监督学习方法生成无标签图像;然后与原数据集联合作半监督卷积神经网络训练,通过构建一个Siamese网络,结合分类模型和验证模型的特点进行训练;最后加入无标签图像类别分布方法,计算交叉熵损失来进行相似度量。实验结果表明,在Market-1501、CUHK03和DukeMTMC-reID数据集上,该方法相比原有的Siamese方法在Rank-1和mAP等性能指标上有近3～5个百分点的提升。当样本较少时,该方法具有一定应用价值。     

基于图像聚类的交通标志CNN快速识别算法

为了提高交通标志图像识别的准确性和实时性,提出一种基于图像聚类的交通标志CNN快速识别算法。利用图像聚类算法对原始数据集进行样本优化;采用多种图像预处理操作使样本整体质量进一步提升;构造了深度为9的CNN结构,通过多次训练得到最终的网络模型,将待识别的图像输入到CNN模型来实现自动识别。在德国交通标志数据集（German traffic sign recognition benchmark, GTSRB）和比利时交通标志数据集（Belgium traffic sign dataset, BTSD）上证明了算法的有效性,单张图片的识别速度只需0.2 s,识别精度高达98.5%以上。本算法具有识别速度快、准确率高的特点,可为智能驾驶的可靠性和安全性提供理论依据和技术支持。     

联合结构相似性与类信息的图像分类

针对卷积神经网络训练收敛速度慢的问题，提出了一种加权的联合结构相似性和类信息监督训练的方法。首先，针对小图像，设计一个能有效提取图像高级别信息的卷积神经网络。其次，建立加权的联合结构相似性和类信息损失函数训练卷积神经网络。最后，通过mnist手写数字和cifar10图像分类实验验证所设计网络的有效性。实验结果表明，所设计的网络在mnist手写数字和cifar10数据集上的图像分类错误率分别为0.33%和11%。在未进行扩增mnist数据集的前提下，所设计的网络的性能超过了该数据集上所有单网络的性能；在cifar10数据集上，所设计的网络能以较少的计算量获得较高的图像分类准确率。同时，联合结构相似性和类信息损失的监督训练能加快网络的训练速度。     

A trainable feature extractor for handwritten digit recognition

This article focuses on the problems of feature extraction and the recognition of handwritten digits. A trainable feature extractor based on the LeNet5 convolutional neural network architecture is introduced to solve the first problem in a black box scheme without prior knowledge on the data. The classification task is performed by support vector machines to enhance the generalization ability of LeNet5. In order to increase the recognition rate, new training samples are generated by affine transformations and elastic distortions. Experiments are performed on the well-known MNIST database to validate the method and the results show that the system can outperform both SVMs and LeNet5 while providing performances comparable to the best performance on this database. Moreover, an analysis of the errors is conducted to discuss possible means of enhancement and their limitations.     

A fast BP networks with dynamic sample selection for handwritten recognition

Training time of traditional multilayer perceptrons (MLPs) using back-propagation algorithm rises seriously with the problem scale. For multi-class problems, the convergence ratio is very low for training MLPs. The huge time-consuming and low convergence ratio greatly restricts the applications of MLPs on problems with tens and thousands of samples. To deal with these disadvantages, this paper proposes a fast BP network with dynamic sample selection (BPNDSS) method which can dynamically select the samples containing more contribution to the variation of the decision boundary for training after each iteration epoch. The proposed BPNDSS can significantly increase the training speed by only selecting a small subset of the whole samples. Moreover, two kinds of modular single-hidden-layer approaches are adopted to decompose a multi-class problem into multiple binary-class sub-problems, which result in the high rate of convergence. The experiments on Letter and MNIST handwritten recognition database show the effectiveness and the efficiency of BPNDSS. Moreover, BPNDSS results in comparable classification performance to the convolutional neural networks (CNNs), support vector machine, Adaboost, C4.5, and nearest neighbour algorithms. To further demonstrate the training speed improvement of the dynamic sample selection approach on large-scale datasets, we modify CNN to propose a dynamic sample selection CNN (DynCNN). Experiments on Image-Net dataset illustrate that DynCNN can result in similar performance to CNN, but consume less training time.     

基于改进inception的脱机手写汉字识别

由于字形的复杂多变,脱机手写汉字的识别一直是模式识别的难题,深度卷积神经网络的发展为其提供了一种直接有效的解决方案。研究基于inceptions 结构神经网络的脱机手写汉字识别,提出了一种inception结构的改进方法,它具有结构更加简单、网络深度扩展更加容易、需要的训练参数量更少的优点。该方法在数据集CISIA-HWDB1.1 上进行了实验验证,采用随机梯度下降优化算法,模型达到了96.95%的平均准确率。实验结果表明,使用改进的inception结构在图像分类上具有更好的鲁棒性,更容易扩展到其他应用领域。     

结合余弦相关性的卷积网络识别汉字的方法

为了提高卷积神经网络（Convolution Neural Network,CNN）的识别率,增强卷积网络的特征提取能力,使其在模糊、光照不均等恶劣条件下能够有更好的识别效果,因此提出将余弦相关性加入神经卷积网络作为相似度度量的方法。较传统神经卷积网络相比较,有着更强的模式检测能力、更快的收敛速度以及更高的准确率的优点。在卷积神经网络的卷积层加入余弦相似性度量,最后通过对比传统神经卷积网络方法和余弦相关性神经卷积网络在脱机手写汉字的识别实验,在进行20次实验后,得出了在相同训练参数以及相同层数的卷积神经网络上,基于余弦相关性的神经卷积网络在手写汉字数据集上的准确率比传统的神经卷积网络的识别率平均提高了2.01%,并且有着更快的收敛速度。最后通过与现今流行的算法在MNIST数据集上的实验进行准确度、损失函数、时间复杂度的比较,得出结合余弦的卷积神经网络在准确度和损失函数上有一定的优势性,在时间复杂度上还需进一步提高。