深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络（Convolutional Neural Network,CNN）模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。     

细菌觅食算法优化卷积神经网络的滚动轴承故障诊断

针对传统深度学习故障诊断方法在滚动轴承中诊断效果不理想的问题，提出一种细菌觅食优化算法(BFO)优化卷积神经网络(CNN)学习率使诊断效果提升的模型。在模型逐次迭代过程中，将CNN中的学习率参数带入BFO中，生成一个自适应的学习率，用于更新CNN的权重和偏置，使模型故障诊断效果达到最佳。通过实验证明基于细菌觅食算法优化的卷积神经网络训练的模型在分类精度上优于CNN训练的模型，并与CNN多种学习率对比，可将故障诊断准确率提升至97.25%,并提高了全局的收敛能力。     

一种新的优化机制:Rain

在机器学习领域,传统模型的损失函数为凸函数,故具有全局最优解,通过传统的梯度下降算法可以求得最优解.但在深度学习领域,由于模型函数的隐式表达及同层神经元的可交换性,其损失函数为非凸函数,传统的梯度下降算法无法求得最优解,即使是较为先进的SGDM,Adam,Adagrad,RMSprop等优化算法也无法逃脱局部最优解的局限性,在收敛速度上虽然已经有很大的提升,但仍不能满足现实需求.现有的一系列优化算法都是针对已有优化算法的缺陷或局限性进行改进,优化效果有些许提升,但对于不同数据集的表现不一致.文中提出一种新的优化机制Rain,该机制结合深度神经网络中的Dropout机制,并融入到优化算法上得以实现.该机制并不是原有优化算法的改进版,而是独立于所有优化算法的第三方机制,但可以和所有优化算法搭配使用,从而提高其对于数据集的适应性.该机制旨在对模型在训练集上的表现进行优化,测试集上的泛化问题并不作为该机制的关注点.文中利用Deep Crossing和FM两个模型搭配5种优化算法,分别在Frappe和MovieLens两个数据集上进行实验,结果表明,加入Rain机制的模型在训练集上的损失函数值明显减小,且收敛速度加快,但其在测试集上的表现与原模型相差无几,即泛化性较差.     

改进Adam优化器在瓦斯涌出量预测中的应用研究

目前对基于神经网络的瓦斯涌出量预测模型的研究主要集中在瓦斯涌出问题上的表现,对模型训练中优化器性质的关注与改进较少。基于神经网络的瓦斯涌出量预测模型的训练常采用Adam算法,但Adam算法的不收敛性易造成预测模型的最佳超参数丢失,导致预测效果不佳。针对上述问题,对Adam优化器进行改进,在Adam算法中引入一种随迭代更新的矩估计参数,在保证收敛速率的同时获得更强的收敛性。以山西焦煤西山煤电集团马兰矿某回采工作面为例,在相同的循环神经网络（RNN）预测模型下测试了改进的Adam优化器在瓦斯涌出量预测中的训练效率、模型收敛性与预测准确度。测试结果表明：(1)当隐藏层数为2和3时,改进的Adam算法较Adam算法的运行时间分别缩短了18.83,13.72 s。当隐藏层数为2时,Adam算法达到最大迭代数但仍没有收敛,而改进的Adam算法达到了收敛。(2)在不同隐藏层节点数量下,Adam算法都没有在最大迭代步长内收敛,而改进的Adam算法均达到了收敛,且CPU运行时间较Adam算法分别缩短16.17,188.83,22.15 s。改进的Adam算法预测趋势的正确性更高。(3)使用tanh函数时...     

面向异构网络的联邦优化算法

联邦学习网络中,全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题,提出一种面向异构网络的联邦优化算法q-FedDANE。首先,通过在经典联合近似牛顿型方法中引入衰减参数q,调整衰减梯度校正项和近端项的负面影响,有效提高模型对环境异构性的感知能力,并将每轮算法迭代的设备通信轮次降低至一次,显著减少通信成本和训练开销;其次,模型将随机优化器Adam引入服务器端聚合训练,通过自适应的动态学习率来利用全局信息进行目标优化,加快了模型的收敛速度。实验表明,q-FedDANE算法可以更好地适应环境异构和低设备参与的场景,在高度异构的FEMNIST数据集上,该算法最终获得的测试精度约高出FedDANE的58%。     

基于集成深度森林的入侵检测方法

基于卷积神经网络(CNN)的入侵检测方法在实际应用中模型训练时间过长、超参数较多、数据需求量大。为降低计算复杂度,提高入侵检测效率,提出一种基于集成深度森林(EDF)的检测方法。在分析CNN的隐藏层结构和集成学习的Bagging集成策略的基础上构造随机森林(RF)层,对每层中RF输入随机选择的特征进行训练,拼接输出的类向量和特征向量并向下层传递迭代,持续训练直至模型收敛。在NSL-KDD数据集上的实验结果表明,与CNN算法相比,EDF算法在保证分类准确率的同时,其收敛速度可提升50%以上,证明了EDF算法的高效性和可行性。     

基于GRU-FedAdam的工业物联网入侵检测方法

针对工业物联网中的入侵检测存在数据隐私泄露和训练时间长的问题,提出一种基于GRU-FedAdam的入侵检测方法。该方法首先采用联邦学习协作训练入侵检测模型,保护客户端数据隐私;其次,构建基于门控循环单元(GRU)的入侵检测模型并采用Adam优化算法,提高客户端模型的训练速度。选用TON＿IoT数据集为实验数据,经过两轮通信轮次计算,训练时间比单层LSTM模型减少4 s;利用Adam算法训练模型比SGD算法收敛速度更快,入侵检测模型准确率为0.99。实验结果表明,基于GRU-FedAdam的入侵检测方法在保护数据隐私的情况下,可减少训练时间和获得更好的入侵检测效果。     

基于改进卷积神经网络的电气绝缘子放电无损检测

为了提高电力设备的放电检测，该文根据绝缘子闪络试验得到放电特征数据库，设计了一种基于改进卷积神经网络（CNN）的电气绝缘子放电无损检测方法。改进CNN框架经多次非线性转换后增强卷积核提取特征的效果，降低了参数量，识别准确率获得明显提升。研究结果表明，正确率随训练次数的增加而升高，当训练率太大或太小时都会增加获得最高正确率的难度。在训练率为0.001时，可以使模型发生快速收敛，此时准确率达到98.3%。当训练率为0.001时，改进CNN比AlexNet算法达到最高准确率，获得了比BP算法更强收敛性能。该研究对准确定位电气绝缘子放电性能具有很好的实际指导意义。     

基于深度学习的自然环境下花朵识别

基于自然环境下的花朵识别已经成为了现在园艺植物以及计算机视觉方面的交叉研究热点。本文的花朵图像数据集是利用手机直接在自然场景中当场拍摄的，采集了湖南省植物园内26种观赏花朵的2600幅图像，其中还包括同一品种不同类别相似度很高的杜鹃，郁金香等花朵。设计了一种由3个残差块组成的20层深度学习模型Resnet20，模型的优化算法结合了Adam的高效初始化以及Sgd优秀的泛化能力，该优化算法主要是根据每次训练批次以及learning rate来进行转换调整，实验结果表明比单独使用Adam算法正确率高4到5个百分点，比单独使用Sgd算法收敛更快。该模型在Flower26数据集上，通过数据增强识别率可达到 96.29%，表明深度学习是一种很有前途的应用于花朵识别的智能技术。     

结合改进主动学习的SVD-CNN弹幕文本分类算法

为解决传统卷积神经网络（CNN）模型使用池化层进行文本特征降维会损失较多文本语义信息的问题,提出一种基于奇异值分解（SVD）算法的卷积神经网络模型（SVD-CNN）。首先,采用改进的基于密度中心点采样的主动学习算法（DBC-AL）选择对分类模型贡献率较高的样本进行标注,以低标注代价获得高质量模型训练集;然后,结合SVD算法建立SVD-CNN弹幕文本分类模型,使用奇异值分解的方法代替传统CNN模型池化层进行特征提取和降维,并在此基础上完成弹幕文本分类任务;最后,使用改进的梯度下降算法（PSGD）对模型参数进行优化。为了验证改进算法的有效性,使用多种弹幕数据样本集,对提出的模型与常用的文本分类模型进行对比实验。实验结果表明,改进的算法能够更好地保留文本语义特征,保证训练过程的稳定性并提高了模型的收敛速度,在不同的弹幕文本上较传统算法具有更好的分类性能。