基于局部权值阈值调整的BP算法的研究

文章针对BP算法收敛速度慢的问题,提出一种基于局部权值阈值调整的BP算法。该算法结合生物神经元学习与记忆形成的特点,针对特定的训练样本,只激发网络中的部分神经元以产生相应的输出,而未被激发的神经元产生的输出则与目标输出相差较大,那么我们就需要对未被激发的神经元权值阈值进行调整。所以该论文提出的算法是对局部神经元权值阈值的调整,而不是传统的BP算法需要对所有神经元权值阈值进行调整,这样有助于加快网络的学习速度。     

醇解度预测的神经网络模型研究

针对聚乙烯醇生产过程的醇解度预测问题,建立神经网络模型;对醇解度的影响因素进行了研究,讨论了输入层、输出层、隐含层等神经元的设置及网络训练的参数,比较了梯度下降BP算法、动量-自适应学习速率调整算法、Levenberg-Marquardt BP算法三种不同的训练算法在本问题上的优劣,并与RBF网络相比较,综合考虑训练时间、训练精度、泛化能力等条件,动量一自适应学习速率调整算法是最适合醇解度预测的,并基于动量-自适应学习速率调整算法建立了神经网络模型;将模型应用于醇解度预测系统,系统实际运行情况表明,利用神经网络模型预测醇解度是可行有效的.     

基于BtW的和声搜索算法在BP网络优化中的应用

针对和声搜索算法参数影响其优化BP神经网络的性能问题,提出了一种可有效提高BP神经网络收敛速度和准确度的基于BtW参数动态变化的改进和声算法,同时用于BP网络优化。算法根据和声搜索参数的特点,采用以BtW为自变量的非线性函数变换方法,对微调概率PAR和微调幅度BW进行动态调整,利用改进的和声搜索算法对BP神经网络的连接权和偏置值进行优化。实验结果表明,该算法有效改善了和声搜索算法在BP神经网络优化中的性能,提高了BP网络的训练速度和预测的准确度。     

改进粒子群算法对BP神经网络的优化

介绍一种基于改进粒子群算法优化BP网络的权值调整综合方法。该算法在传统BP算法的误差反传调整权值的基础上,引入粒子群算法的权值修正,并且在训练神经网络权值的同时优化其连接结构,删除冗余连接,从而建立了基于粒子群算法优化的BP网络新模型。结果表明,改进算法不仅可以克服传统BP算法收敛速度慢和易陷入局部权值的局限,而且很大程度地提高了结果精度和BP网络学习能力。     

BP神经网络的饱和分析及改进

为了改善BP神经网络易形成局部最小,收敛速度慢的缺点,从分析三个因子学习因子、惯性因子和形状因子对BP算法性能影响出发,提出了离线调整学习因子和惯性因子,在线调整形状因子的联合优化方法.这种方法使网络在训练时,不仅神经元的连接权在不断调整,而且其自身的输入输出关系也在变动,从而使网络脱离饱和区,提高了收敛速度.最后以最典型应用函数逼近和XOR分类为例进行验证,仿真结果显示,联合优化方法不仅提高了网络训练速度,还提高了收敛精度,而且比一般的改进方法效果更好,具有一定的实用价值.     

基于SCG-BP神经网络的车牌字符识别

针对传统BP网络算法存在车牌字符识别速度慢和准确率低的问题,提出了一种SCG优化的BP神经网络车牌字符识别的算法.通过对BP神经网络的输入和算法进行改进实现提高神经网络对字符的识别效率.对输入的优化是使用主成分分析法进行车牌字符特征提取,将提取的特征作为BP神经网络的输入.对算法的优化是使用成比例共轭梯度下降法寻找网络最优连接权重.仿真实验表明,SCG-BP神经网络大幅度缩短识别时间并且提高了准确率,确定隐含层神经元个数为110.该算法对车牌字符的识别率可以达到95％以上,取得结果达到预期,改进的算法有一定的实践可行性.     

基于模拟退火优化BP神经网络的PH值预测

为自动准确测定水质p H值,采用大量的具有代表性的p H值检测数据为样本,提出了一种基于模拟退火优化BP神经网络的p H值预测方法。利用模拟退火算法优化BP网络的权值,调整优化样本的选取和隐层神经元数,训练BP神经网络预测模型得到最优解。由测试样本对网络进行了预测试验,并与非线性回归的预测结果进行了对比。结果表明,该方法对水质p H值预测具有较好的非线性拟合能力和更高的预测准确性。     

洪泽湖水位预测模型的研究

水位预测是进行洪水监测的规则非线性函数关系,不易使用某个函数进行逼近.采用了BP神经网络对历年的水文信息进行学习、建模,实现了对这种不规则函数的拟合,并支持在线学习及适时调整.另外,使用改进的粒子群优化算法(PSO)对常规的BP网络进行训练.实验结果表明使用由改进的粒子群优化算法进行训练的BP神经网络进行的水位预测的精度有显著提高,并且在训练过程中尽可能地避免收敛于局部最优值.     

MATLAB7.0中改进BP网络的实现

BP神经网络广泛应用于非线性建模,模式识别等方面,针对BP网络收敛速度慢,计算量大等缺点,介绍了BP神经网络改进训练算法,利用MATLAB7.0中的神经网络工具箱提供的丰富的训练函数,对几种典型的BP网络训练算法的训练速度进行比较,给出了应用实例和注意事项。     

基于神经网络的语音识别技术研究

对BP神经网络在特定人语音识别技术中的应用进行了探索性的研究，进而对非特定人语音识别做了一定的实验和研究。通过对比分析了传统的语音识别方法——模板匹配法和人工神经网络语音识别方法的优缺点。神经网络可以得到较高的识别准确度，但是训练速度慢是它的弱点，因此，针对经典的BP算法训练速度慢的缺点，对BP网络加以改进，提高网络训练速度，通过改进使神经网络用于语音识别的各种优越性充分发挥。     

一种改进QPSO优化BP网络的入侵检测算法

为了较好克服量子粒子群算法存在早熟收敛的缺点,在分析算法参数和流程的基础上,提出了一种带变异操作的改进量子粒子群优化算法。针对传统BP算法易于陷入局部极小的不足,将改进的算法应用到BP神经网络的学习过程中,修正BP网络的权值和阈值,提高其收敛性能。并将优化的BP神经网络模型应用于入侵检测中,用标准入侵检测数据对基于不同算法的BP网络进行仿真实验比较。实验结果表明,改进后的BP算法迭代次数少,收敛速度有所提高,在一定程度上提高了入侵检测率。     

遗传禁忌算法优化BP网络用于入侵检测

针对入侵检测系统存在的高漏报率和误报率,提出一种基于遗传禁忌神经网络的入侵检测模型。该模型基于遗传禁忌算法的全局搜索和BP网络局部精确搜索的特性,将遗传禁忌算法和BP算法有机结合,利用遗传禁忌算法优化BP网络初始权重,同时引入小生境技术改进遗传禁忌算法。实验表明,改进的遗传禁忌算法优化BP网络用于入侵检测能提高入侵检测的效率,降低误警率,可在一定程度上提高入侵检测系统的准确率。     

基于BP神经网络的入侵检测算法

为解决传统入侵检测算法存在的高漏报率及高误报率问题,结合BP神经网络算法的优点,提出一种采用遗传算法来优化BP神经网络算法的入侵检测算法。该算法通过遗传算法找到BP神经网络的最适合权值,采用优化的BP神经网络对网络入侵数据进行学习和检测,解决直接使用BP学习造成的训练样本数量过大而难以收敛的问题,同时缩短样本训练时间,提高BP神经网络分类正确率。仿真实验结果表明,与传统网络入侵检测算法相比,该算法的训练样本时间更短,具有较好的识别率和检测率。     

利用改进灰狼算法优化BP神经网络的入侵检测

神经网络技术被广泛应用于网络安全领域,在入侵检测中能够实现网络攻击的主动检测和攻击分类.然而随着恶意攻击的不断演化,神经网络技术存在的弊端日益显现.针对BP神经网络在入侵检测过程中存在的初始值随机性较大以及易陷入局部最优的问题,本文提出一种改进灰狼算法优化BP神经网络的入侵检测模型(IGWO-BP).首先,使用混沌映射初始化种群、设计非线性收敛因子以及动态权重策略对传统灰狼算法进行改进,并以此优化BP神经网络的初始权值和阈值,并运用改进BP神经网络对网络安全数据集进行实际检测.实验结果表明,IGWO-BP模型在NSL-KDD和UNSW-NB15数据集上取得了较优的检测结果,与其它现有模型相比性能也有较大提升.     

模糊k均值算法和神经网络算法在入侵检测中的应用

为了解决由于入侵检测样本数据多和冗余属性导致的BP神经网络训练速度慢和效率低的问题,本文提出利用模糊k均值聚类算法对样本数据依据和目标属性相关性和隶属度强弱进行聚类,优化神经网络权值。实验表明,该算法检测的准确率较高,网络入侵检测的性能和效率都得到了提高。     

改进的HS算法优化BP神经网络的入侵检测研究

基于传统BP神经网络的入侵检测中，BP神经网络算法模型存在着易陷入局部最优且初始值随机性较大的缺陷。初始值的选择直接影响到BP神经网络的训练效果，较好的初始值有利于BP神经网络跳过局部最优，从而提高训练效率。针对BP神经网络的缺陷，提出了用改进的和声搜索算法对BP神经网络的初始值进行优化，使得BP神经网络得到一组较优的初值的方法。实验结果显示，改进的和声搜索算法具有更高的适应度函数值，将该算法优化的BP神经网络用在入侵检测中，能够显著提高算法检测率和收敛速率。     

Fast and improved backpropagation learning of multi-layer artificial neural network using adaptive activation function

In the conventional backpropagation (BP) learning algorithm used for the training of the connecting weights of the artificial neural network (ANN), a fixed slope−based sigmoidal activation function is used. This limitation leads to slower training of the network because only the weights of different layers are adjusted using the conventional BP algorithm. To accelerate the rate of convergence during the training phase of the ANN, in addition to updates of weights, the slope of the sigmoid function associated with artificial neuron can also be adjusted by using a newly developed learning rule. To achieve this objective, in this paper, new BP learning rules for slope adjustment of the activation function associated with the neurons have been derived. The combined rules both for connecting weights and slopes of sigmoid functions are then applied to the ANN structure to achieve faster training. In addition, two benchmark problems: classification and nonlinear system identification are solved using the trained ANN. The results of simulation-based experiments demonstrate that, in general, the proposed new BP learning rules for slope and weight adjustments of ANN provide superior convergence performance during the training phase as well as improved performance in terms of root mean square error and mean absolute deviation for classification and nonlinear system identification problems.     

基于改进的动态神经网络的网络入侵检测模型

提出了一种改进型的动态神经网络，并成功地将其应用于网络入侵检测系统中。对于给定的全连接的动态神经网络，在通过学习以后可以成为部分连接的神经网络系统，从而降低了计算的成本。针对目前常见的4种不同类型的网络攻击行为（即DoS，Probe，R2L，和U2R），利用给定的改进型的动态神经网络分别构建相对应的检测系统。然后使用改进的遗传算法对给定的动态神经网络的权值和开关参数进行调节，以适应不同类型的入侵检测。最后利用KDD’99网络入侵检测数据对所提出的网络入侵检测模型进行训练和测试，初步试验结果表明，所提出的入侵检测系统具有较高的检测率。     

基于PCA的GABP神经网络入侵检测方法*

为克服BP算法易陷入局部最小的缺点,同时为减少样本数据维数,提出一种基于主成分分析(PCA)的遗传神经网络方法。通过降维和去相关加快收敛速度,采用改进的遗传算法优化神经网络权值,利用自适应学习速率动量梯度下降算法对神经网络进行训练。MATLAB仿真实验结果表明,该方法在准确性和收敛性方面都优于BP算法,应用于入侵检测系统中的检测率和误报率明显优于传统方法。