一种可调参数前馈神经网络的快速学习算法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出了一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法。该算法运用该文提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索。实验表明，该算法不仅能明显提高网络的学习速度，而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

可调参数前馈神经网络及其启发式模拟退火法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法；该算法运用文章提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索；实验表明，该算法不仅能明显提高网络的学习速度。而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

BP算法改进的研究

BP算法是神经网络中最常用的算法之一.分析传统的BP算法思想,发现它存在着诸如易于陷入局部极小、收敛速度慢等问题.针对BP算法的这些问题,分3个着手点,即:相关参数、激励函数和误差函数,归纳一些行之有效的改进方法,论述这些方法的主要思想,并分析它们的改进效果.     

局部式反传网络的改进BP算法及应用

针对标准BP算法收敛速度慢的缺点,分析了其产生的主要原因,提出了一种改进BP算法。在传统BP算法基础上通过对其激励函数增加陡度因子并在误差反传权值修正时增加协调器,通过对网络灵敏度的分析将全反传式网络变成局部式反传网络,从而达到提高网络学习速率及精度的目的。改进的BP算法应用于导向钻井稳定平台系统的辨识,仿真结果表明该算法收敛速度快,精度高。     

BP神经网络的联合优化算法

针对BP神经网络存在收敛速度慢、易陷入局部极小等缺陷,提出了一种自适应调节学习率和动态调整S型激励函数相结合的改进BP算法。该算法将学习率与误差函数相关联,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。通过实例仿真,将改进算法与标准BP算法、加动量项法和自适应学习率法进行比较,来验证所提出方法的有效性。实验结果表明,联合优化的BP算法能有效加快网络的收敛过程,并具有较强的泛化能力。     

Fourier三角基神经元网络的权值直接确定法

根据Fourier变换理论,本文构造出一类基于三角正交基的前向神经网络模型。该模型由输入层、隐层、输出层构成,其输入层和输出层采用线性激励函数,以一组三角正交基为其隐层神经元的激励函数。依据误差回传算法(即BP算法),推导了权值修正的迭代公式。针对BP迭代法收敛速度慢、逼近目标函数精度较低的缺点,进一步提出基于伪逆的权值直接确定法,该方法避免了权值反复迭代的冗长过程。仿真和预测结果表明,该方法比传统的BP迭代法具有更快的计算速度和更高的仿真与测试精度。     

基于放大误差信号的BP算法

提出了一种基于放大误差信号的改进BP算法,构造了一个新的函数修改激励函数的导数,通过放大误差信号,加大网络权值调整力度,避免BP算法易于陷入饱和区域来加快收敛速度。仿真结果表明,该算法在收敛速度等方面大大优于其他一些算法。     

一种基于放大误差信号的自适应BP算法

针对标准BP算法受饱和区域影响而导致收敛速度慢的问题,提出一种基于放大误差信号的自适应BP算法,该算法通过修改激励函数的导数,使权值的修正过程不会因饱和区域而趋于停滞,并分析了改进算法的收敛性。仿真结果表明,改进的BP算法加快了收敛速度,并在一定程度上提高了全局收敛能力。     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

基于改进的BP网络误差修正的广义预测控制

该文利用预测误差的历史数据，基于改进的BP神经网络，对系统的建模误差进行预测。该网络采用了修正激励函数的BP算法，预测性能好，能够克服标准BP算法中Sigmoid函数的不足，加快了网络的学习速度。并将其与模型预测相结合构成广义预测控制算法，有效地克服了模型失配的影响，提高了控制的速度，同时引入控制增量增益，利用这个自由度来提高闭环的稳定鲁棒性。仿真结果表明了该算法的有效性。     

基于改进BP神经网络的函数逼近性能对比研究

为了正确反映实际应用中经常采用的6种典型BP神经网络的改进算法的非线性函数逼近能力,本文从数学角度详细阐述这6种典型BP神经网络的改进算法的学习过程,简要地介绍MATLAB工具箱中设计BP网络的训练函数,最后在MATLAB环境下设计具体的网络来对指定的非线性函数进行逼近实验,并对这6种典型BP神经网络的改进算法的性能差异进行对比。仿真结果表明,对于中小规模网络而言,LM优化算法逼近性能最佳,其次是拟牛顿算法、共轭梯度法、弹性BP算法、自适应学习速率算法和动量BP算法。     

MATLAB神经网络BP网络研究与应用

阐述了MATLAB神经网络，着重研究了其BP网络的网络结构，指出了BP算法的主要缺点，利用其工具箱中的函数对BP算法进行了改进。根据MATLAB神经网络BP网络的网络结构，提出了一种具有天气敏感性的基于快速BP算法的神经网络预测模型，并对电力短期负荷进行了预测。预测结果，证明了该算法的有效性。     

基于小波网络的BP算法改进研究

对BP算法的特点进行了分析,在权值平衡算法的基础上,应用小波网络对其进行改造,提出了基于小波网络的BP权值平衡算法,给出了具体的算法步骤,仿真结果证明该算法既具有BP网络的简捷性,又能够提高学习速度和精度,避免了BP网络易出现的收敛速度慢、易产生局部最优解的问题,是一种较好的神经网络学习算法。     

多层前向神经网络在柴油机故障诊断系统中的应用研究

故障诊断是计算机模式识别领域的一个活跃课题。文中提出了基于ANN的柴油机故障诊断方法,设计了适合该诊断系统的BP网络结构,并给出了一种改进的BP算法(IBP),该算法基于黄金分割法自适应调整网络学习速率。仿真结果表明:该算法比标准BP算法具有更快的学习速度和更高的学习精度,完全适用于柴油机故障诊断系统。     

改进的HS算法优化BP神经网络的入侵检测研究

基于传统BP神经网络的入侵检测中，BP神经网络算法模型存在着易陷入局部最优且初始值随机性较大的缺陷。初始值的选择直接影响到BP神经网络的训练效果，较好的初始值有利于BP神经网络跳过局部最优，从而提高训练效率。针对BP神经网络的缺陷，提出了用改进的和声搜索算法对BP神经网络的初始值进行优化，使得BP神经网络得到一组较优的初值的方法。实验结果显示，改进的和声搜索算法具有更高的适应度函数值，将该算法优化的BP神经网络用在入侵检测中，能够显著提高算法检测率和收敛速率。     

用VC实现几种BP算法性能的比较与分析

为了求得在VC环境下几种改进BP算法中整体性能最优的一种BP算法,介绍了三种改进BP算法,并在一个用VC开发的仿真平台上对传统BP算法和三种改进算法的稳定性、收敛速度等性能进行了对比和分析。结果表明,基于权值变化量的迭代算法收敛速度最快,综合性能较优。仿真结果对实际工程应用中选择合适的BP训练法,有一定的指导意义。     

Magnified gradient function with deterministic weight modification in adaptive learning

This work presents two novel approaches, backpropagation (BP) with magnified gradient function (MGFPROP) and deterministic weight modification (DWM), to speed up the convergence rate and improve the global convergence capability of the standard BP learning algorithm. The purpose of MGFPROP is to increase the convergence rate by magnifying the gradient function of the activation function, while the main objective of DWM is to reduce the system error by changing the weights of a multilayered feedforward neural network in a deterministic way. Simulation results show that the performance of the above two approaches is better than BP and other modified BP algorithms for a number of learning problems. Moreover, the integration of the above two approaches forming a new algorithm called MDPROP, can further improve the performance of MGFPROP and DWM. From our simulation results, the MDPROP algorithm always outperforms BP and other modified BP algorithms in terms of convergence rate and global convergence capability.     

一种改进的主动队列管理算法

传统的主动队列管理算法（AQM：Active Queue Management）存在响应时间较长等问题,PID（Proportional Integral Differentia1） 主动队列管理算法对此作出了一定改进,然而在时延较大时也不能使队列长度收敛到期望值.本文利用BP神经网络自适应控制的特点,针对无线信道（TCP Westwood）提出了一种基于BP神经网络整定的PID主动队列管理算法.     

一种基于演化算法的BP改进算法

本文在对BP神经网络算法分析的基础上,提出一种基于演化算法的BP改进算法(EBP)。该算法将演化算法运用到BP算法学习率的求解中,从而达到学习率的自适应、自组织的目的。实验结果表明,使用EBP算法进行求解函数逼近、优化和建模等BP神经网络应用问题,都要比传统的BP算法具有更好的精确度和收敛速度,并且能够克服传统BP算法易陷入局部最优解、学习过程出现震荡等缺点。     

专家神经网络的构造研究

专家神经网络是由专家系统产生出的事件驱动无环路神经对象网络。这些神经对象处理信息的非线性复合函数比正常的神经网络结点处理器更复杂。本文研究了无环路网络的ＢＰ学习算法,这一算法将传统ＢＰ算法与专家神经网络特征结合起来,提供了一种获取知识的方法。