BP神经网络算法的改进及收敛性分析

研究BP神经网络的数学理论,详细分析几种流行的BP神经网络学习算法的优缺点.针对一般BP算法收敛速度慢,易陷入局部极小值的缺陷,受Fletcher-Reeves线性搜索方法的指引,提出基于改进共轭梯度法的BP算法.从理论方面对算法进行深入的分析,介绍算法的详细思路和具体过程.并将算法训练后的BP神经网络运用到函数逼近中去.仿真结果表明,这种改进方案确实能够改善算法在训练过程中的收敛特性,而且提高收敛速度,取得令人满意的逼近效果.     

共轭梯度与牛顿混杂算法及在神经网络的应用

在Powell重启动共轭梯度法基础上,利用共轭迭代过程产生的二阶导数信息,构造出当前点的牛顿方向,从而得出一类快速共轭梯度法。用于神经网络逼近非线性函数的学习结果表明,该算法的收敛速度均高于使用相同构造公式的共轭梯度算法。     

BP神经网络算法及其改进研究

BP算法是非循环多级网络的训练算法,对人工神经网络的发展起到了重大的推动作用,该文介绍了BP算法的基本原理及其缺陷,并提出了改进BP算法的方法。     

BP神经网络算法及其改进研究

BP算法是非循环多级网络的训练算法，对人工神经网络的发展起到了重大的推动作用，该文介绍了BP算法的基本原理及其缺陷，并提出了改进BP算法的方法。     

神经网络动量—自适应学习率BP算法与BP算法的性能比较及其应用

动量－自适应学习率BP算法是对标准BP算法的改进,本文对这两种算法进行了分析,并利用计算机程序对其性能进行了比较测试,利用VISUAL C＋＋和MATLAB开发了仿真测试程序。     

BP神经网络的算法改进及应用

文章介绍了目前人工神经网络领域中BP神经网络的特点及其算法原理,以BP网络算法的缺点为出发点,从不同方面对BP算法进行改进,从而加快了网络的收敛速度,优化了网络的拓扑结构,最后对BP网络在实际中的主要应用进行了讨论。     

基于梯度下降算法的神经网络模型研究

神经网络的研究与应用已经取得了巨大的成功,但是在网络的收敛性和稳定性方面还有很多问题。本文对神经网络的核心算法BP算法进行了改进,使用梯度下降算法对神经网络的原始输入变量进行预处理,选择输入变量的主成分作为网络输入,使变量维度和相关性同时减小,从而实现神经网络的结构简化、高收敛性和高稳定性。     

共轭梯度法在BP网络中的应用

该文针对广泛使用的前向多层网络的ＢＰ算法存在的收敛速率低、有局部振荡的缺陷,提出了共轭梯度法改进ＢＰ算法,它在共轭梯度方向修正权值、使用概率接受原则决定目标函数值变化的取舍。同时给出了提高网络抗过配合性能的罚函数方法。实例证明：在不同的初值下,共轭梯度法均具有快的全局收敛性。     

用最优化方法解决BP神经网络训练问题

BP神经网络可以有效地对非线性系统进行逼近,但是传统的最速下降搜索方法存在收敛速度慢的问题。本文提出把BP神经网络转化为最优化问题,用一种共轭梯度算法代替最速下降法进行搜索迭代,极大地提高了收敛速度。     

一种基于共轭梯度的LMBP改进学习算法

对神经网络中的LMBP（Levenberg-Marquardt BP）算法的收敛速度慢进行分析,针对矩阵J^TJ+µI求逆过程运算量过大而造成收敛速度慢的缺陷,根据无约束优化理论,提出一种基于共轭梯度方法的改进LMBP网络学习算法,利用求解大规模线性方程组的共轭梯度方法,避免了烦琐的求逆过程,降低了计算复杂度,加快了网络的收敛速度,通过Matlab仿真,比较了算法的收敛速度,证明了方法的有效性。     

BP网络改进算法及其在故障诊断中的应用

针对基本BP算法在接近最优点时收敛速度变慢的缺点,提出一种BP网络的快速训练算法。将网络训练过程分为两个阶段,首先采用BP算法使其接近最优点,再改用共轭梯度法以加快收敛速度。仿真结果表明该算法是一种快速的方法。并将其应用于故障诊断中,结果表明了该方法的可行性。     

一种快速BP网络训练算法及应用

针对基本BP算法在接近最优点时收敛速度变慢的缺点,提出一种快速BP网络训练算法。该算法将网络训练过程分为两个阶段,首先采用变学习率BP算法使其接近最优点,再改用PRP共轭梯度法以加快收敛速度,其中学习率通过不精确一维搜索方法寻找得到。并采用Widrow—Nguyen初始化规则选取初始权值。通过两个仿真试验表明该算法是一种高效、快速的BP网络训练方法。同时,该算法具有简单、易于实现的优点,具有较为广阔的应用前景。     

一种BP网的学习速率与动量项自适应算法

针对BP网络学习速率和动量项参数较难选取以及学习过程中学习效率较为低下的问题,提出BP网络的改进算法模型—AB网络模型,来选取学习速率和动量项的参数值,即通过一个为给定先验知识的A网,动态调节另一个执行实际应用的B网中的学习速率和动量项的参数值,并以此提高整个网络的学习效率.实验结果表明,通过AB网络自适应调整参数的算法比普通BP算法的学习效率大大提高.在实际应用中,我们可以通过AB网络自适应调节的方法,对学习速率参数和动量项参数进行合适的选取.     

一种用于特征层融合识别的回弹全局自适应动量BP算法

针对特征层融合识别中全局自适应BP算法存在的收敛速度慢、学习不稳定等问题,基于对动量BP算法的详细分析,提出了一种新的全局自适应BP算法——回弹全局自适应动量BP算法(RGMOBP),该算法具有在误差增大时进行权值回弹并减小学习步长以保证权值的调节功能、使误差减小的特点。仿真结果表明:RGMOBP在学习性能上优于其它已有经典全局算法,是一种简单有效的神经网络特征层融合识别算法。     

基于外时延反馈人工神经网络的短期负荷预测系统

针对当前人工神经网络学习算法存在的问题,使用变步伐最速下降法和共轭梯度法的混合算法来进行神经网络的训练,并建立了负荷预测的人工神经网络模型。介绍了基于Delphi下的短期电力负荷预测系统。该系统由负荷预测数据查询模块、预测方法模块、结果查询模块和图表输出模块四部分组成。事实说明,混合算法在全局收敛性和收敛速度上要好于传统的算法,所基于此的短期负荷预测系统能达到令人满意的精度。     

遗传算法和BP神经网络在GDP预测中的应用

GDP是衡量一个国家或地区宏观经济状况的综合表现的一个重要指标,要想做到对宏观经济进行积极而有效的调控,首先要对未来经济的走势进行预测,根据预测结果制定相应的宏观调控手段,对GDP与经济发展提出政策思考,是十分有意义的。因此,文章运用遗传算法和BP神经网络对GDP进行预测,以揭示其变化规律和发展趋势,为制定科学的宏观调控政策提供依据。     

基于一类非线性特性的FNN 训练算法

针对ＢＰ算法收敛缓慢和易于陷入局部极小的缺点,将基于一类非线性特性的动量项引入ＢＰ算示的梯度搜索,提出前向神经网络的一种通用且简单的全局训练算法。结合升温策略,算法在优化精度和训练速度方面有较大的改善。典型算法的仿真验证了算法的有效性。