修正激励函数的BP算法的研究

本文对基于梯度下降的标准BP算法进行了深入研究,提出了修正激励函数的BP算法,它能有效克服标准BP算法中Sigmoid函数的不足,加快网络学习速率。在模型预测控制的建模和预测中,将基于该算法的神经网络与基于标准BP算法的神经网络、基于带动量项的BP算法的神经网络、基于自适应调整学习率BP算法的神经网络、基于自适应调整学习步长和动量项4算法的神经网络进行仿真比较,它在预报准确率和学习速度方面都取得了令人满意的结果。     

BP算法改进的研究

BP算法是神经网络中最常用的算法之一.分析传统的BP算法思想,发现它存在着诸如易于陷入局部极小、收敛速度慢等问题.针对BP算法的这些问题,分3个着手点,即:相关参数、激励函数和误差函数,归纳一些行之有效的改进方法,论述这些方法的主要思想,并分析它们的改进效果.     

BP神经网络优化算法研究

标准BP学习算法通常具有收敛速度慢,易陷入局部极小值等缺点,综述了当前国内外为克服标准BP算法的缺陷而提出的优化算法。     

BP神经网络的改进算法及其应用

BP（Back-propagation neural network）神经网络是目前应用最为广泛和成功的多层前馈神经网络之一,分析了BP算法的基本原理,指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源,并针对这些缺陷,通过在标准BP算法中引入变步长法、加动量项法等几种方法来优化BP算法。仿真实验结果表明,这些方法有效地提高了BP算法的收敛速度,避免陷入局部最小点。同时．将改进得BP神经网络算法应用于脱机手写体汉字识别系统的实现。使系统较好地回避了汉字结构复杂、变形难以预测等问题,提高了识剐率。     

竞争算法优化BP神经网络性能研究

针对诸多群智能算法容易陷入局部最优、收敛速度慢的特点，提出一种参数设置少，全局搜索能力强的竞争算法.通过10个基准函数与粒子群算法的比较，30次试验下竞争算法的平均值与最小值均优于粒子群算法，验证了该算法的有效性.用竞争算法优化BP神经网络，并对11个测试数据集进行分类，实验结果表明，用竞争算法优化后的BP神经网络在11个测试集上性能均优于原始算法，且在大部分测试集上性能优于用遗传算法优化的BP神经网络.该算法能有效提高分类正确率，增强鲁棒性.     

BP神经网络算法的改进及应用

经典的BP算法存在陷入局部极小,算法收敛慢的问题。提出了一种改进的BP神经网络算法,在经典BP算法基础上,引入新的参数以调整经典的神经元转换函数,然后把改进算法应用到实际的教学评估中;利用真实数据的分析结果选取了参数的适当值。结果表明,改进后的算法在收敛速率和误差估计等方面有很好的效果,并实现了对教学效果的合理评价。     

BP神经网络的改进算法及其应用

BP(Back-propagation neural network)神经网络是目前应用最为广泛和成功的多层前馈神经网络之一,分析了BP算法的基本原理,指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源,并针对这些缺陷,通过在标准BP算法中引入变步长法、加动量项法等几种方法来优化BP算法。仿真实验结果表明,这些方法有效地提高了BP算法的收敛速度,避免陷入局部最小点。同时,将改进得BP神经网络算法应用于脱机手写体汉字识别系统的实现,使系统较好地回避了汉字结构复杂、变形难以预测等问题,提高了识别率。     

神经网络动量—自适应学习率BP算法与BP算法的性能比较及其应用

动量－自适应学习率BP算法是对标准BP算法的改进,本文对这两种算法进行了分析,并利用计算机程序对其性能进行了比较测试,利用VISUAL C＋＋和MATLAB开发了仿真测试程序。     

非单调的多层神经网络

介绍了应用非单调函数作为隐层节点的激励函数的前馈多层神经网络的性能。并对以前神经网络中的两个难点：局部极小和收敛速度慢的问题进行分析。表明了采用非单调激励函数的神经网络能够较好地解决局部极小的问题。最后的实验结果也表明了该网络的性能要好于采用Ｓ型函数的神经网络的性能。     

BP算法收敛性分析及改进

在标准BP神经网络的训练中,将误差函数作为权值调整的依据,使用固定学习率计算权值,这样的结果往往使网络的学习速度过慢甚至无法收敛。对此,从网络收敛的稳定性和速度的角度出发,分析了误差函数和权值修改函数,对算法中学习率的作用进行了具体的讨论,提出了一种根据误差变化对学习率进行动态调整的方法。该方法简单实用,能有效防止网络训练时出现发散,提高网络的收敛速度和稳定性。     

基于多新息理论的深度信念网络算法

针对深度信念网络（DBN）算法在采用反向传播修正网络的连接权值和偏置的过程中,容易产生梯度小、学习率低、误差收敛速度慢等问题,提出一种结合多新息理论对标准DBN算法进行改进的算法,即多新息DBN（MI-DBN）。MI-DBN算法是对标准DBN算法中反向传播的过程重新建模,使得算法在原先只利用单个新息的情况下,扩展为能够充分利用之前多个周期的新息,从而大幅提高误差收敛速度。通过实验对MI-DBN算法和其他分类算法进行了数据集分类的比较,实验结果表明,MI-DBN算法相较其他分类算法,其误差收敛速度较快,而且最终对MNIST数据集和Caltech101数据集的识别中误差结果相对更小。     

GPU加速的神经网络BP算法*

近年来图形处理器(GPU)快速拓展的可编程性能力加上渲染流水线的高速度及并行性,使得图形处理器通用计算(GPGPU)迅速成为一个研究热点。针对大规模神经网络BP算法效率低下问题,提出了一种GPU加速的神经网络BP算法。将BP网络的前向计算、反向学习转换为GPU纹理的渲染过程,从而利用GPU强大的浮点运算能力和高度并行的计算特性对BP算法进行求解。实验结果表明,在保证求解结果准确度不变的情况下,该方法运行效率有明显的提高。     

一类反馈过程神经元网络模型及学习算法研究

提出了一种带有反馈输入的过程式神经元网络模型,模型为三层结构,其隐层和输出层均为过程神经元。输入层完成连续信号的输入,隐层完成输入信号的空间聚合和向输出层逐点映射,并将输出信号逐点反馈到输入层;输出层完成隐层输出信号的时、空聚合运算和系统输出。在对权函数实施正交基展开的基础上给出了该模型的学习算法。仿真实验证明了该模型的有效性和可行性。     

变尺度混沌算法的BP网络优化*

采用变尺度混沌优化方法代替梯度下降法融入BP神经网络,在优化搜索过程中不断缩小搜索空间,克服了标准BP算法易陷入局部极小的缺点,能有效地寻找到BP神经网络权值的全局最优值。此外,进一步提出变尺度混沌优化与梯度下降法有机结合的算法,能有效缩短单一的变尺度混沌优化BP算法的训练时间。仿真结果表明,改进的BP神经网络具有实现简单、寻优性强和优化效率高等特点。     

Adaboost算法改进BP神经网络预测研究

针对传统BP神经网络容易陷入局部极小、预测精度低的问题,提出使用Adaboost算法和BP神经网络相结合的方法,提高网络预测精度和泛化能力。该方法首先对样本数据进行预处理并初始化测试数据分布权值;然后通过选取不同的隐含层节点数、节点传递函数、训练函数、网络学习函数构造出不同类型的BP弱预测器并对样本数据进行反复训练;最后使用Adaboost算法将得到的多个BP神经网络弱预测器组成新的强预测器。对UCI数据库中数据集进行仿真实验,结果表明本方法比传统BP网络预测平均误差绝对值减少近50%,提高了网络预测精度,为神经网络预测提供借鉴。     

双目摄像机定标的神经网络方法

研究基于反向传播神经网络的摄像机双目立体视觉定标新方法。传统方法基于三角测量原理技术,会带入成像畸变非线性误差,而这种新方法可以消除非线性因素的影响。该方法利用了BP网络良好的非线性映射能力以及学习、泛化能力,通过采用高精度样本数据训练BP网络,最终建立起立体视觉定标的网络模型。由于不需要考虑视觉模型误差、光学调整误差、广角畸变等因素对视觉检测系统测量精度的影响,因而能够有效地克服常规建模方法的不足,保证了检测系统具有较高的精度。     

一种基于演化算法的BP改进算法

本文在对BP神经网络算法分析的基础上,提出一种基于演化算法的BP改进算法(EBP)。该算法将演化算法运用到BP算法学习率的求解中,从而达到学习率的自适应、自组织的目的。实验结果表明,使用EBP算法进行求解函数逼近、优化和建模等BP神经网络应用问题,都要比传统的BP算法具有更好的精确度和收敛速度,并且能够克服传统BP算法易陷入局部最优解、学习过程出现震荡等缺点。     

基于网络复杂性的BP算法

BP算法(误差反向传播算法)是前馈神经网络中最常用的算法之一.在对前馈神经网络和传统的BP算法研究的基础上,发现了传统算法中存在的问题.通过引入网络复杂性的量,提出了一种新的改进算法,命名为基于网络复杂性的BP算法.该算法能够删除掉冗余的连接甚至节点,通过对网络学习步长的动态调整,避免了算法收敛速度过慢和反复震荡的问题.最后通过实验说明该算法在一定程度上比传统BP算法有一些优越性.     

Design of highly effective multilayer feedforward neural network by using genetic algorithm

This paper presents a highly effective and precise neural network method for choosing the activation functions (AFs) and tuning the learning parameters (LPs) of a multilayer feedforward neural network by using a genetic algorithm (GA). The performance of the neural network mainly depends on the learning algorithms and the network structure. The backpropagation learning algorithm is used for tuning the network connection weights, and the LPs are obtained by the GA to provide both fast and reliable learning. Also, the AFs of each neuron in the network are automatically chosen by a GA. The present study consists of 10 different functions to accomplish a better convergence of the desired input–output mapping. Test studies are performed to solve a set of two-dimensional regression problems for the proposed genetic-based neural network (GNN) and conventional neural network having sigmoid AFs and constant learning parameters. The proposed GNN has also been tested by applying it to three real problems in the fields of environment, medicine, and economics. Obtained results prove that the proposed GNN is more effective and reliable when compared with the classical neural network structure.     

基于改进型Hopfield神经网络的盲多用户检测算法

基于Hopfield神经网络没有学习规则,不需要训练,也不会自学习,靠Lyapunov函数的设计过程来调节权值的特点,将广义罚函数与Hopfield神经网络的能量函数结合,基于最小平均输出能量准则,构造出更合适的新目标函数,分析讨论了一种实现DS/CDMA盲多用户检测的改进型Hopfield神经网络方法。仿真结果表明,该算法在误码率、抗远近效应方面都有明显的改善。