神经网络中克服局部最小的BP—EP混合算法

人工神经网络在很多领域有着成功的应用,神经网络有许多学习算法,BP算法是前向多层神经网络的典型算法,但BP算法有时会陷入局部最小解,进化规划（EP）是一种随机优化技术,它可以发现全局成解,当网络学习过程陷入局部最小时,利用EP确定BP算法中的学习速率,使学习过程逸出局部最小,结合具体例子给出了算法实现的具体操作步骤和实验结果。     

BP神经网络在人脸识别中的应用研究

本文介绍了一种BP神经网络的人脸识别系统的设计方法。该设计利用前向多层神经网络的反向传播算法,即BP算法,采用MATLAB软件建立了用于人脸识别的BP神经网络,并利用大量的人脸特征数据训练神经网络,使神经网络能分辨出不同的人脸特征。实验结果表明,用这种方法进行人脸识别有较好的效果。     

基于改进郊狼优化算法的浅层神经进化方法研究

神经进化作为一种不同于随机梯度下降的神经网络训练方法,现已成为机器学习研究领域的一个重要分支.如何设计更好的进化策略,探索新型神经网络权值的神经进化方法是当前研究的热点问题之一.本文提出了一种基于改进郊狼优化算法的浅层神经网络进化方法.该方法首先通过引入自适应影响权重因子与选择性的混沌扰动执行机制分别从收敛速度和寻优能力两个方面对传统郊狼优化算法进行了改进.其次,以改进郊狼优化算法为神经进化策略,融入到浅层神经网络的神经进化过程,并以BP神经网络为例,构建了一种全新的BP神经网络权值、阈值优化更新方法.最后,文中采用UCI标准数据库中几组代表性数据验证了算法的有效性.实验结果表明:改进郊狼优化算法的进化策略充分发挥了启发式优化算法在BP神经网络参数空间中的全局寻优能力,能够快速逼近最优解,经过神经进化后的BP神经网络在分类任务中表现出了优异性能,充分验证了改进郊狼优化算法作为一种新型神经进化策略的可行性和有效性.本文研究成果丰富并拓展了神经进化领域的研究内容,为构建以神经进化为主体的新型机器学习工具箱提供了重要的参考依据.     

基于差分进化的BP神经网络预测混沌时间序列

针对BP神经网络预测模型收敛速度慢和容易陷入局部极小值的缺点,将差分进化算法和神经网络结合起来,提出了一种基于差分进化算法的BP神经网络预测混沌时间序列的方法,利用差分进化算法的全局寻优能力对BP神经网络的权值和阈值进行优化,然后训练BP神经网络预测模型求得最优解,将该预测方法用到3个典型的混沌时间序列进行算法的有效性验证,并与BP算法的预测精度进行了比较,仿真结果表明该方法对混沌时间序列预测具有更好的非线性拟合能力和更高的预测准确性。     

基于差分进化算法的模糊神经网络控制器

针对模糊神经网络控制器在应用误差反向传播算法训练时,易于陷入局部最优的问题,提出了一种将差分进化算法与BP算法相结合的学习法,首先利用差分进化算法的全局寻优能力,给BP算法一个好的寻优初始点;然后再以一定的概率进行BP算法的寻优.对一个带有滞后环节的二阶系统进仿真表明,控制性能优于基于BP的模糊神经网络控制器.     

自适应差分进化算法优化BP神经网络的时间序列预测

针对BP神经网络学习算法随机初始化连接权值和阈值易使模型陷入局部极小点的缺点,设计了一种自适应差分进化算法优化BP神经网络的混合算法。该混合算法中,差分进化算法采用自适应变异和交叉因子优化BP神经网络的初始权值和阈值,再用预寻优得到的初始权值和阈值训练BP神经网络得到最优的权值和阈值。首先对改进的自适应差分进化算法运用测试函数进行性能测试,然后用一个经典时间序列问题对提出的混合算法进行了检验,并与一般的神经网络、ARIMA预测模型及其它混合预测模型进行了对比,实验结果表明,本文提出的混合算法有效并且明显提高了预测精度。     

基于神经网络的脱机中文签名鉴别系统的研究

将神经网络与签名识别相结合,利用前向多层神经网络的反向传播算法（即BP算法）,采用Matlab神经网络工具箱构建用于特征识别的三层前向神经网络,同时使用了基于Gabor和Zernike相结合的特征提取方法,最终识别出待识别的手写签名。实验结果证明识别率可达到93.70%以上,证明了该方法的有效性。     

BP神经网络预测全国私人汽车拥有量

利用前向多层神经网络的反向传播算法，即BP算法。采用MATLAB软件建立用于预测的BP神经网络(4-5-2)，将已知私人汽车拥有量对BP神经网络进行训练，建立私人汽车拥有量时间序列的预测模型，此BP神经网络可以成功对私人汽车拥有量进行预测计算。     

基于分布估计算法的人工神经网络优化设计

布估计算法是一类新的进化算法,它通过统计在当前群体中选出的个体信息给出下一代个体分布的概率统计,用随机取样的方法生成下一代群体。文章将建立在一般结构Gauss网络上的分布估计算法应用于人工神经网络的优化。仿真实验结果表明,分布估计算法用于优化神经网络,可以在很短的时间内收敛至全局最优解,避免了BP算法的不足,提高了网络的学习性能,从而为人工神经网络的优化提供了一种新的途径。     

基于改进粒子群优化算法的锌电解过程模型研究

针对锌电解过程各参数之间耦合严重、能耗高、建模困难,研究了锌电解电流效率与各工艺过程参数之间关系的数学模型,提出了一种改进的粒子群优化算法(IPSO)进行模型参数估计,该算法在粒子失活时,对粒子进行变异或扰动操作,重新激活粒子,避免了算法陷于局部最优解,改善了优化算法性能;以锌电解过程实验数据为样本,采用改进的粒子群优化算法对模型进行参数估计和检验,并与基本粒子群算法和BP神经网络模型进行比较,仿真结果证明了模型的有效性。     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

多层前馈神经网络在基于案例推理的应用

基于案例的推理（CBR）系统的增量式学习会使案例库逐渐增大,导致案例的检索时间较长,效率较低。多层前馈神经网络是构造性神经网络技术,很容易构筑及理解,具有较低的时间和空间复杂性和较高的识别率。利用该神经网络技术对案例库进行分类后,待求解的新问题只需在某个子案例库中进行检索,便可以有效地解决大规模案例库的能力与效率的维护问题,确保CBR系统的能力保护与效率保护兼顾的实现,为大规模案例库的应用提供技术保证。     

一种基于BP神经网络的代码相似性检测方法

如何有效地检测程序设计课程作业中的抄袭现象是一个重要的问题。传统的抄袭检测方法主要利用代码的属性或结构信息来度量代码之间的相似性。给出了一种基于误差反向传播(BP算法)多层前向神经网络的代码抄袭检测方法。提取程序之间的7种比较特征作为神经网络的输入,经过网络计算后得出程序的相似值,并将该值与抄袭决策阈值相比较以判定存在抄袭现象的程序集。实验结果表明,本方法具有很好的检测效果。     

A learning automata-based algorithm for determination of the number of hidden units for three-layer neural networks

There is no method to determine the optimal topology for multi-layer neural networks for a given problem. Usually the designer selects a topology for the network and then trains it. Since determination of the optimal topology of neural networks belongs to class of NP-hard problems, most of the existing algorithms for determination of the topology are approximate. These algorithms could be classified into four main groups: pruning algorithms, constructive algorithms, hybrid algorithms and evolutionary algorithms. These algorithms can produce near optimal solutions. Most of these algorithms use hill-climbing method and may be stuck at local minima. In this article, we first introduce a learning automaton and study its behaviour and then present an algorithm based on the proposed learning automaton, called survival algorithm, for determination of the number of hidden units of three layers neural networks. The survival algorithm uses learning automata as a global search method to increase the probability of obtaining the optimal topology. The algorithm considers the problem of optimization of the topology of neural networks as object partitioning rather than searching or parameter optimization as in existing algorithms. In survival algorithm, the training begins with a large network, and then by adding and deleting hidden units, a near optimal topology will be obtained. The algorithm has been tested on a number of problems and shown through simulations that networks generated are near optimal.     

基于网络复杂性的BP算法

BP算法(误差反向传播算法)是前馈神经网络中最常用的算法之一.在对前馈神经网络和传统的BP算法研究的基础上,发现了传统算法中存在的问题.通过引入网络复杂性的量,提出了一种新的改进算法,命名为基于网络复杂性的BP算法.该算法能够删除掉冗余的连接甚至节点,通过对网络学习步长的动态调整,避免了算法收敛速度过慢和反复震荡的问题.最后通过实验说明该算法在一定程度上比传统BP算法有一些优越性.     

一种粒子群优化的神经网络综合训练算法研究

基于粒子群优化算法,将灰色关联分析法应用到BP神经网络隐层结点数的确定,实现了BP神经网络结构的优化;然后将贝叶斯正则法应用于神经网络训练,进一步提高网络的泛化性能。仿真结果表明泛化能力明显优于其他改进的BP算法,拟合效果较好。     

人工神经网络设计算法的研究

人工神经网络在计算机领域中仍然是一个有待进一步研究的问题。文中介绍了目前使用的几种不同的人工神经网络设计算法：BP算法、FP算法、多层前向网络的交叉覆盖设计算法。探讨了这些算法的应用和特点，并从原理和设计思路上进行了分析。对BP算法和交叉覆盖算法给出具体的测试结果，解释并说明了各种算法的优缺点。重点研究并介绍了目前流行的多层前向网络的交叉覆盖算法的设计思路和应用方法，测试结果证明了该方法在智能识别领域的有效性。     

Identification of neural dynamic models for fault detection and isolation: the case of a real sugar evaporation process

The paper deals with problems of fault detection of industrial processes using dynamic neural networks. The considered neural network has a feed-forward multi-layer structure and dynamic characteristics are obtained by using dynamic neuron models. Two optimisation problems are associated with neural networks. The first one is selection of a proper network structure which is solved by using information criteria such as the Akaike Information Criterion or the Final Prediction Error. In turn, the training of the network is performed by a stochastic approximation algorithm. The effectiveness of the proposed fault detection and isolation system is checked using real data recorded in Lublin Sugar Factory, Poland. Additionally, a comparison with alternative approaches is presented.     

神经网络增强学习的梯度算法研究

针对具有连续状态和离散行为空间的Markov决策问题，提出了一种新的采用多层前馈神经网络进行值函数逼近的梯度下降增强学习算法，该算法采用了近似贪心且连续可微的Boltzmann分布行为选择策略，通过极小化具有非平稳行为策略的Bellman残差平方和性能指标，以实现对Markov决策过程最优值函数的逼近，对算法的收敛性和近似最优策略的性能进行了理论分析，通过Mountain-Car学习控制问题的仿真研究进一步验证了算法的学习效率和泛化性能。