用一组单输出的子网络代替多输出的BP网络

BP网络是使用最广泛的神经网络模型。在BP网络模型中,输入信息(X_1,X_2,…,X_m)首先通过各输入结点前向传播到下一层的各结点,这下一层就是所谓的隐含层,隐含层可以是一层也可以是多层,最后通过输出层得到输出信息(y_1,y_2,…,y_n)。在BP网络中,输入结点和输出结点的个数由具体问题决定,隐层单元的个数是可变的。如果具体问题的目标输出是多维的,BP网络就具有多个输出结点。本文提出了一种子网组的结构,用来代替多输出的单个BP网络。子网组即是对问题目标输出的每一维建立一个单输出的BP网络,整个子网组结构的输出由这n个子网络组合而成。本文还给出了一种子网组结构的学习算法,并证明了该学习算法能够达到更好的学习效果。     

关于BP 网络变结构问题的研究

BP神经网络的收敛性涉及诸如网络初始权重赋值、隐结点个数以及隐层具数等问题。通过对BP神经网络隐结点个数的讨论,以及对BP神经网络训练样本空研究,得出一个重要结论,即网络结构可以随训练样本空间进行变换,从面使BP神经网络能够进行结构化简。     

基于BPNN的无机离子晶体晶格能的QSPR研究

以86个离子化合物的正、负离子的有效核电荷Z~(*+)、Z~(*-)、离子半径r_+、r_-,以及正离子的荷径比Z~(*+)/Υ_+5种结构参数作为自变量,以晶格能U作为因变量,采用BP神经网络建立关于无机离子晶体晶格能的结构-性质关系(QSPR)模型.该模型由输入层、隐含层和输出层构成3层BP神经网络,86个离子化合物样本则按文献分别划分为训练集和验证集.研究表明,当隐含层神经元个数为5时模型效果最佳:该模型对训练集拟合结果的决定系数R~2=0.9965,平均相对误差MRE=1.63%;对验证集预测结果的R~2=0.9952,MRE=1.85%.     

基于量子门线路的量子神经网络模型及算法

提出一种量子神经网络模型及算法.该模型为一组量子门线路.输入信息用量子位表示,经量子旋转门进行相位旋转后作为控制位,控制隐层量子位的翻转;隐层量子位经量子旋转门进行相位旋转后作为控制位,控制输出层量子位的翻转.以输出层量子位中激发态的概率幅作为网络输出,基于梯度下降法构造了该模型的学习算法.仿真结果表明,该模型及算法在收敛能力和鲁棒性方面均优于普通BP网络.     

基于结点敏感度的单隐含层前馈神经网络结构选择

提出了一种基于结点敏感度的单隐含层前馈神经网络结构选择方法。该方法从一个隐含层结点个数较多的网络开始,首先利用结点敏感度度量隐含层结点的重要性,然后按重要性对隐含层结点由大到小排序,最后逐个剪去不重要的隐含层结点,直到满足预定义的停止条件。该算法的特点是不需要重复训练神经网络,得到的网络结构紧凑,具有较高的泛化能力。在实际数据集和UCI数据集上的实验结果显示,提出的算法是行之有效的。     

前向神经网络合理隐含层结点个数估计

合理选择隐含层神经元个数是前向神经网络构造中的一个关键问题,对网络的泛化能力、训练速度等都具有重要的影响。该文提出了基于隐含层神经元输出之间的相关分析而进行隐含层神经元合理个数的估计方法,首先建立了基于网络输出和基于网络输出对网络各输入一阶偏导数的隐含层各神经元输出之间的相关程度度量,进而给出了基于模糊等价关系分析的神经元合理个数估计方法。具体应用结果证明了所提出方法的有效性。     

ELM算法中随机映射作用的实验研究

通过实验研究ELM算法中随机映射的作用及神经网络中隐含层结点个数对网络泛化能力的影响.在35个数据集上进行实验,针对不同的数据集,找到网络的最优精度所对应的隐含层结点个数.实验结果表明,当随机映射使数据升维到一定维数时,网络性能得到提高.     

基于动态RBF神经网络的板形板厚综合控制仿真研究

基于RBF神经网络的特点提出了一种动态调节隐含层隐节点个数的方法，由2部分组成：首先以网络输出数据的均方误差及其变化率为标准来调节隐含层节点的数目，然后调节优化隐含层节点的中心值，根据广义逆矩阵的方法求出输出层权值．所设计的神经网络具有最少的隐含层节点数，提高了学习训练速度，构造了板形板厚综合控制的数学模型，采用新的模型处理方法，用动态RBF神经网络进行控制仿真，取得了理想的结果．     

改进BP3参数对网络识别能力影响的研究

分别从BP网络的学习步长,学习速率自适应调整算法的参数,动量法和自适应学习速率结合起来算法的参数3方面讨论了改进BP参数对网络识别能力的影响;在确定BP网络的隐含层节点个数的过程中提出了BP神经网络自适应学习算法,使得隐层节点的选取动态实现。仿真实验表明,该改进是可行的。     

基于SFLA优化BP神经网络的语音信号分类

BP神经网络是一种多层前馈网络,数据经过网络的输入层、隐含层逐层处理后,由输出层进行输出,通过和期望输出的对比进行反向传播,调整网络参数使输出不断逼近期望输出;在使用BP神经网络对语音特征信号进行分类的过程中,会出现BP神经网络易陷入局部最优解、学习收敛速度慢的问题;针对此问题提出一种基于SFLA优化BP神经网络权值和阀值的方法,引入SFLA算法优化网络权值和阀值,利用SFLA优化后的BP网络模型进行语音特征信号分类;仿真结果表明,经SFLA优化后的BP神经网络与未优化的神经网络相比,不仅训练速度快, 而且误差小,语音特征信号分类的正确率平均提高1.31%。     

基于小波神经网的SAR图像识别算法

针对SAR图像的自动目标识别问题,研究了基于小波分析和神经网络的识别算法.由非线性小波基作为网络中神经元的激励函数,隐层结点数由小波分解次数和处理目标类别数决定,输出层由目标的类别数决定,同时利用目标的方位角来限定被识别目标的范围.实验结果表明,该方法有效降低了训练和识别的难度,取得了优于BP网络的识别结果,具有广阔的应用前景.     

Optimization neural network for solving flow problems

This paper describes a neural network for solving flow problems, which are of interest in many areas of application as in fuel, hydro, and electric power scheduling. The neural network consist of two layers: a hidden layer and an output layer. The hidden units correspond to the nodes of the flow graph. The output units represent the branch variables. The network has a linear order of complexity, it is easily programmable, and it is suited for analog very large scale integration (VLSI) realization. The functionality of the proposed network is illustrated by a simulation example concerning the maximal flow problem.     

改进的遗传算法在神经网络结构优化中的应用

为了解决人工神经网络隐层节点数目难以确定的问题,针对三层BP神经网络提出了一种最大上限隐层节点数模型,并用改进的遗传算法对其优化。最后,将优化的神经网络对语音特征信号进行分类。仿真结果表明优化后的神经网络具有很好的泛化能力,验证了该方法的有效性。     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

Neural classifiers and statistical pattern recognition:applications for currently established links

Recent research has linked backpropagation (BP) and radial basis function (RBF) network classifiers, trained by minimizing the standard mean square error (MSE), to two main topics in statistical pattern recognition (SPR), namely the Bayes decision theory and discriminant analysis. However, so far, the establishment of these links has resulted in only a few practical applications for training, using, and evaluating these classifiers. The paper aims at providing more of these applications. It first illustrates that while training a linear output BP network, the explicit utilization of the network discriminant capability leads to an improvement in its classification performance. Then, for linear output BP and RBF networks, the paper defines a new generalization measure that provides information about the closeness of the network classification performance to the optimal performance. The estimation procedure of this measure is described and its use as an efficient criterion for terminating the learning algorithm and choosing the network topology is explained. The paper finally proposes an upper bound on the number of hidden units needed by an RBF network classifier to achieve an arbitrary value of the minimized MSE. Experimental results are presented to validate all proposed applications.     

基于改进型粒子群优化算法的BP网络在股票预测中的应用

本文提出了基于改进型粒子群优化的BP网络学习算法。在该算法中,首先改进了传统的BP算法,有效地使得网络中输入层、隐含层和输出层结点个数达到一个最优解。然后,用粒子群优化算法替代了传统BP算法中的梯度下降法,使得改进后的算法具有不易陷入局部极小、泛化性能好等特点,并将该算法应用在了股票预测的应用设计中。结果证明明：该算法能够明显减少迭代次数,提高收敛精度,其泛化性能也优于传统BP算法。     

神经网络技术在涡流无损检测中的应用

人工神经网络技术在涡流检测中的应用越来越广泛。文中将多层神经网络BP算法应用到主极裂纹涡流无损检测的信号处理中，并对具体的神经网络的结构进行了设计，主要包括输入和输出层的设计，网络数据的准备，网络初始权值的选择，隐含层数及隐含层节点数的设计，网络的训练、检测及性能评价等。结果表明所设计的网络能够对主极裂纹信号进行有效的自动识别，而且识别的准确度很高。