基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

基于能量空间逼近策略的三层前馈神经网络隐层训练算法

针对基于最佳平方逼近的三层前馈神经网络讨论了隐层生长模式的一种训练策略．首先根据隐层输出行为和期望输出数据的分布特征对样本数据确定的N维空间进行了不同意义上的划分．分析表明最有效的隐单元其输出向量应该在误差空间存在投影分量，同时该分量应位于目标空间中的某一能量空间内．在此基础上提出了基于能量空间逼近策略的隐层生长式训练算法．最后通过仿真实验验证了所提出算法的有效性．     

一种估计前馈神经网络中隐层神经元数目的新方法

前馈神经网络中隐层神经元的数目一般凭经验的给出，这种方法往往造成隐单元数目的不足或过甚，从而导致网络存储容量不够或出现学习过拟现象，本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法，该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络，然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值，并对其进行排序，计算这些激活值的各种划分的信息增益，从而构造能将整个样本空间正确划分的决策树，最后遍历整棵树寻找重要的相关隐层神经元，并删除冗余无关的其它隐单元，从而估计神经网络中隐层神经元的较佳数目，文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例，介绍本方法的使用，结果表明，本方法能有效估计前馈神经网络的隐单元数目。     

一种新的基于Agent的神经网络隐层节点数的优化算法

本文提出了一种新的基于Agent的神经网络隐层结构的优化算法(OHA)。该方法包括两个部分,分别由RLAgent和NNAgent合作完成。RLAgent根据强化学习算法找到一个比当前节点数更优的解,并反馈给NNAgent。NNAgent据此构建相应的网络,并采用分层训练的算法对该网络进行优化,训练结果再发给RLAgent。在多次循环后,OHA算法就可以找到一个训练误差最小的全局最优解(权值及隐层节点数)。本文讨论了有关的算法、测试和结果分析。Iris数据集和危险评估数据集的测试结果表明,算法避免了盲目搜索造成的计算开销,明显改善了优化性能。     

BP神经网络隐层单元数的确定方法及实例

针对BP神经网络隐层单元数不易确定的问题,提出一种在传统的经验公式基础上快速确定隐层单元数的方法。该方法首先借助经验公式确定隐层单元数的取值范围,然后将其扩大,在这个扩大的范围内寻找最优值。以BP神经网络预测交通流量为例,解释说明了具体的步骤,以及网络模型的隐层结构对模型仿真精度的影响。结果表明,采用该方法可快速决定隐层单元数,在实例中采用16个隐层单元数为最佳。     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

基于隐层优化的RBF神经网络预测模型

提出一种基于隐层优化算法的RBF神经网络预测模型——HLOA-IRBFM。在传统的免疫径向基神经网络模型(IRBFNM)的基础上引入粗糙集,将初始隐层空间进行划分。定义隐层区域密度和相对近似度等概念,提出边界区域中冗余点和孤立点的约减算法。优化后的隐层空间分布均匀,能以较少的中心数覆盖整个样本空间,弥补了IRBFNM模型过分依赖参数选取的不足。实验结果证明,HLOA-IRBFM模型比IRBFNM模型在预测性能方面具有更好的稳定性和准确性。     

多层神经网络的样本记忆能力

本文论述了前馈型网络,隐节点层进行线性独立变换的能力.严格证明了Mirchandani等关于隐节点在输入空间划分出区域数的定理.给出多层前馈型神经网络采用单位阶跃和连续渐近激发函数两种情况下,实数值样本绝对记忆能力的两个定理.     

基于惩罚函数泛化的神经网络剪枝算法研究

神经网络的隐层数和隐层节点数决定了网络规模,并对网络性能造成较大影响。在满足网络所需最少隐层节点数的前提下,利用剪枝算法删除某些冗余节点,减少隐层节点数,得到更加精简的网络结构。基于惩罚函数的剪枝算法是在目标函数后加入一个惩罚函数项,该惩罚函数项是一个变量为网络权值的函数。由于惩罚函数中的网络权值变量可以附加一个可调参数,将单一惩罚函数项泛化为一类随参数规律变化的新的惩罚函数,初始惩罚函数可看作泛化后惩罚函数的参数取定值的特殊情况。实验利用基于标准BP神经网络的XOR数据进行测试,得到隐层节点剪枝效果和网络权值随惩罚函数的泛化而发生变化,并从数据分析中得出具有更好剪枝效果及更优网络结构的惩罚函数泛化参数。     

单隐层神经网络的Lp同时逼近

用构造性的方法证明对任何定义在多维欧氏空间紧集上的勒贝格可积函数以及它的导数可以用一个单隐层的神经网络同时逼近.这个方法自然地得到了网络的隐层设计和收敛速度的估计,所得到的结果描述了网络收敛速度与隐层神经元个数之间的关系,同时也推广了已有的关于一致度量下的稠密性结果.     

单隐层神经网络的Lp同时逼近

用构造性的方法证明对任何定义在多维欧氏空间紧集上的勒贝格可积函数以及它的导数可以用一个单隐层的神经网络同时逼近.这个方法自然地得到了网络的隐层设计和收敛速度的估计,所得到的结果描述了网络收敛速度与隐层神经元个数之间的关系,同时也推广了已有的关于一致度量下的稠密性结果.     

Centroid based Multilayer Perceptron Networks

In this study we investigate a hybrid neural network architecture for modelling purposes. The proposed network is based on the multilayer perceptron (MLP) network. However, in addition to the usual hidden layers the first hidden layer is selected to be a centroid layer. Each unit in this new layer incorporates a centroid that is located somewhere in the input space. The output of these units is the Euclidean distance between the centroid and the input. The centroid layer clearly resembles the hidden layer of the radial basis function (RBF) networks. Therefore the centroid based multilayer perceptron (CMLP) networks can be regarded as a hybrid of MLP and RBF networks. The presented benchmark experiments show that the proposed hybrid architecture is able to combine the good properties of MLP and RBF networks resulting fast and efficient learning, and compact network structure.     

Automatic model selection in a hybrid perceptron/radial network

We provide several enhancements to our previously introduced algorithm for a sequential construction of a hybrid network of radial and perceptron hidden units [6]. At each stage, the algorithm sub-divides the input space in order to reduce the entropy of the data conditioned on the clusters. The algorithm determines if a radial or a perceptron unit is required at a given region of input space, by using the local likelihood of the model under each unit type. Given an error target, the algorithm also determines the number of hidden units. This results in a final architecture which is often much smaller than an radial basis functions network or an multi-layer perceptron. A benchmark on six classification problems is given. The most striking performance improvement is achieved on the vowel data set [8].     

The <Emphasis Type="Italic">p</Emphasis>-recursive piecewise polynomial sigmoid generators and first-order algorithms for multilayer tanh-like neurons

This paper demonstrates how the p-recursive piecewise polynomial (p-RPP) generators and their derivatives are constructed. The feedforward computational time of a multilayer feedforward network can be reduced by using these functions as the activation functions. Three modifications of training algorithms are proposed. First, we use the modified error function so that the sigmoid prime factor for the updating rule of the output units is eliminated. Second, we normalize the input patterns in order to balance the dynamic range of the inputs. And third, we add a new penalty function to the hidden layer to get the anti-Hebbian rules in providing information when the activation functions have zero sigmoid prime factor. The three modifications are combined with two versions of Rprop (Resilient propagation) algorithm. The proposed procedures achieved excellent results without the need for careful selection of the training parameters. Not only the algorithm but also the shape of the activation function has important influence on the training performance.     

变结构神经网络

针对神经网络结构、性能不佳的普通状况,本文提出变结构的神经网络。先后研究了神经网络单隐层和多隐层的变化情况。仿真试验结果证明是有效的。     

前向神经网络合理隐含层结点个数估计

合理选择隐含层神经元个数是前向神经网络构造中的一个关键问题,对网络的泛化能力、训练速度等都具有重要的影响。该文提出了基于隐含层神经元输出之间的相关分析而进行隐含层神经元合理个数的估计方法,首先建立了基于网络输出和基于网络输出对网络各输入一阶偏导数的隐含层各神经元输出之间的相关程度度量,进而给出了基于模糊等价关系分析的神经元合理个数估计方法。具体应用结果证明了所提出方法的有效性。