关于三层前馈神经网络隐层构建问题的研究

针对最佳平方逼近三层前馈神经网络模型，分析了与隐层单元性能相关的表示空间 与误差空间、目标空间与耗损空间的作用，提出了按网络生长方式构建隐层时隐单元选择准则和评价方法。研究结果表明：隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能趋向于极大能量方向的原则，这一结果与隐单元采用什么激发函数无关，也允许各隐单元采用不同激发函数。网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行，而总体结果可采用隐层评价因子进行评测。     

基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

熵在BP 神经网络修剪算法中的应用

提出了一种基于熵理论的BP 神经网络结构设计修剪算法．其实质是依据Shannon 熵原理,定义神经 网络隐层节点输出的拟熵,该熵与Shannon 熵对不确定性的描述具有相同的效果,但克服了Shannon 熵固有的缺 点．将神经网络实际输出与期望输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进 行寻优,最后通过删除合并隐层神经元达到简化神经网络结构的目的．通过逼近典型非线性函数进行仿真实验,结 果表明,该修剪算法在保证其逼近性能的同时,可以简化BP 神经网络结构．     

前馈神经网络中隐层神经元数目的一种直接估计方法

目前还没有一个行之有效的方法直接估计前馈网络隐层神经元的数目。该文首先提出一种利用单调指数直接估算三层前馈网络隐层经元数目的方法,以保证网络近似逼近任意给定的训练数据。理论分析和计算实验表明,此方法能够在训练之前预先确定最优（最少）或接近最优的隐层神经元数目,使得网络在训练之后不仅可以较好地反映训练数据的变化趋势,而且有较为满意的逼近精度。     

分段式自适应确定BP网络隐层结点数——以遥感图像分类为例

隐层数和隐层结点数直接关乎BP网络的学习能力,但目前对隐层结点数的选择尚无适用的理论,一般凭经验或试凑确定.本文提出一种分段式自适应确定隐层结点数的算法,它通过评估网络输出相对误差相应调整隐层结点数,通过迭代运算在使网络输出相对误差逐步减小的同时,逼近可能的最优隐层结点数.通常这个最优结点数即网络输出相对误差出现震荡的起点对应的结点数,以这个结点数决定的网络结构能够在网络输出精度与运算开销之间取得较佳平衡.     

一种基于代数算法的RBF神经网络优化方法

提出了一种新的RBF神经网络的训练方法,采用动态K-均值方法对RBF 神经网络的隐层中心值和宽度进行了优化,用代数算法训练隐层和输出层之间的权值。在对非线性函数进行逼近的仿真中,验证了该算法的有效性。     

一类反馈过程神经元网络模型及其学校算法

提出了一种基于权函数基展开的反馈过程神经元网络模型．该模型为三层结构，由输入层、过程神经元隐层和过程神经元输出层组成．输入层完成系统时变过程信号的输入及隐层过程神经元输出信号向系统的反馈；过程神经元隐层用于完成输入信号的空间加权聚合和激励运算，同时将输出信号传输到输出层并加权反馈到输入层；输出层完成隐层输出信号的空间加权聚集和对时间的聚合运算以及系统输出．文中给出了学习算法，并以旋转机械故障自动诊断问题为例验证了模型和算法的有效性．     

小麦冠层图像H分量的K均值聚类分割

大田环境下小麦冠层图像具有光照不均匀、背景复杂及阴影遮挡等特点,经典图像分割算法存在精度低、过分割等问题,提出一种基于HSI空间下H分量的K均值聚类算法。使用[R+G-B]归一化处理RGB空间下的彩色图像,以抑制其B分量;将归一化图像进行RGB到HSI的颜色空间转化;根据光照是否均匀,使用K均值聚类算法对彩色图像的H分量进行不同的聚类处理,经形态学开运算及去噪处理获得最终目标图像。实验表明,该方法对不同施氮量、不同光照、不同生长时期小麦冠层图像的分割效果较好,相对基于Lab空间的K-means聚类分割,该方法可一定程度避免过分割现象;相对基于H分量的Otsu算法,对光照不均匀图像分割更完整,对复杂背景图像分割更精确。     

一种基于遗传算法的RBF神经网络优化方法

提出了一种新的RBF神经网络的训练方法，采用遗传算法对RBF神经网络的隐层中心值和宽度进行了优化，用递推最小二乘法训练隐层和输出层之间的权值。在对非线性函数进行逼近的仿真中，验证了该算法的有效性。     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

基于组合算法的RBF神经网络列车轮对缺陷识别

提出了一种基于动态聚类和遗传算法相结合的组合RBF网络训练方法;采用动态聚类法对样本数据进行聚类,使RBF神经网络的隐含层节点中心数在训练过程中自动确定,使用经验公式作为标准,选取最优聚类数,采用遗传算法对隐层中心和宽度以及隐层到输出层的权值进行优化,在全局范围内寻找网络的最优模型;最后对轮对缺陷进行纹理特征提取,并组成训练样本和测试样本,输入到网络进行训练与测试;实验结果表明,与传统方法比较,该组合方法具有较高的识别率。     

一种基于Walsh变换的反馈过程神经网络模型及学习算法

提出了一种带有反馈输入的过程式神经元网络模型，模型为三层结构，其隐层和输出层均为过程神经元．输入层完成连续信号的输入，隐层完成输入信号的空间聚合和向输出层逐点映射，并将输出信号逐点反馈到输入层；输出层完成隐层输出信号的时、空聚合运算和系统输出．在对权函数实施Walsh变换的基础上给出了该模型的学习算法．仿真实验证明了模型和算法的有效性．     

一类反馈过程神经元网络模型及学习算法研究

提出了一种带有反馈输入的过程式神经元网络模型,模型为三层结构,其隐层和输出层均为过程神经元。输入层完成连续信号的输入,隐层完成输入信号的空间聚合和向输出层逐点映射,并将输出信号逐点反馈到输入层;输出层完成隐层输出信号的时、空聚合运算和系统输出。在对权函数实施正交基展开的基础上给出了该模型的学习算法。仿真实验证明了该模型的有效性和可行性。     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

A New Adaptive Merging and Growing Algorithm for Designing Artificial Neural Networks

This paper presents a new algorithm, called adaptive merging and growing algorithm (AMGA), in designing artificial neural networks (ANNs). This algorithm merges and adds hidden neurons during the training process of ANNs. The merge operation introduced in AMGA is a kind of a mixed mode operation, which is equivalent to pruning two neurons and adding one neuron. Unlike most previous studies, AMGA puts emphasis on autonomous functioning in the design process of ANNs. This is the main reason why AMGA uses an adaptive not a predefined fixed strategy in designing ANNs. The adaptive strategy merges or adds hidden neurons based on the learning ability of hidden neurons or the training progress of ANNs. In order to reduce the amount of retraining after modifying ANN architectures, AMGA prunes hidden neurons by merging correlated hidden neurons and adds hidden neurons by splitting existing hidden neurons. The proposed AMGA has been tested on a number of benchmark problems in machine learning and ANNs, including breast cancer, Australian credit card assessment, and diabetes, gene, glass, heart, iris, and thyroid problems. The experimental results show that AMGA can design compact ANN architectures with good generalization ability compared to other algorithms.     

On-line training of recurrent neural networks with continuoustopology adaptation

This paper presents an online procedure for training dynamic neural networks with input-output recurrences whose topology is continuously adjusted to the complexity of the target system dynamics. This is accomplished by changing the number of the elements of the network hidden layer whenever the existing topology cannot capture the dynamics presented by the new data. The training mechanism is based on the suitably altered extended Kalman filter (EKF) algorithm which is simultaneously used for the network parameter adjustment and for its state estimation. The network consists of a single hidden layer with Gaussian radial basis functions (GRBF), and a linear output layer. The choice of the GRBF is induced by the requirements of the online learning. The latter implies the network architecture which permits only local influence of the new data point in order not to forget the previously learned dynamics. The continuous topology adaptation is implemented in our algorithm to avoid memory and computational problems of using a regular grid of GRBF'S which covers the network input space. Furthermore, we show that the resulting parameter increase can be handled "smoothly" without interfering with the already acquired information. If the target system dynamics are changing over time, we show that a suitable forgetting factor can be used to "unlearn" the no longer-relevant dynamics. The quality of the recurrent network training algorithm is demonstrated on the identification of nonlinear dynamic systems.     

奇异值分解下在线鲁棒正则化随机网络

在线鲁棒随机权神经网络(OR-RVFLN)具有较好的逼近性、较快的收敛速度、较高的鲁棒性能以及较小的 存储空间. 但是, OR-RVFLN 算法计算过程中会产生矩阵的不适定问题, 使得隐含层输出矩阵的精度较低. 针对这 个问题, 本文提出了奇异值分解下在线鲁棒正则化随机网络(SVD-OR-RRVFLN). 该算法在OR-RVFLN 算法的基础 上, 将正则化项引入到权值的估计中, 并且对隐含层输出矩阵进行奇异值分解; 同时采用核密度估计(KDE) 法, 对 整个SVD-OR-RRVFLN网络的权值矩阵进行更新, 并分析了所提算法的必要性和收敛性. 最后, 将所提的方法应用 于Benchmark数据集和磨矿粒度的指标预测中, 实验结果证实了该算法不仅可以有效地提高模型的预测精度和鲁 棒性能, 而且具有更快的训练速度.     

基于集成深度森林的入侵检测方法

基于卷积神经网络(CNN)的入侵检测方法在实际应用中模型训练时间过长、超参数较多、数据需求量大。为降低计算复杂度,提高入侵检测效率,提出一种基于集成深度森林(EDF)的检测方法。在分析CNN的隐藏层结构和集成学习的Bagging集成策略的基础上构造随机森林(RF)层,对每层中RF输入随机选择的特征进行训练,拼接输出的类向量和特征向量并向下层传递迭代,持续训练直至模型收敛。在NSL-KDD数据集上的实验结果表明,与CNN算法相比,EDF算法在保证分类准确率的同时,其收敛速度可提升50%以上,证明了EDF算法的高效性和可行性。