构造型神经网络双交叉覆盖增量学习算法

研究了基于覆盖的构造型神经网络(cover based constructive neural networks,简称CBCNN)中的双交叉覆盖增量学习算法(BiCovering algorithm,简称BiCA).根据CBCNN的基本思想,该算法进一步通过构造多个正反覆盖簇,使得网络在首次构造完成后还可以不断地修改与优化神经网络的参数与结构,增加或删除网络中的节点,进行增量学习.通过分析认为,BiCA学习算法不但保留了CBCNN网络的优点与特点,而且实现了增量学习并提高了CBCNN网络的泛化能力.仿真实验结果显示,该增量学习算法在神经网络初始分类能力较差的情况下具有快速学习能力,并且对样本的学习顺序不敏感.     

基于覆盖思想的构造型神经网络的增量学习

增量学习是在原有学习成果的基础上,对新信息进行学习,以获取新知识的过程,它要求尽量保持原有的学习成果.文章先简述了基于覆盖的构造型神经网络,然后在此基础上提出了一种快速增量学习算法.该算法在原有网络的分类能力基础上,通过对新样本的快速增量学习,进一步提高网络的分类能力.实验结果表明该算法是有效的.     

自组织增量学习神经网络综述

自组织增量学习神经网络SOINN（self-organizing incremental neural network）是一种基于竞争学习的两层神经网络,用于在没有先验知识的情况下对动态输入数据进行在线聚类和拓扑表示,同时,对噪音数据具有较强的鲁棒性.SOINN的增量性,使得它能够发现数据流中出现的新模式并进行学习,同时不影响之前学习的结果.因此,SOINN能够作为一种通用的学习算法应用于各类非监督学习问题中.对SOINN的模型和算法进行相应的调整,可以使其适用于监督学习、联想记忆、基于模式的推理、流形学习等多种学习场景中.SOINN已经在许多领域得到了应用,包括机器人智能、计算机视觉、专家系统、异常检测等.     

一种改进的神经网络增量学习算法

基于扩展KALMAN滤波器（Extended Kalman Filter）的神经网络是一类应用广泛的神经网络算法,但该算法在大数据量、抵抗噪声等方面还有相当的缺陷。本文从增量学习的角度出发,对扩展KALMAN滤波器算法进行了改进,同时借鉴周期算法的长处,引入部分增量训练机制（Partial incremental Training）和适当的隐层节点删减机制,使该算法在抵抗噪声等方面有了显著的提高。理论分析表明,该算法可以有效降低噪声数据的影响,提高神经网络算法的鲁棒性。     

有理式二阶前馈型神经网络

文章提出了二阶有理式多层前馈神经网络的数学模型。有理式多层神经网络的思想来源于函数逼近理论中的有理式逼近。有理式前馈神经网络模型是传统前俯神经网络模型的推广，能有效地求解函数逼近问题。文章给出了有理式多层神经网络的学习算法，即误差反传播学习算法。就计算复杂度而言，有理式神经网络的学习算法与传统的多层神经网络反传播算法是同阶的。文章还给出了函数逼近和模式识别两个应用实例，实验结果说明二阶有理式多层神经网络在解决传统的问题上是有效的。     

一种连续增量学习模糊神经网络

为获得快速、准确而精简的模糊神经网络,提出一种连续增量学习模糊神经网络(ISL-FNN).将修剪策略引入到神经元的产生过程,用错误下降率定义输入数据对系统输出的影响并应用于神经元的增长过程.在参数的学习阶段,所有隐含层神经元(无论是新增还是已有)的参数使用扩展的卡尔曼算法更新.通过仿真实验,该算法在达到与其它算法性能相当甚至更好的情况下,能获得更精简的结构.     

一种有效的增量顺序学习模糊神经网络

利用误差下降率定义输入数据对系统输出的敏感性,并以此作为规则产生标准,提出一种有效增量顺序学习模糊神经网络。将修剪策略引入规则产生过程,因此该算法产生的模糊神经网络不需要进行修剪。通过仿真实验,本算法在达到与其他算法相当性能的情况下,能够获得更高的准确率和更简单的结构。     

前馈神经网络WAFS学习算法

1.引言前馈神经网络是目前应用最广的一种神经网络,其学习算法是由Rumelhart等人于1986年提出的反向传播(Back Propagation,BP)算法,故这种神经网络也常被称为BP神经网络。人们对前馈神经网络学习算法的研究,以前主要着重对各层之间联接权值优化的研究,如BP算法以     

随机权神经网络增量构造学习方法研究进展

随机权神经网络(random weight neural network,RWNN)在解决数据定性和定量分析方面具有强大的潜力,其最显著的特征是隐含层参数随机生成.这一特征使得RWNN相比于基于梯度下降优化微调节点参数的神经网络具有诸多优势,如结构简单、易于实现和低人工干预等.RWNN的隐含层和输入层之间的参数是在一个固定区间内随机生成,而隐含层和输出层之间的输出权值则通过解析法进行求解.增量构造方法从一个小的初始网络开始,逐渐添加新的隐含层节点以提升模型品质,直到满足预期性能目标.基于此,重点从基础理论、增量构造学习方法和未来开放研究方向等方面切入,全面综述增量RWNN的研究进展.首先介绍RWNN的基本结构、理论和分析;进一步重点介绍RWNN在增量构造学习方法上的各种改进及应用;最后指出RWNN增量构造学习未来开放的研究方向.     

神经网络极速学习方法研究进展

神经网络已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但学习方法的速度不能满足实际需求。传统的误差反向传播方法(BP)主要是基于梯度下降的思想,需要多次迭代;网络的所有参数都需要在训练过程中迭代确定,因此算法的计算量和搜索空间很大。ELM(Extreme Learning Machine,ELM)是一次学习思想使得学习速度提高很多,避免了多次迭代和局部最小值,具有良好的泛化性能、鲁棒性与可控性。但对于不同的数据集和不同的应用领域,无论ELM是用于数据分类或是回归,ELM算法本身还是存在问题,所以本文对已有方法深入对比分析,并指出极速学习方法未来的发展方向。     

Towards Incremental Parsing of Natural Language Using Recursive Neural Networks

In this paper we develop novel algorithmic ideas for building a natural language parser grounded upon the hypothesis of incrementality. Although widely accepted and experimentally supported under a cognitive perspective as a model of the human parser, the incrementality assumption has never been exploited for building automatic parsers of unconstrained real texts. The essentials of the hypothesis are that words are processed in a left-to-right fashion, and the syntactic structure is kept totally connected at each step.Our proposal relies on a machine learning technique for predicting the correctness of partial syntactic structures that are built during the parsing process. A recursive neural network architecture is employed for computing predictions after a training phase on examples drawn from a corpus of parsed sentences, the Penn Treebank. Our results indicate the viability of the approach and lay out the premises for a novel generation of algorithms for natural language processing which more closely model human parsing. These algorithms may prove very useful in the development of efficient parsers.     

一种前向神经网络快速学习算法及其在系统辨识中的应用

提出一种基于最小二乘的前向神经网络快速学习算法.与现有同类算法相比,该算法无需任何矩阵求逆,计算量小,较适于需快速学习的系统辨识和其他应用.文中推导了算法,并给出一种更为简便的局部化算法.系统辨识的仿真实例表明了算法的优良性能.     

多层前向神经网络结构的研究进展*

本文综述了的牢来多层前向神经网络结构的研究进展，总结了多怪前向网络结构调整的各种方法，并对各种方法进行了比较分析，最后提出了若干研究的问题。     

前向神经网络信赖域学习算法的研究

本文介绍了引入信赖域优化理论解决神经网络中学习问题的新算法,提出了计算有效信赖域步方法,以保证信赖域算法的正确性,采用变系数方法避免了信赖域半径自适应调整过程中不稳定和低效的问题。实验表明,信赖域学习算法优于变尺度算法。     

一种新的基于构造型神经网络分类算法

该文提出一种基于构造型神经网络的最大密度覆盖分类算法,该算法直接从样本数据本身入手,通过引入一个密度估计函数对样本数据进行聚类分析,找出同类样本中具有最大密度的样本数据点,然后在特征空间里作超平面与球面相交,得到一个球面领域覆盖,从而将神经网络训练问题转化为点集覆盖问题．该算法有效地克服了传统神经网络训练时间长、学习复杂的问题,同时也考虑了神经网络规模的优化问题,实验证明了该算法的有效性．     

基于模糊神经网络的人脸识别方法研究

人脸识别是模式识别研究领域的重要课题,具有广阔的应用前景。本文提出了基于模糊神经网络的人脸识别方法。首先用最优鉴别分析方法提取人脸的最优鉴别矢量集,构成特征空间,然后在特征空间中设计模糊神经网络分类器。在ORL人脸图象库上的实验结果表明了该方法的有效性。     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.