单隐层神经网络的Lp同时逼近

用构造性的方法证明对任何定义在多维欧氏空间紧集上的勒贝格可积函数以及它的导数可以用一个单隐层的神经网络同时逼近.这个方法自然地得到了网络的隐层设计和收敛速度的估计,所得到的结果描述了网络收敛速度与隐层神经元个数之间的关系,同时也推广了已有的关于一致度量下的稠密性结果.     

输入模式增强神经网络及应用

监督学习神经网络的学习收敛速度是网络的重要指标.以三元奇偶问题和沉积微相识别问题为例,分析了前向神经网络增强输入模式和常规输入模式的网络响应特点.分别在隐层数不变和隐层节点数不变的条件下,对常规输入模式网络和增强输入模式网络的学习速度进行了对比分析.数值实验和沉积微相应用实例说明输入模式增强网络学习迭代次数少,网络分辨率高.输入模式增强网络隐层节点数和隐层数的可选范围均比常规输入模式网络隐层节点数和隐层数的可选范围大,网络收敛稳定性好.输入模式增强网络的性能明显好于常规输入模式网络的性能.     

基于神经网络的带噪声英文字母和数字识别

应用神经网络的方法,设计了一个432-26-36结构的三层BP训练网络,来识别具有一定噪声的26个大写英文字母及10个阿拉伯数字,并考察了网络初始参数对于收敛速度的影响,通过多次对试验结果的比较选取了最佳隐层节点个数.系统用MatLab进行仿真实现,试验结果表明该系统能够对具有一定噪声的大写英文字母和数字进行非常好的识别.     

改进的Elman模型与递归反传控制神经网络

在Elman网络的基础上提出了两种改进网络:输出-输入反馈Elman网络和输出-隐层反馈Elman网络模型,并以前者作为误差反传的通道,建立了递归反向传播控制神经网络模型.在Lyapunov稳定性意义下分别给出了改进网络的稳定性证明,得到了保证网络稳定收敛的最佳自适应学习速率.分别用Elman网络及其改进网络对超声马达进行了模拟.利用改进的Elman网络模型,除了可以较好地模拟马达速度以外,还得到了一些有意义的结果,据此可以根据现场数据采样的情况,选用不同的网络模型.模拟实验结果表明,递归反向传播控制神经网络对多种形式的超声马达参考速度都有很好的控制效果.     

中医脉象的BP神经网络分类方法研究

为了实现中医脉象的客观、准确分类,文章提出了一种基于BP神经网络的脉象识别方法。考察了隐层节点数对网络收敛速度、识别正确率的影响以及学习率对收敛速度的影响,改进了网络训练算法。并选取了较好的学习率参数对脉象信号进行了网络训练,获得了满意的网络收敛误差和识别精度。最后用大量临床脉象样本对网络和算法进行了检验,实验结果表明该方法能够实现对中医常见脉象的准确、快速分类。     

一种基子距离的神经网络分类器的设计方法

本文提出一种基于距离的神经网络分类器的设计方法。用这种方法设计的网络比采用一般BP算法的网络有较快的收敛速度。这种网络也为理解三层网络的映射能力,记忆容量及隐节点的设置等问题提供了很好的启发和帮助。     

多项式函数的泛函网络构造与逼近算法

关于多项式函数算法优化问题,人工神经网络是解决函数逼近问题的一个重要方法.但由于传统的学习型神经网络存在缺陷,如对初始权重非常敏感,极易收敛于局部极小;收敛缓慢甚至不能收敛;过拟合与过训练;网络隐含节点数不确定等.针对上述问题,提出了一种多项式函数的三层泛函网络与逼近算法,并给出了中间隐层计算单元个数是如何确定.提出的算法能以任意精度逼近多项式函数,同时具有较快收敛速度和良好性能,克服了人工神经网络的不足.最后,给出了两个数值算例进一步验证算法的正确性.     

一种基于距离的神经网络分类器的设计方法

本文提出一种基于距离的神经网络分类器的设计方法。用这种方法设计的网络比采用一般BP算法的网络有较快的收敛速度。这种网络也为理解三层网络的映射能力、记忆容量及隐节点的设置等问题提供了很好的启发和帮助。     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

基于人工免疫原理的RBF网络预测模型

提出一个基于人工免疫原理的RBF网络预测模型AIP-RBF,该模型使用新的克隆选择算法和免疫抑制策略,通过隐层可行解的抽取算法EAHLFS,能在聚类数目未知的情况下,生成RBF网络隐层。给出了改进的隐层节点重要度(SHLN)概念,用于指导RBF网络第2阶段的训练过程。与传统的基于聚类算法的预测模型比较,AIP-RBF具有更快的收敛速度和更高的预测精度,在实际盾构施工地面沉降预测中得到了验证。     

采用资格迹的神经网络学习控制算法

强化学习是解决自适应问题的重要方法,被广泛地应用于连续状态下的学习控制,然而存在效率不高和收敛速度较慢的问题.在运用反向传播(back propagation,BP)神经网络基础上,结合资格迹方法提出一种算法,实现了强化学习过程的多步更新.解决了输出层的局部梯度向隐层节点的反向传播问题,从而实现了神经网络隐层权值的快速更新,并提供一个算法描述.提出了一种改进的残差法,在神经网络的训练过程中将各层权值进行线性优化加权,既获得了梯度下降法的学习速度又获得了残差梯度法的收敛性能,将其应用于神经网络隐层的权值更新,改善了值函数的收敛性能.通过一个倒立摆平衡系统仿真实验,对算法进行了验证和分析.结果显示,经过较短时间的学习,本方法能成功地控制倒立摆,显著提高了学习效率.     

Convergence analysis of convex incremental neural networks

Recently, a convex incremental algorithm (CI-ELM) has been proposed in Huang and Chen (Neurocomputing 70:3056–3062, 2007), which randomly chooses hidden neurons and then analytically determines the output weights connecting with the hidden layer and the output layer. Though hidden neurons are generated randomly, the network constructed by CI-ELM is still based on the principle of universal approximation. The random approximation theory breaks through the limitation of most conventional theories, eliminating the need for tuning hidden neurons. However, due to the random characteristic, some of the neurons contribute little to decrease the residual error, which eventually increase the complexity and computation of neural networks. Thus, CI-ELM cannot precisely give out its convergence rate. Based on Lee’s results (Lee et al., IEEE Trans Inf Theory 42(6):2118–2132, 1996), we first show the convergence rate of a maximum CI-ELM, and then systematically analyze the convergence rate of an enhanced CI-ELM. Different from CI-ELM, the hidden neurons of the two algorithms are chosen by following the maximum or optimality principle under the same structure as CI-ELM. Further, the proof process also demonstrates that our algorithms achieve smaller residual errors than CI-ELM. Since the proposed neural networks remove these “useless” neurons, they improve the efficiency of neural networks. The experimental results on benchmark regression problems will support our conclusions. The work is under the funding of Singapore MOE AcRF Tier 1 grant WBS No: R 252-000-221-112.     

一种新的无刷直流电机控制系统的设计

为解决无刷直流电机的非线性、变参数、负载扰动影响的问题,提出利用一种新型BP神经网络学习算法优化其逆控制系统。该算法设计了包括隐层饱和度的总误差函数,采用了自适应调节的放大误差信号方法,改善了算法的收敛速度并且避免了局部收敛。从而实现无刷直流电机的直接自适应逆控制。仿真结果表明该控制系统响应速度快、无超调、抗干扰、鲁棒性强。     

改进的自适应脊波网络的碳通量预测

碳通量同生态因素之间具有复杂的非线性关系,可以通过生态因素预测碳通量。为提高网络的训练速度和预测精度,针对碳通量数据高维、多样本、非线性、超平面奇异的特点,提出了一种改进的自适应脊波网络预测模型,采用高斯牛顿法调整激励函数的参数,运用矩阵分块法和伪逆矩阵计算脊波网络的权值和阈值。通过实验,比较了改进自适应脊波网络、自适应脊波网络和小波网络的训练收敛速度、隐含层节点个数和预测精度。实验结果表明,提出的预测模型预测精度更高,网络结构更稀疏,训练收敛速度更快。     

基于资源分配网络和语义特征选取的文本分类

针对资源分配网络(RAN)算法存在隐含层节点受初始学习数据影响大、收敛速度低等问题,提出一种新的RAN学习算法。通过均值算法确定初始隐含层节点,在原有的“新颖性准则”基础上增加RMS窗口,更好地判定隐含层节点是否增加。同时,采用最小均方(LMS)算法与扩展卡尔曼滤波器(EKF)算法相结合调整网络参数,提高算法学习速度。由于基于词向量空间文本模型很难处理文本的高维特性和语义复杂性,为此通过语义特征选取方法对文本输入空间进行语义特征的抽取和降维。实验结果表明,新的RAN学习算法具有学习速度快、网络结构紧凑、分类效果好的优点,而且,在语义特征选取的同时实现了降维,大幅度减少文本分类时间,有效提高了系统分类准确性。     

一类反馈过程神经元网络模型及学习算法研究

提出了一种带有反馈输入的过程式神经元网络模型,模型为三层结构,其隐层和输出层均为过程神经元。输入层完成连续信号的输入,隐层完成输入信号的空间聚合和向输出层逐点映射,并将输出信号逐点反馈到输入层;输出层完成隐层输出信号的时、空聚合运算和系统输出。在对权函数实施正交基展开的基础上给出了该模型的学习算法。仿真实验证明了该模型的有效性和可行性。     

基于量子门线路的量子神经网络模型及算法

提出一种量子神经网络模型及算法.该模型为一组量子门线路.输入信息用量子位表示,经量子旋转门进行相位旋转后作为控制位,控制隐层量子位的翻转;隐层量子位经量子旋转门进行相位旋转后作为控制位,控制输出层量子位的翻转.以输出层量子位中激发态的概率幅作为网络输出,基于梯度下降法构造了该模型的学习算法.仿真结果表明,该模型及算法在收敛能力和鲁棒性方面均优于普通BP网络.     

Fast Blind Equalization Using Complex-Valued MLP

The blind equalizers based on complex valued feedforward neural networks, for linear and nonlinear communication channels, yield better performance as compared to linear equalizers. The learning algorithms are, generally, based on stochastic gradient descent, as they are simple to implement. However, these algorithms show a slow convergence rate. In the blind equalization problem, the unavailability of the desired output signal and the presence of nonlinear activation functions make the application of recursive least squares algorithm difficult. In this letter, a new scheme using recursive least squares algorithm is proposed for blind equalization. The learning of weights of the output layer is obtained by using a modified version of constant modulus algorithm cost function. For the learning of weights of hidden layer neuron space adaptation approach is used. The proposed scheme results in faster convergence of the equalizer.     

基于混沌和二阶对角递归网络的船舶横摇的直接多步预测方法

在对船舶横摇预测研究的基础上,提出一种基于混沌和在隐层具有2个反馈权值的二阶对角递归神经网络的直接多步预测模型;给出了易于实现的动量梯度学习算法,并对其收敛性进行了验证.仿真结果表明,直接多步预测不依赖于单步预测的结果,对比单步预测模型能快速、准确地预测船舶横摇运动时间序列,具有更好的预测精度及较长的预测时间.