前向代数神经网络的函数逼近理论及学习算法

文中对ＭＰ神经元模型进行了推广,定义了多项代数神经元、多项式代数神经网络,将多项式代数融入代数神经网络,分析了前向多项式代数神经网络函数逼近能力及理论依据,设计出了一类双输入单输出的前向４层多层式代数神经网络模型,由该模型构成的网络能够逼近于给定的二元多项式到预定的精度。给出了在Ｐ－ａｄｉｃ意义下的多项式代数神经网络函数逼近整体学习算法,在学习的过程中,不存在局部极小,通过实例表明,该算法有效,最     

多元多项式函数的三层前向神经网络逼近方法

该文首先用构造性方法证明:对任意r阶多元多项式,存在确定权值和确定隐元个数的三层前向神经网络.它能以任意精度逼近该多项式.其中权值由所给多元多项式的系数和激活函数确定,而隐元个数由r与输入变量维数确定.作者给出算法和算例,说明基于文中所构造的神经网络可非常高效地逼近多元多项式函数.具体化到一元多项式的情形,文中结果比曹飞龙等所提出的网络和算法更为简单、高效;所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义,为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径.     

正交投影神经网络

本文在前馈网络的基础上，提出了一种新的网络模型。在该模型中，由于将线性优化技术引入其学习训练过程，从而提高了网络的学习速度。同时，该网络仍保持了神经网络中非线性映射的基本特点。由于这种网络的学习算法是基于正交投影算法，故我们称之为正交投影神经网络（ＯＰＮＮ）。最后，给出了两个利用ＯＰＮＮ网络分别进行异或分类和函数逼近的例子。     

构造前向神经网络逼近多项式函数

首先用构造性的方法证明:对于任意的n阶多元多项式函数,可以构造一个三层前向神经网络以任意精度逼近该多项式,所构造网络的隐层节点个数仅与多项式的维数d和阶数n有关.然后,我们给出实现这一逼近的具体算法.最后,给出两个算例进一步验证所得的理论结果.本文结果对神经网络逼近多元多项式函数的具体网络构造以及实现这一逼近的方法等问题具有指导意义.     

基于函数型网络的快速学习方法及其应用

对函数型神经网络的函数变换原理进行论述,指出函数型神经网络的特点。对函数型网络的学习规划及其实现进行了详细的描述,将该网络应用于土木工程的若干计算问题,得到了较高的收敛省事 出了与传统ＢＰ算法的性能比较。     

基于代数神经网络的置换多项式判定网络学习算法

从神经元的运算特性入手,对神经元的激发函数,网络结构,学习目标三方面进行了推广,设计出了一类用于有限域上置换多项式判定的多项式神经网络模型,它们是单输入单输出的3层神经网络。给出了两类置换多项式判定的离散网络模型学习算法,该算法简单可行,易于实现。     

一种非常数型径向基函数神经网络学习算法研究

提出一种新的非常数型径向基函数神经网络的最优聚类学习算法,并将该算法应用于函数逼近和系统辨识.仿真结果表明本文提出的学习算法具有聚类的快速收敛性和网络构造的简练性.     

基于ＨＦＬＡＮＮ自组织多项式网络学习算法

首先提出一种双曲函数型神经网络HFLANN,设计出一类基于HFLANN网络的层次双曲型函数网络HHFLANN,给出了HHFLANN的网络学习算法,使其在用于非线性的拟合中体现了较强的优越性,对于任意的Volterra级数使用HHFLANN网络来逼近是完全可行的,该算法较GMDH算法和SOP算法,具有快速简单的特性,它优于GMDH算法,有规律地选取部分多项式;优于SOP算法,在构造SOP网络不需要太多的中间隐层,从而加快了学习过程,提高了网络的逼近性能,更适合于具有层次结构的应用领域。     

前馈神经网络在汽车悬架设计中的应用*

提出采用GABP贝叶斯算法来建立悬架运动学分析近似模型。该算法是一种新型前馈神经网络训练算法,它以提高网络的泛化性能为主旨,其训练目标在于获取对应于后验分布最大值的权值向量。以双横臂式前独立悬架为例,采用GABP贝叶斯算法建立了以车轮接地点侧向最大滑移量为输出的运动学分析近似模型,并与LMBP算法、多项式回归和广义回归神经网络这三种方法进行了比较。结果表明,基于GABP贝叶斯算法的近似模型的预测精度明显高于其他几种模型,并且受随机因素的影响很小。     

一种回归神经网络的快速在线学习算法

针对回归神经网络BP学习算法收敛慢的缺陷,提出了一种新的快速在线递推学 习算法.本算法在目标函数中引入了遗忘因子,并借助于非线性系统的最大似然估计原理成 功地解决了动态非线性系统回归神经网络模型权系数学习的实时性和快速性问题.仿真结果 表明,该算法比传统的回归BP学习算法具有更快的收敛速度.     

一种基于泛函网络的多项式Euclidean算法

提出一种基于泛函网络的多项式Euclidean计算新模型，给出一种基于泛函网络的多项式Euclidean新算法。网络的泛函参数利用解线性方程组方法来完成。相对于传统方法，该方法不但能够快速地获得所求多项式问题的精确解，而且可获得所求多项式问题的近似解。计算机仿真结果表明，该算法十分有效、可行，可以看作是对传统的Euclidean算法的一种推广。该算法将在计算机数学、代数密码学等方面有着广泛的应用。     

The Chebyshev-polynomials-based unified model neural networks forfunction approximation

In this paper, we propose the approximate transformable technique, which includes the direct transformation and indirect transformation, to obtain a Chebyshev-Polynomials-Based (CPB) unified model neural networks for feedforward/recurrent neural networks via Chebyshev polynomials approximation. Based on this approximate transformable technique, we have derived the relationship between the single-layer neural networks and multilayer perceptron neural networks. It is shown that the CPB unified model neural networks can be represented as a functional link networks that are based on Chebyshev polynomials, and those networks use the recursive least square method with forgetting factor as learning algorithm. It turns out that the CPB unified model neural networks not only has the same capability of universal approximator, but also has faster learning speed than conventional feedforward/recurrent neural networks. Furthermore, we have also derived the condition such that the unified model generating by Chebyshev polynomials is optimal in the sense of error least square approximation in the single variable ease. Computer simulations show that the proposed method does have the capability of universal approximator in some functional approximation with considerable reduction in learning time.     

用泛函网络求任意高阶多项式的近似根

本文提出了一种新的基于泛函网络的多项式求根模型及学习算法，而泛函网络的参数利用解线性不等式组，可得到所求任意高阶多项式近似根的一般参数表达式。文章还讨论了基于泛函网络的多项式求根学习算法实现的一些技术问题，相对传统方法，能够有效地获得任意多项式对应根的参数表达式。     

Constrained Learning in Neural Networks: Application to Stable Factorization of 2-D Polynomials

Adaptive artificial neural network techniques are introduced and applied to the factorization of 2-D second order polynomials. The proposed neural network is trained using a constrained learning algorithm that achieves minimization of the usual mean square error criterion along with simultaneous satisfaction of multiple equality and inequality constraints between the polynomial coefficients. Using this method, we are able to obtain good approximate solutions for non-factorable polynomials. By incorporating stability constraints into the formalism, our method can be successfully used for the realization of stable 2-D second order IIR filters in cascade form.     

Ridge polynomial networks.

This paper presents a polynomial connectionist network called ridge polynomial network (RPN) that can uniformly approximate any continuous function on a compact set in multidimensional input space R (d), with arbitrary degree of accuracy. This network provides a more efficient and regular architecture compared to ordinary higher-order feedforward networks while maintaining their fast learning property. The ridge polynomial network is a generalization of the pi-sigma network and uses a special form of ridge polynomials. It is shown that any multivariate polynomial can be represented in this form, and realized by an RPN. Approximation capability of the RPN's is shown by this representation theorem and the Weierstrass polynomial approximation theorem. The RPN provides a natural mechanism for incremental network growth. Simulation results on a surface fitting problem, the classification of high-dimensional data and the realization of a multivariate polynomial function are given to highlight the capability of the network. In particular, a constructive learning algorithm developed for the network is shown to yield smooth generalization and steady learning.     

多项式泛函网络运算模型及应用

提出了一种多项式泛函网络运算新模型,来求解任意数域或环上多项式运算问题。同时给出了基于泛函网络求任意一元多项式倍式的学习算法,而网络的参数利用解线性方程组方法来完成。实验结果表明,这种神经计算方法,相对传统方法,不但能够获得问题的精确解,而且可获得问题的近似解。这给工程计算软件的二次开发提供了有效方法。     

A numerical elimination method for polynomial computations

A numerical elimination method is presented in this paper for floating-point computation in polynomial algebra. The method is designed to calculate one or more polynomials in an elimination ideal by a sequence of matrix rank/kernel computation. The method is reliable in numerical computation with verifiable stability and a sensitivity measurement. Computational experiment shows that the method possesses significant advantages over classical resultant computation in numerical stability and in producing eliminant polynomials with lower degrees and fewer extraneous factors. The elimination algorithm combined with an approximate GCD finder appears to be effective in solving polynomial systems for positive dimensional solutions.     

基于内部回归神经网络的强化学习

在强化学习和动态规划算法的基础上,提出一种不需要预测模型的改进的强化学习算法：该学习算法在模型未知和没有先验经验的条件下,能通过自身神经网络的在线学习,有效控制不稳定的非线性系统：该学习算法的网络结构采用内部回归神经网络,这样可以增强网络本身处理动态信息的能力,使其更适合复杂系统的稳定控制。应用到一级倒立摆物理实体的控制．实验结果表明了该学习算法在性能上优于其他同类强化学习算法．