一种基于综合目标函数的神经网络学习算法

为提高多层前向神经网络的学习速度和算法的稳定性,提出一种基于综合目标函数的改进学习算法.该算法在误差平方和目标函数中引入一个辅助约束项构成综合目标函数,并利用综合目标函数训练网络的输出层权值,采用牛顿法推导出训练输出层权值的递推公式.辅助约束项隐含有对网络输出平滑性的约束,提高了学习算法的稳定性.利用该算法对不同非线性函数生成的样本数据的学习结果表明,新算法的收敛速度、精度均优于Karayiannis等人的二阶学习算法.     

基于自组织选取中心的广义RBF神经网络学习算法

根据RBF网络要学习的3个参数:基函数的中心、方差和权值,提出了广义RBF网络自组织选取中心的学习算法.该算法首先学习隐层基函数的中心与方差,然后学习输出层权值,仿真结果表明了该算法的有效性.     

多变量模糊控制系统的前馈解耦

为实现多变量模糊控制系统的动态解耦，基于前馈解耦思想和神经网络理论，提出了一种多变量模糊控制系统解耦的新方法——模糊前馈解耦法,模糊控制器和解耦部分独立设计，解耦由两层神经网络实现，节点少，其活化函数采用分段线性函数．利用简化的学习算法，根据系统输出误差，在线调整网络权值，从而实现动态解耦而无需辨识被控对象的模型，该方法结构简单且计算量小，适于实时多变量过程控制，仿真证明了该方法的有效性。     

自回归模型的多新息随机梯度和多新息最小二乘辨识方法

将多新息辨识理论用于研究自回归模型的参数辨识问题,通过把标量新息扩展为向量新息(即多新患),扩展信患向量到信患矩阵和构成堆积系统输出,从而提出了自回归模型的多新息随机梯度辨识算法和多新息最小二乘辨识算法.仿真结果验证了提出算法的有效性.     

复杂系统辨识的网络初始化算法

针对用于非线性辨识的连续激发函数的神经网络 ,提出一种根据被测对象非线性特性设计网络初值的算法。这种方法分析了双曲函数 f(x) =tanh(x)敏感区分布和神经网络的灵敏度对网络输出的影响 ,根据样本 ,求出敏感区宽度 Gb,网络隐层权值与 Gb成反比 ,同时满足网络的第 K层权值小于 (K- 1 )权值。电动机非线性磁场的辨识表明这种初始化算法不仅使辨识精度有所提高 ,且加快了网络的收敛速度。     

基于免疫的RBF网络在线学习算法研究

提出一种新的基于免疫的RBF网络在线算法.首先是融入增加结点策略和减少结点策略,把传统的免疫RBF网络算法改进成在线学习算法.其次是改进了权值学习算法,径向基函数相当于这一类的概率密度,隐层到输出层权值相当于这一类的值.用这种方法权值不需要训练.试验结果表明,该方法效果理想、速度快,识别率高.     

多项式前向神经网络

提出了一种新型的前向神经网络模型-多项式神经网络。该网络具有三层结构,隐层、输出层神经元激活函数分别为：f(x)=x^p和线性函数,网络隐层-输出层的权值采取最速下降法学习,输入层-隐层的权值采用遗传算法进行学习;网络学习时,其误差函数单调递减,学习算法具有较好的收敛性;该网络能逼近任意的连续函数,且具有较好的稳定性,应用实例表明该网络的性能是优良的。     

基于前向神经网络的多新息随机梯度辨识算法

为了提高动态系统的辨识精度,提出一种基于前馈神经网络的多新息随机梯度辨识算法,它通过动态调整网络权值来提高网络在线辨识性能.由于多新息随机梯度辨识算法利用了系统的当前数据和历史数据,对动态辨识,特别是对具有纯时间延迟动态系统的辨识,较传统的BP算法在辨识精度和收敛速度方面具有更好的效果.仿真结果表明该算法的有效性.     

一种用于多类模式识别的综合感知器网络和学习算法

提出一种由感知器神经元组合成的综合网络模型及相应的学习算法,网络由3层感知器神经元组成,中间屋到输出层的权值相应地为＋1或－1,输入层到中间层的权值通过学习获得,且中间层每个神经元的权值单独学习完成,该学习算法在有限次迭代步骤内终止。当算法终止时,对于可线性发的多类模式识别问题总是能找到正确的解,如果还有模式不能识别,则说明这是一个不可线性划分的多类模式识别问题,用阿拉伯数字识别的例子说明了网络模型和算法的有效性。     

基于人工免疫的RBF神经网络在钢筋性能预报中的应用

提出了一种基于免疫识别原理的径向基函数神经网络学习算法.该算法利用人工免疫系统的识别、记忆、学习等原理,将输入数据作为抗原,抗体为抗原的压缩映射作为径向基函数神经网络模型的隐层中心,输出采用最小二乘法确定权值.通过预报热轧带肋钢筋力学性能的仿真实验结果表明,与K-均值法选择中心点比较,该算法计算量较小,精度高.     

Auxiliary Model Based Multi-innovation Stochastic Gradient Identification Methods for Hammerstein Output-Error System

Special input signals identification method based on the auxiliary model based multi-innovation stochastic gradient algorithm for Hammerstein output-error system was proposed.The special input signals were used to realize the identification and separation of the Hammerstein model.As a result,the identification of the dynamic linear part can be separated from the static nonlinear elements without any redundant adjustable parameters.The auxiliary model based multi-innovation stochastic gradient algorithm was applied to identifying the serial link parameters of the Hammerstein model.The auxiliary model based multi-innovation stochastic gradient algorithm can avoid the influence of noise and improve the identification accuracy by changing the innovation length.The simulation results show the efficiency of the proposed method.     

基于状态转移算法的极限学习机

目前极限学习机在训练模型时存在占用计算资源多和模型精度低等问题. 为了解决上述问题,提出了一种基于状态转移算法的极限学习机,可提升算法计算效率和模型精度. 利用状态转移算法的全局搜索特性求解线性方程组,得到极限学习机的输出权重矩阵,进而完成建模. 在分类和回归数据集上与极限学习机和其他主流算法进行对比,所提方法可以利用较少的隐藏层节点得到高精度的模型,同时具有更好的学习准确率. 这种高性能的建模方式弥补了极限学习机的不足.      

多新息随机梯度辨识方法的收敛性研究

从理论上给出了多新息辨识方法的推导过程,提出了多新息随机梯度辨识方法,并运用随机过程理论分析了多新息随机梯度辨识方法的均方收敛性,给出参数估计误差上界的计算公式。分析表明数据的平稳性可以提高参数估计精度。最后给出了多新息辨识方法的各种典型变形。     

比例延迟微分方程的极限学习机算法

目的 针对比例延迟微分方程,提出一种基于极限学习机(ELM)算法的单隐藏层前馈神经网络训练方法,并将该方法推广到求解双比例延迟微分系统。方法 首先,构建一个单隐藏层前馈神经网络并随机生成输入权值和隐藏层偏置;然后,通过计算系数矩阵使其满足比例延迟微分方程及其初值条件,将其转化为最小二乘问题,利用摩尔-彭罗斯广义逆解出输出权值;最后,将输出权值代入构建的神经网络便可获得具有较高精度的比例延迟微分方程数值解。结果 通过数值实验与已有方法的结果进行比较,验证了该方法对处理比例延迟微分方程与双比例延迟微分系统的有效性,且随着选取的训练点和隐藏层节点数量增多,所得到的数值解精度和收敛速度也随之增加。结论 ELM算法对处理比例延迟微分方程以及双比例延迟微分系统具有较好的效果。     

基于GD-FNN的药物注射系统辨识

针对手动控制调节药物注射量缺乏正确性和低效的特点,将广义动态模糊神经网络（GD-FNN）应于药物注射系统辨识。学习算法在动态模糊神经网络算法基础上进行改进,以模糊完备性作为高斯函数宽度的确定准则,避免初始化选择的随机性。同时,该算法能对模糊规则而且能对输入变量的重要性做出评价,从而使每条规则的输入变量的宽度可以根据它对系统性能贡献的大小实施在线自适应调整。通过对药物注射系统的辨识和控制仿真实验表明改进后的广义动态模糊神经网络与动态模糊神经网络相比,可取得更好学习效率和辨识精度。     

多维离散傅立叶变换神经网络函数逼近

利用多维离散傅立叶变换原理构造新颖的神经网络模型用于函数逼近,网络结构为分层前向网络。给出了网络的学习算法,网络的大部分权值都是固定的,只有输出层与最后隐层之间的权值需要调节。     

基于时变神经网络的迭代学习辨识算法

为了实现在有限时间区间上可重复运行的离散时变非线性系统辨识,给出基于时变神经网络的迭代学习辨识算法.对于每一个固定时刻,以该时刻的神经网络逼近该时刻系统输入输出间的映射关系,提出了在同一时刻沿迭代轴训练网络权值的带死区迭代学习最小二乘算法,为防止收敛速度下降过快,进一步提出了协方差阵可重调的改进算法.所提算法有较快的收敛速度,且时变神经网络对非线性时变系统的辨识精度也较高.