改进的小脑模型神经网络及其在时间序列预测中的应用

针对小脑模型神经网络(cerebellar model neural network,CMNN)中泛化能力与存储空间容量之间的冲突这一关键问题,提出了一种改进的小脑模型神经网络——模糊隶属度小脑模型神经网络(fuzzy membership cerebellar model neural network,FM-CMNN),用于解决非线性动态系统的时间序列预测问题.首先,FM-CMNN在保留原始CMNN输入变量的地址映射方式的情况下,在CMNN存储空间中引入铃型模糊隶属度函数,从而保证在不需增加量化级数的情况下提高网络的泛化能力.然后,使用梯度下降算法对网络权值进行更新,提高网络的逼近强度.最后,通过非线性时间序列预测基准实验和污水处理中水质参数预测实验,验证了FM-CMNN性能的可靠性.     

双并联神经网络在线梯度算法的收敛性

双并联前馈神经网络是一个单层前向网络和一个多层前向网络的并向联接,在实现线性映射的同时也能够反应非线性映射,尤其对于弱非线性问题效果更为明显。在线梯度算法是训练神经网络的一种常见、高效的训练算法。研究了双并联前馈神经网络在线梯度学习算法的确定性和收敛性,证明了误差函数单调性质,给出了双并联前馈神经网络弱（强）收敛性结果,即误差函数的梯度趋于零,权值序列收敛于固定点等结论。     

模糊CMAC神经网络在潜艇深度及纵倾控制中的应用

潜艇近水面运动情况下的深度及纵倾控制问题是一种非线性控制问题,潜艇自身质量及航速的变化、以及外界不规则海浪使得控制系统难于设计.一种称为模糊CMAC的特殊神经网络被用于补偿潜艇动态模型的非线性部分,基于李雅普诺夫原理而推导出的在线学习算法用于更新FCMAC的权值.仿真结果表明,此控制策略能较好地解决控制系统中模型非线性部分的影响,在较大的工况变化范围内保持良好的控制性能.     

基于BP神经网络的混沌时间序列预测方法及应用研究

神经网络在时间序列的预测中得到广泛的应用,但神经网络模型的输入层神经元个数的选取仍然没有一个明确的解析式来表达.为解决这个问题,在非线性动力系统中,根据混沌理论重构相空间,通过最大Lyapunov指数判定时间序列是否存在混沌现象,存在则通过G-P算法计算出混沌吸引子的关联维数,进而获得相空间的嵌入维数作为神经网络的神经元个数.通过上述方法对铝现有价格进行建模,验证该方法对时间序列的短期预测有较好的精度,在此基础上,对未来一段时间铝价格进行预测.     

一种混沌对角递归神经网络混合学习算法研究

针对一种混沌对角递归神经网络辨识,提出了一种混合学习算法。首先,采用遗传算法来获得混沌对角递归神经网络的拓扑结构和连接权值的全局次优解。之后,用混沌BP算法对网络的连接权值进行精调。最后,将这种混合优化算法应用到非线性时间序列的建模中。仿真结果表明了模型和算法的有效性。     

基于在线学习神经网络的状态依赖型故障预测

提出外部激励故障和内部激励故障的概念,研究非线性系统状态依赖型故障的预测问题.将非线性系统的故障模型描述成外部激励与内部激励相耦合的一般非线性函数形式,函数的结构未知.通过反向传播(BP)神经网络在线学习故障函数模型实时逼近故障模型,提出基于在线神经网络的状态依赖型故障的预测算法.该算法能够实时地检测故障,对系统状态和故障进行迭代估计和预测.利用系统状态的预测值实时预测了系统的失效时间.故障模型的一般化拓展充分体现了系统状态对故障的影响,增强了算法的实用性.仿真结果验证了该方法的有效性.     

改进的Elman神经网络在短期电力负荷预测中的应用

为了提高Elman神经网络进行短期负荷预测时的精度,解决预测过程中易陷入局部最优解等问题,采用非线性阻尼最小二乘法对学习算法进行优化,并对激励函数进行改进,建立双隐含层Elman神经网络模型。Matlab仿真结果表明,改进后的模型对短期电力负荷进行预测的精度高于传统BP神经网络模型,达到了短期负荷预测所要求的误差范围,说明该方法和模型是可行有效的。     

基于Elman网络的非线性系统增强式学习控制

针对具有连续状态和未知系统模型的非线性系统控制问题，提出一种基于Elman神经网络的Q学习控制策略．利用Elman网络良好的动态特性及泛化能力，对状态一动作对的Q值进行在线估计，解决状态空间泛化中易出现的“维数灾”问题．借鉴TD（λ）算法中状态的资格迹机制，通过对权值向量定义对应的资格迹来加速神经网络的学习过程．将所提方法应用于具有连续状态的小车爬山控制问题，学习系统在经过大约60多次学习后即能获得小车爬山控制策略，仿真结果表明所提方法能够有效解决具有连续状态的非线性系统的无模型增强学习控制．     

基于自适应组合滤波的惯性导航系统初始对准方法

针对系统噪声不确定情况下的惯性导航系统非线性初始对准问题,提出了一种基于自适应组合滤波的初始对准方法.首先给出了一种基于Kalman/UKF组合滤波的神经网络实时训练算法;进而提出了基于Kalman/UKF组合滤波的非线性系统状态估计方法,该算法利用神经网络在线估计系统噪声,并利用Kalman/UKF组合滤波在线同时估计初始对准的状态量和神经网络的权值;最后将该算法应用于惯性导航系统非线性初始对准问题中,并进行了仿真研究.仿真结果表明:自适应组合滤波算法不仅保证了初始对准的精度,而且具有更好的实时性,是解决惯性导航非线性初始对准问题的一种有效且实用的方法.     

基于EMD-LSTM的时间序列预测方法

工程应用中的时间序列多为非线性、非平稳序列,直接对其进行预测难度较大.本研究通过经验模态分解算法将原始时间序列分解为多个相对平稳,并具有不同特征尺度的本征模态函数及趋势项,在一定程度上降低时间序列的复杂程度;同时,在预测过程中,针对递归神经网络模型难以训练及梯度消失等问题,引入长短期记忆网络算法.利用长短期记忆网络算法对分解的本征模态函数分量及趋势项进行分别预测,叠加预测结果得到最终预测结果.以中国北京市PM_(2.5)浓度为例进行预测分析,并将本预测算法与单一预测算法进行比较,结果表明,所提方法具有更高的模型预测精度,达到预测要求.     

混沌局域法与神经网络组合供水量预测

城市供水量是非线性、非平稳时间序列,组合预测模型能获得更高精度预测结果。通过深入分析混沌局域法与神经网络预测模型特点,提出了一种新的组合预测模型。首先,应用混沌局域法对城市日供水量进行初预测,然后,应用神经网络对预测结果进行修正。由于所提出的组合模型利用了混沌局域法及神经网络进行优势互补,能同时提高预测精度与计算效率。为验证所提出组合预测模型的可行性,采用某市7 a实测供水量数据,对混沌局域法、BPNN、RBF及GRNN神经网络4种单一预测模型及相应的3种组合模型预测精度进行定量分析,结果表明,组合预测模型精度都高于对应单一预测模型,混沌局域法与GRNN神经网络组合模型预测精度最高,且运算时间远低于单一神经网络模型运算时间。     

BP神经网络在柳江径流预测中的应用

径流水位预测是进行洪水监测的重要手段,对于包含详尽信息的广西柳江日径流水位时间序列,采用基于BP神经网络模型进行预报可取得较好效果.如LMBPDH模型采用双隐含层BP网络能加强预测模型输入输出的非线性映射能力,采用Levenberg Marquardt （LM）算法对网络进行训练则能缩短BP网络的收敛时间,改善网络的收敛性能,同时采用实验法确定模型的其他参数使模型获取最佳预报性能.在对柳江近10年日平均水位的预测中,将LMBPDH模型与单隐含层BP神经网络、LM算法以及带适应学习率和动量因子的梯度递减法算法等组合构成的BP神经网络模型,以及遗传算法进化的神经网络模型比较,LMBPDH模型预报稳定性、预报准确率最佳.     

基于注意力机制的数控机床热误差深度学习预测方法

为提高热误差预测精度和鲁棒性,提出一种基于注意力机制和深度学习网络的数控机床热误差预测模型。采用数据转化策略,将数控机床原始温度数据转化为温度图像,直接作为深度学习网络的输入;提出一种基于注意力机制的温度敏感点识别网络,根据温度测点与热误差关联程度,赋予各温度测点不同的权值,避免了温度测点的人为选取弊端;建立12层深度CNN学习预测网络,利用其强大的图像特征学习能力,挖掘温度图像与热误差的非线性映射关系,无需对温度关键点进行预选择,保留了更多的热误差与机床温度特征关系,显著提高了模型预测精度。为了提高热误差模型的精度与泛化能力,引入Dropout正则化方法和Adam优化算法,对深度卷积神经网络的结构与参数进行了优化。该方法在针对G460L型数控车床的热误差验证中表现出较高的预测精度。通过与BP神经网络和多元回归等传统热误差模型进行对比,深度卷积神经网络框架下的热误差模型在泛化性指标上表现更优。     

Adaptive learning with guaranteed stability for discrete-time recurrent neural networks

To avoid unstable learning, a stable adaptive learning algorithm was proposed for discrete-time recurrent neural networks. Unlike the dynamic gradient methods, such as the backpropagation through time and the real time recurrent learning, the weights of the recurrent neural networks were updated online in terms of Lyapunov stability theory in the proposed learning algorithm, so the learning stability was guaranteed. With the inversion of the activation function of the recurrent neural networks, the proposed learning algorithm can be easily implemented for solving varying nonlinear adaptive learning problems and fast convergence of the adaptive learning process can be achieved. Simulation experiments in pattern recognition show that only 5 iterations are needed for the storage of a 15×15 binary image pattern and only 9 iterations are needed for the perfect realization of an analog vector by an equilibrium state with the proposed learning algorithm.     

基于免疫优化的产品系统可靠性参数区间预测方法

针对当前系统可靠性预测方法的不足,提出一种基于免疫优化的区间预测方法.构建可靠性参数预测神经网络模型,由极端学习机（ELM）算法进行训练,并以修正BFGS法对网络的左侧权值和阈值进行调整.在由该网络得到的预测点值和网络权重的基础上,根据非线性回归模型构建可靠性参数的区间预测值（PI）,PI的质量取决于网络结构和权衰减调节参数.结合PI的覆盖率和平均区间比例长度提出一种新的PI综合评价指标,以此衡量PI的质量;引入免疫优化算法优化区间预测值和网络结构,以最小化综合评价指标为成本函数,寻求决策变量,即网络隐层神经元个数和权衰减调节参数的最优值.将提出的方法和理论应用于某系列数控车床的可靠性参数平均无故障时间的预测,证明了其预测性能优于传统方法.     

非线性时间序列B样条优化网络预测模型及工业应用

为有效实现非线性时间序列的实时预测,建立了一种B样条优化网络预测模型。在网络结构的设计中,将各个样条基函数的权值参数和节点位置同时视为待优化的独立变量,并选择预测误差平方和为评价函数,设计了一种全局优化算法,对网络结构进行优化。工业仿真实验结果表明,所提出的优化网络预测模型具有较高的预测精度,而且结构简单,待优参数少,是一种有效的非线性时间序列预测方法。     

基于BP神经网络的非线性预测控制

将BP神经网络技术应用于预测控制,并对其控制算法进行研究。采用一个BP神经网络来实现对系统的辨识和多步预测,并将一种新型的非线性混沌映射引入到神经网络的参数学习算法中实现其权值调节,以逐步建立被控对象合理的多步预测模型,并用网络的多步预测输出序列与设定值序列的偏差修改控制律。仿真结果表明了该算法的有效性。     

基于改进的LSTM算法的时间序列流量预测

时间序列流量的预测问题是近年来机器学习的一个热点问题,通过改变长短期记忆网络(LSTM)层数、网络层神经元的个数、网络层之间的连接方式,特殊网络层的应用等网络结构以及优化器和损失函数的选择可以极大地提高预测的精度.本文提出多层LSTM算法,该算法是在传统LSTM算法上进行改进的单一模型,模型设计的复杂度低,可以提高机器学习的效率.模型采用一个输入层、5个隐藏层、1个输出层,同时包含1个全连接层和1个Dropout层,Dropout层的作用是防止机器学习过拟合.选择adam为模型优化器、mlse为模型损失函数、relu作为模型的激活函数.实验结果表明,与传统模型相比,该模型具有较好的泛化能力.     

基于径向基神经网络的螺杆泵转速设定方法

为了研究受多种因素影响的螺杆泵转速控制系统,提出一种基于径向基神经网络的螺杆泵转速设定方法.利用径向基函数(RBF)神经网络对螺杆泵转速进行分析及预测,通过对螺杆泵的历史数据分析处理,得到螺杆泵转速的时间序列.将时间序列视为一个从输入到输出的非线性映射,并引入RBF神经网络来进行非线性映射的逼近.通过对网络进行学习与训练仿真实验,并与BP神经网络预测结果对比,表明应用RBF神经网络对螺杆泵转速进行短期预测精度更高、效果更好.该神经网络结构简单,非线性逼近能力强,通过对非样本点数据的实验验证,证明了该系统的可行性,具有一定的实用价值.