改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

基于回声状态网络的多变量预测模型的研究

考虑单变量在混沌时间序列预测中的不足,文章利用多变量模型进行混沌时间序列的预测。针对多变量预测过程中的维数过高问题,文章结合主元分析理论(PCA)和回声状态网络(ESN),构建了基于PCA和ESN的多变量混沌时间序列预测模型,将PCA降维后的时间序列数据输入ESN网络进行预测分析。论文对由Lorenz动态方程生成的三变量混沌时间序列进行了仿真实验,结果表明该模型有效地提高了预测的精度和预测的效率,是一种有效的混沌时间序列预测方法。     

回声状态网络及其在图像边缘检测中的应用

循环神经网络（RNN,也称反馈神经网络）是一种重要的人工神经网络,与前馈神经网络相比具有更好的学习能力和更快的收敛速度,但其隐层结构的设计一直是个难点问题。回声状态网络（ESN）有效地解决了上述问题,相比于以前的循环神经网络,其具有结构独特、稳定性好、学习过程简单快捷等特点。介绍了回声状态网络及其学习方法,将其用于图像的边缘检测中,取得了良好的效果。     

基于回声状态网络的短期股价预测模型

针对传统单只股票预测模型预测精度低以及传统神经网络训练过程复杂的问题,提出一种基于ESN(Echo State Network)的地区行业通用模型,该模型可预测同地区同行业内任意股票。使用ESN建立了上海地区房地产行业的股价预测通用模型,简化了训练过程,且与单只股票预测模型相比,该通用模型预测精度明显提高。在通用模型基础上提出一种基于数据波动性聚类的KMeans-ESN模型,通过实验得出:基于ESN的短期股价预测地区行业通用模型适合波动大的数据、基于数据波动性聚类的KMeans-ESN短期股价预测模型适合波动小的数据。     

基于鲁棒回声状态网络的网络微博热门话题建模与预测

为了提高微博热门话题的预测精度,提出一种基于鲁棒回声状态网络RESN(robust echo state network)的微博热门话题预测模型。首先收集微博热门话题时间序列,并基于混沌理论确定最优时间延迟和嵌入维数,然后通过相空间重构建立微博热门话题学习样本,并输入到RESN进行训练,建立微博热门话题预测模型,最后采用仿真实验对模型性能进行测试。仿真结果表明,相对于其他微博热门话题模型预测,该模型更好地描述了网络微博热门话题的变化态势,提高了微博热门话题的预测精度。     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

基于改进差分进化和回声状态网络的时间序列预测研究

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 − 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.     

改进回溯搜索优化回声状态网络时间序列预测

回声状态网络(Echo State Network, ESN)网络结构简单且耦合"时间参数",在时间序列预测研究中具有重要的理论和应用价值.本文提出使用自适应回溯搜索算法(Adaptive Backtracking Search optimization Algorithm,ABSA)优化ESN输出连接权值矩阵,克服标准线性回归方法造成的网络过拟合问题. ABSA使用自适应变异因子策略替换标准BSA中随机给定变异因子的策略,实现BSA在收敛精度和收敛速率之间的平衡.实验表明,采用ABSA优化的ESN能够比未优化的ESN和采用其他进化算法优化的ESN获得更好的预测精度.     

多函数激活的拉普拉斯深度回声状态网络

结合可变激活函数、降维算法和深度回声状态网络针对新的神经网络模型进行了研究。其中可变激活函数是多函数的线性组合,可以通过调整系数来改变激活函数的非饱和区;拉普拉斯特征映射降维算法通过降低储层状态矩阵的维度来改善原网络面临的病态、不适定问题;还使用了遗传算法来寻找最佳目标子空间维度。仿真分析从扰动影响、转换稳定性、时序预测和记忆容量四个方面进行,从仿真结果（新模型的记忆容量是深度回声状态网络的两倍,均方根误差比回声状态网络小42%）来看,新模型的记忆容量、预测精度都得到了显著改善。     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

软件可靠性预测的相关向量机模型

相关向量机是一种解决回归问题非常有效的方法,针对软件失效时间及其之前的m个失效时间数据使用相关向量机进行学习,以建立失效时间之间内在的依赖关系,由此构建新的基于相关向量机的软件可靠性预测模型.在4个数据集上的实验结果表明,新模型在预测能力上较之广泛使用的基于支持向量机或人工神经网络的软件可靠性预测模型有明显的提高,同时也表明现时失效数据的预测能力比很久之前观测的失效数据更强,最后通过实验对合理的m值及不同数据集上核函数参数取值进行研究.     

具有双储层结构的动态误差补偿回声状态网络

针对传统回声状态网络难以有效应对高阶非线性复杂模型问题,本文在理论分析的基础上提出了一种双储层结构的误差补偿回声状态网络,并设计了该网络的学习算法.该网络由计算层和补偿层构成,计算层主要承担拟合任务,补偿层则作为状态跟随器,实时补偿由于计算层对期望方差估计不足而导致的幅值偏差.对多阶振荡器和真实高阶非线性数据集的实验结果表明,本文所提网络结构较常规网络具有更高的稳定性和泛化性能,尤其对高阶非线性复杂模型的预测精度大幅度提升.     

基于变分推理回声状态网络集成模型的工业数据区间预测

针对含噪声工业时间序列数据的区间预测问题,本文提出了一种使用变分推理来数值求解回声状态网络(echo state network,ESN)集成模型参数的区间预测方法.在模型构建上,将ESN集成模型中各个ESN单元输出权值向量的先验分布方差设置为相互独立形式,相比较非独立形式更有利于模型稳定性;在模型参数求解上,本文提出用变分推理来近似推导出集成模型中所有不确定参数的联合后验概率分布,以分布中的参数均值作为模型参数值,相对于已有ESN集成模型使用最大化边缘似然度的参数估计方法效果更好.为验证提出方法的有效性,测试了人工数据集和钢铁企业真实煤气数据集.实验结果表明本文方法参数估计更为准确,在预测精度,区间质量和模型稳定性以及耗时方面表现优秀.     

回声状态网络LM算法及混沌时间序列预测

回声状态网络（ESN）学习算法中可能存在解的奇异问题,在时间序列预测时易导致病态解问题,且伴随着具有较大幅值的输出权值,尤其是当训练样本个数小于输出权值维数时,ESN的解必为奇异的.鉴于此,考虑使用LM（Levenberg Marquardt）算法代替常用的线性回归方法,自适应选择LM参数,从而有效地控制输出权值的幅值,提高ESN的预测性能.通过Lorenz混沌时间序列进行预测研究,对大连月平均气温实际数据进行仿真研究,取得了较好的预测效果.     

一种增量式模块化回声状态网络

针对传统回声状态网络(ESN) 难以解决多振荡子叠加(MSO) 问题, 提出一种增量式模块化回声状态网络(IM-ESN). 该网络储备池由多个相互独立的子储备池组成. 利用矩阵的奇异值分解(SVD) 构造每个子储备池的权值矩阵, 并依据分块对角矩阵原理, 将子储备池逐一添加至网络中. 在网络增长过程中, IM-ESN 无需放缩权值矩阵便能保证网络的状态回声特性. MSO 问题的仿真结果表明, IM-ESN 能够自主确定与问题复杂度相匹配的网络规模, 具有较好的预测性能和鲁棒性.

     

布谷鸟优化混合核相关向量机的网络流量预测

为了提高网络流量的预测精度,提出一种布谷鸟算法优化混合核相关向量机的网络流量预测模型(CS-RVM)。首先采用多项式和高斯核函数构成混合核函数代替相关向量机的单一核函数,然后引入布谷鸟算法对混合核参数进行寻优,最后建立网络流量预测模型。仿真结果表明,CS-RVM具有良好的建模效果,可提高网络流量的预测精度。     

相关向量机在车型识别中的应用研究

相关向量机是一种稀疏的贝叶斯学习算法,对非线性、高维数的小样本问题有非常好的分类效果和学习推广能力.而且使用较少的核函数,研究了用相关向量机技术进行车型识别,设计了基于相关向量机的车型分类器.实验结果表明,基于相关向量机的车型分类器不仅具有基于支持向量机的车型分类器的相同性能,而且比支持向量机使用更少的核函数,实验取得了较好的分类效果.     

相关向量机超参数优化的小时间尺度网络流量非线性预测方法

针对小时间尺度网络流量预测中的复杂性、非线性和高度自相似性等问题,创新性的提出了一种改进的模拟退火法优化相关向量机的网络流量预测模型(PSA-RVM)。将网络流量时间序列进行相空间重构,同时采用改进模拟退火法优化相关向量机的超参数,进而构建网络流量PSA-RVM预测模型。试验表明,PSA-RVM预测模型的预测精度、稳定性都优于RVM模型和PSO-SVR模型。