基于灵敏度分析的模块化回声状态网络修剪算法

针对回声状态网络（Echo state network,ESN）的结构设计问题,提出基于灵敏度分析的模块化回声状态网络修剪算法（Pruning algorithm for modular echo state network,PMESN）.该网络由相互独立的子储备池模块构成.首先利用矩阵的奇异值分解（Singular value decomposition,SVD）构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度.利用灵敏度大小判断子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模,具有较好的泛化能力和鲁棒性.     

基于改进差分进化和回声状态网络的时间序列预测研究

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 − 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.     

基于互补型集成经验模态分解模糊熵和回声状态网络的短期电力负荷预测

为了提高短期电力负荷预测的精度,提出一种噪声互补型集成经验模态分解(CEEMD)模糊熵和泄漏积分型ESN(LiESN)的组合预测方法。为降低对负荷序列进行局部分析的计算规模以及提高负荷预测的准确性,首先采用CEEMD模糊熵将负荷时间序列分解为具有明显复杂度差异的负荷子序列;然后,通过对各子序列进行特性分析,分别构建相应的子LiESN预测模型;最后将各子序列的预测结果叠加得到最终预测值。将CEEMD模糊熵结合LiESN的组合预测方法应用于美国新英格兰地区短期电力负荷实例中,仿真结果表明,所提出的组合预测方法具有很高的预测精度。     

基于增量式学习的正则化回声状态网络

针对回声状态网络(ESN)的结构设计问题,提出增量式正则化回声状态网络(IRESN).该网络由相互独立的子储备池模块构成,首先,子储备池根据奇异值分解方法生成,且可以保证每个子储备池权值矩阵的奇异值都小于1;其次,利用问题复杂度或者残差,将网络中逐一添加子储备池,直至满足预设的终止条件,在生成IRESN的过程中,回声状...     

基于改进回声状态网络的网络热点话题预测

网络热点话题具有时变性和非线性,灰色、负面热点话题对社会稳定产生不利影响。为了提高网络热点话题的预测精度,提出一种基于改进回声状态网络的热点话题预测模型(MESN)。首先构建网络热点话题的学习样本,然后采用回声状态网络建立网络热点话题预测模型,并利用改进粒子群优化算法对回声状态网络参数进行优化,建立最优网络热点话题预测模型,最后应用具体网络热点话题数据进行仿真实验。结果表明,该模型不仅提高了网络热点话题预测精度,而且加快了网络热点话题的建模速度,可以满足网络热点话题在线预测。     

基于鲁棒回声状态网络的网络微博热门话题建模与预测

为了提高微博热门话题的预测精度,提出一种基于鲁棒回声状态网络RESN(robust echo state network)的微博热门话题预测模型。首先收集微博热门话题时间序列,并基于混沌理论确定最优时间延迟和嵌入维数,然后通过相空间重构建立微博热门话题学习样本,并输入到RESN进行训练,建立微博热门话题预测模型,最后采用仿真实验对模型性能进行测试。仿真结果表明,相对于其他微博热门话题模型预测,该模型更好地描述了网络微博热门话题的变化态势,提高了微博热门话题的预测精度。     

改进回溯搜索优化回声状态网络时间序列预测

回声状态网络(Echo State Network, ESN)网络结构简单且耦合"时间参数",在时间序列预测研究中具有重要的理论和应用价值.本文提出使用自适应回溯搜索算法(Adaptive Backtracking Search optimization Algorithm,ABSA)优化ESN输出连接权值矩阵,克服标准线性回归方法造成的网络过拟合问题. ABSA使用自适应变异因子策略替换标准BSA中随机给定变异因子的策略,实现BSA在收敛精度和收敛速率之间的平衡.实验表明,采用ABSA优化的ESN能够比未优化的ESN和采用其他进化算法优化的ESN获得更好的预测精度.     

多稀疏回声状态网络预测模型

针对单回声状态网络难以充分描述数据信息的问题,提出多稀疏回声状态网络预测模型.通过对相关回声状态网络的组合权值及由相关样本得到的基函数的权值同时进行学习,获得优化的多个稀疏回声状态网络组合模型.所提模型不同于双稀疏相关向量机等多核学习模型,它不需要选择特定的核函数及相应的核参数.因此,该模型不但能更好的描述数据信息,避免了双稀疏相关向量机及其他多核学习中核函数及其参数不易选择的问题.同时,所提模型不需要采用交叉验证的方式确定回声状态网络的谱半径和稀疏度,只需确定相应的区间.本文通过两组标杆数据和一组实际数据仿真实验,与传统回声状态网络方法相比,验证了所提模型具有更好的预测性能.     

改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

回声状态网络及其在图像边缘检测中的应用

循环神经网络（RNN,也称反馈神经网络）是一种重要的人工神经网络,与前馈神经网络相比具有更好的学习能力和更快的收敛速度,但其隐层结构的设计一直是个难点问题。回声状态网络（ESN）有效地解决了上述问题,相比于以前的循环神经网络,其具有结构独特、稳定性好、学习过程简单快捷等特点。介绍了回声状态网络及其学习方法,将其用于图像的边缘检测中,取得了良好的效果。     

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题. 网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network, ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm, GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average, ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine, LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.     

基于延迟回声状态网的光伏电池板温度预测方法

光伏电池温度变化影响光伏系统输出的稳定性, 精准地预测光伏电池板温度的变化趋势, 对光伏系统智能运行具有重要意义. 为了更好地预测温度的变化趋势, 本文考虑了光伏电池板温度的迟滞效应, 将先前的温度输出作为延迟项引入回声状态网中, 提出了一种基于延迟回声状态网的光伏电池板温度预测模型. 给出一个延迟回声状态网具有回声状态特性的判定条件, 使得预测模型能够稳定地预测光伏电池板温度. 同时, 建立了一套光伏多传感器监测系统, 利用该监测系统采集的数据, 训练和验证模型的准确性. 与回声状态网(Echo state network, ESN), Leaky ESN (Leaky-integrator ESN)和VML ESN (ESN with variable memory length)相比, 仿真结果表明, 本文所提出的延迟回声状态网具有更好的预测性能, 平均绝对百分比误差甚至达到3.45%.     

基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

Echo State Network With Probabilistic Regularization for Time Series Prediction

Recent decades have witnessed a trend that the echo state network (ESN) is widely utilized in field of time series prediction due to its powerful computational abilities. However, most of the existing research on ESN is conducted under the assumption that data is free of noise or polluted by the Gaussian noise, which lacks robustness or even fails to solve real-world tasks. This work handles this issue by proposing a probabilistic regularized ESN (PRESN) with robustness guaranteed. Specifically, we design a novel objective function for minimizing both the mean and variance of modeling error, and then a scheme is derived for getting output weights of the PRESN. Furthermore, generalization performance, robustness, and unbiased estimation abilities of the PRESN are revealed by theoretical analyses. Finally, experiments on a benchmark dataset and two real-world datasets are conducted to verify the performance of the proposed PRESN. The source code is publicly available at https://github.com/LongJin-lab/probabilistic-regularized-echo-state-network.

     

基于奇异值分解的内模控制方法及在非方系统中的应用

针对复杂工业生产过程中常常出现的输入与输出变量数目不相等的非方系统, 首次提出一种基于奇异值分解(Singular value decomposition, SVD)的内模控制(Internal model control, IMC)新方法. 该方法通过添加补偿项实现对非方系统的解耦并消除不可实现因素, 并应用SVD矩阵理论设计一种非对角型滤波器, 使控制系统不仅具备良好的高维解耦能力和响应速度快的优点, 而且因设置新型滤波结构而具备极强的鲁棒性. 仿真结果表明了这种方法的有效性和可靠性.     

一种基于L1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.     

基于内禀模态奇异值分解和支持向量机的故障诊断方法

提出了一种基于内禀模态(Intrinsic mode functions,简称IMFs)奇异值分解和支持向量机(Support vector machine,简称SVM)的故障诊断方法.采用经验模态分解(Empirical mode decomposition,简称EMD)方法对旋转机械故障振动信号进行分解,将得到的若干个内禀模态分量自动形成初始特征向量矩阵,然后对该矩阵进行奇异值分解,提取其奇异值作为故障特征向量,并进一步根据支持向量机分类器的输出结果来判断旋转机械的工作状态和故障类型.对齿轮振动信号的分析结果表明,即使在小样本情况下,基于内禀模态奇异值分解和支持向量机的故障诊断方法仍能有效地识别齿轮的工作状态和故障类型.     

延迟深度回声状态网络及其在时间序列预测中的应用

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在,该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.