基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

基于层次化可塑性回声状态网络的混沌时间序列预测

为了提高回声状态网络对于混沌时间序列特征提取与预测的能力,提出一种层次化可塑性回声状态网络模型.该模型将多个储备池顺序连接,通过逐层特征变换的方式增强对非线性多尺度动态特征的提取能力.同时,引入神经科学中的内在可塑性机制模拟真实生物神经元的放电率分布,以最大化神经元的信息传递为目标对储备池进行预训练.层次化可塑性回声状态网络不仅能够增加模型的容量,降低随机投影所带来的不稳定性,而且也为理解储备池的表示、处理、记忆及储存操作提供一种新的思路.仿真实验结果表明,相比于其他7种改进的回声状态网络模型,所提出的模型在人造数据和真实数据所构成的混沌时间序列预测任务中均能取得最优的预测精度.     

一种具有small world 特性的ESN 结构分析与设计

针对回声状态网络（ESN）结构设计复杂、参数选择难度大的问题,提出一种具有small world特性的ESN（SWESN）.首先采用神经元空间增长算法在平面区域生成small world拓扑网络;然后根据网络节点与基准点的Euclidean距离将网络节点进行重新排序,并将平面上的物理节点及其连接映射为SWESN的内部神经元连接矩阵,从而使动态神经元池具有small world特性.实验表明,SWESN动力学特性比常规ESN更为丰富,在鲁棒性、抗干扰能力等方面均优于常规的ESN.     

醇解度预测的神经网络模型研究

针对聚乙烯醇生产过程的醇解度预测问题,建立神经网络模型;对醇解度的影响因素进行了研究,讨论了输入层、输出层、隐含层等神经元的设置及网络训练的参数,比较了梯度下降BP算法、动量-自适应学习速率调整算法、Levenberg-Marquardt BP算法三种不同的训练算法在本问题上的优劣,并与RBF网络相比较,综合考虑训练时间、训练精度、泛化能力等条件,动量一自适应学习速率调整算法是最适合醇解度预测的,并基于动量-自适应学习速率调整算法建立了神经网络模型;将模型应用于醇解度预测系统,系统实际运行情况表明,利用神经网络模型预测醇解度是可行有效的.     

多函数激活的拉普拉斯深度回声状态网络

结合可变激活函数、降维算法和深度回声状态网络针对新的神经网络模型进行了研究。其中可变激活函数是多函数的线性组合,可以通过调整系数来改变激活函数的非饱和区;拉普拉斯特征映射降维算法通过降低储层状态矩阵的维度来改善原网络面临的病态、不适定问题;还使用了遗传算法来寻找最佳目标子空间维度。仿真分析从扰动影响、转换稳定性、时序预测和记忆容量四个方面进行,从仿真结果（新模型的记忆容量是深度回声状态网络的两倍,均方根误差比回声状态网络小42%）来看,新模型的记忆容量、预测精度都得到了显著改善。     

基于改进的DeepESN软测量建模方法及应用

针对硫回收装置中硫化氢和二氧化硫浓度的实时监控预测问题,提出一种基于改进的深度回声状态网络(DeepESN)软测量建模方法,给出了其离线学习算法.改进的DeepESN网络能够通过多层回声状态网络的结构,可以对具有强非线性特性的化工过程进行有效的深度学习和预测.离线学习算法在求输出权值时加入了岭回归算法,有效地提高了网络学习的稳定性.将该方法在同等条件下与现有的软测量建模方法进行了比较,基于改进的DeepESN软测量建模方法具有更好的学习能力、更高的学习效率和预测精度.     

基于改进深度强化学习的动态移动机器人协同计算卸载

移动边缘计算是解决机器人大计算量任务需求的一种方法。传统算法基于智能算法或凸优化方法,迭代时间长。深度强化学习通过一次前向传递即可求解,但只针对固定数量机器人进行求解。通过对深度强化学习分析研究,在深度强化学习神经网络中输入层前进行输入规整,在输出层后添加卷积层,使得网络能够自适应满足动态移动机器人数量的卸载需求。最后通过仿真实验验证,与自适应遗传算法和强化学习进行对比,验证了所提出算法的有效性及可行性。     

基于ESN的锂电池SOC评估方法与仿真研究

以新能源车载锂电池为研究对象,建立基于回声状态网络（ESN）预测锂电池的荷电状态（SOC）评估模型。采用交叉验证方法优选回声状态网络参数,以此解决网络模型的参数选择困难。通过带遗忘因子的递归最小二乘法训练建立的回声状态网络模型,实时更新输出权值矩阵以此提高网络的适应性和精度。通过模型仿真分析验证了预测算法的可行性,进一步对比分析了所建立的ESN预测模型与BP神经网络算法、径向基（RBF）网络算法在UDDS、US06和NYCC工况条件下的锂电池SOC评估预测效果,结果表明所建立的回声状态网络模型方法用于锂电池SOC评估预测的性能和效果优于BP算法和RBF算法,具有较好的应用前景,可以为锂电池SOC长期长效预测评估提供参考。     

延迟深度回声状态网络及其在时间序列预测中的应用

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在，该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.     

Clustered and deep echo state networks for signal noise reduction

Machine Learning - Echo State Networks (ESNs) are Recurrent Neural Networks with fixed input and internal (hidden) weights, and adaptable output weights. The hidden part of an ESN can be considered...     

改进粒子群算法优化回声状态网络的电力需求预测研究

首先引入自适应算子对标准粒子群优化算法PSO的惯性权重和学习因子进行改进,以提高其探索当前空间和开发未知空间之间的平衡性。同时,采用非线性函数来构建回声状态网络ESN储备池内部状态之间的非线性关系。接着利用改进的粒子群优化算法APSO对非线性回声状态网络NESN的关键参数进行优化,以构建APSO-NESN组合预测模型。最后运用该模型进行电力需求预测。实验结果表明,相比自回归移动平均模型、多元线性回归、标准ESN及其他预测模型,APSO-NESN模型具有更高的预测精度。     

改进回溯搜索优化回声状态网络时间序列预测

回声状态网络(Echo State Network, ESN)网络结构简单且耦合"时间参数",在时间序列预测研究中具有重要的理论和应用价值.本文提出使用自适应回溯搜索算法(Adaptive Backtracking Search optimization Algorithm,ABSA)优化ESN输出连接权值矩阵,克服标准线性回归方法造成的网络过拟合问题. ABSA使用自适应变异因子策略替换标准BSA中随机给定变异因子的策略,实现BSA在收敛精度和收敛速率之间的平衡.实验表明,采用ABSA优化的ESN能够比未优化的ESN和采用其他进化算法优化的ESN获得更好的预测精度.     

PSO-based analysis of Echo State Network parameters for time series forecasting

Echo State Networks, ESNs, are standardly composed of additive units undergoing sigmoid function activation. They consist of a randomly recurrent neuronal infra-structure called reservoir. Coming up with a good reservoir depends mainly on picking up the right parameters for the network initialization. Human expertise as well as repeatedly tests may sometimes provide acceptable parameters. Nevertheless, they are non-guaranteed. On the other hand, optimization techniques based on evolutionary learning have proven their strong effectiveness in unscrambling optimal solutions in complex spaces. Particle swarm optimization (PSO) is one of the most popular continuous evolutionary algorithms. Throughout this paper, a PSO algorithm is associated to ESN to pre-train some fixed weights values within the network. Once the network's initial parameters are set, some untrained weights are selected for optimization. The new weights, already optimized, are re-squirted to the network which launches its normal training process. The performances of the network are a subject of the error and the time processing evaluation metrics. The testing results after PSO pre-training are compared to those of ESN without optimization and other existent approaches. The conceived approach is tested for time series prediction purpose on a set of benchmarks and real-life datasets. Experimental results show obvious enhancement of ESN learning results.     

基于改进回声状态神经网络的个股股价预测

当今社会股价预测是研究的热门问题,人们越来越关注对股价预测模型的建立,提高股价预测的精度对股票投资者有实际的应用价值.目前股价的预测方法层出不穷,其中较为典型的有传统的技术分析和ARMA模型等.为了提升预测的精度,同时考虑到股市的非线性,本文提出一种改进的回声状态神经网络的个股股价预测模型,针对回声状态神经网络(ESN)泛化能力不强的特点,应用改进的粒子群算法(GTPSO)对回声状态神经网络(ESN)的输出连接权进行搜索,最终得到最优解,即ESN的最优输出连接权,GTPSO算法概括来说就是在传统粒子群算法(PSO)的基础上引入禁忌搜索算法(TS)中禁忌的思想和遗传算法(GA)中变异的思想,从而降低PSO在学习过程中陷入局部最小值的状况,同时提高PSO搜寻全局的能力.将预测模型用于个股每日收盘价预测中,使用每10天的收盘价预测第11天的收盘价.通过实验验证了模型的正确性,实验证实,该模型拥有较好的预测效果.     

基于KF与ESN的糖厂澄清工段在线预测

糖厂澄清工段是甘蔗制糖的重要工艺环节之一,是一个复杂的物理、化学过程,具有非线性、大时滞、时变等特点.而且不同的榨季、甘蔗的品种、新技术的应用等情况,都可能导致过去良好的控制模型往往不能及时适应新情况的发生.基于大量离线、在线数据,结合回声状态网络(ESN)和Kalman滤波(KF)的特点,设计了应用于糖厂澄清工段的在线自适应预测方法.该方法将Kalman滤波应用于ESN的高维状态空间中,可以直接对网络的输出权值进行更新.将仿真结果与基于EKF的RBF网络相比较,说明了基于KF与ESN的糖厂澄清工段在线预测模型的优越性.     

Modeling deterministic echo state network with loop reservoir

Echo state network (ESN), which efficiently models nonlinear dynamic systems, has been proposed as a special form of recurrent neural network. However, most of the proposed ESNs consist of complex reservoir structures, leading to excessive computational cost. Recently, minimum complexity ESNs were proposed and proved to exhibit high performance and low computational cost. In this paper, we propose a simple deterministic ESN with a loop reservoir, i.e., an ESN with an adjacent-feedback loop reservoir. The novel reservoir is constructed by introducing regular adjacent feedback based on the simplest loop reservoir. Only a single free parameter is tuned, which considerably simplifies the ESN construction. The combination of a simplified reservoir and fewer free parameters provides superior prediction performance. In the benchmark datasets and real-world tasks, our scheme obtains higher prediction accuracy with relatively low complexity, compared to the classic ESN and the minimum complexity ESN. Furthermore, we prove that all the linear ESNs with the simplest loop reservoir possess the same memory capacity, arbitrarily converging to the optimal value.