基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

基于深度学习的复杂网络实时Sybil攻击检测算法

针对复杂网络中Sybil攻击检测速度较慢的问题,提出一种基于深度学习的复杂网络实时Sybil攻击检测方案。从网络中采集数据,提取合适的特征;通过深度学习技术预测网络中的攻击行为。基于多层核极限学习机的深度学习技术包括无监督表示学习与监督特征分类两个阶段。通过低秩逼近法计算近似的经验核映射,代替原极限学习机随机生成的隐层。将经验核映射-自动编码的栈式自编码器作为表示学习,对极限学习机的时间效率与存储成本实现了显著的提高。基于实际社交数据的实验结果表明,该方案有效地降低了Sybil攻击的检测时间,并且保持了较好的检测效果。     

基于改进极限学习机的软测量建模

极限学习机（ELM）因其泛化能力好和学习速度快而成为软测量的新方法,但当应用到铝电解工艺参数建模时,ELM通常需要较多隐层节点并且泛化能力较低。针对这一问题,提出一种基于改进极限学习机（IELM）的软测量模型。首先,利用粗糙集中的约简理论剔除输入变量中的冗余或不相关属性,以降低ELM的输入复杂性;然后,利用偏相关系数对输入变量和输出变量间的相关性进行分析,将输入数据分为正输入和负输入两部分,分别对这两部分建立输入单元,重新构建ELM网络;最后,建立了基于改进极限学习机的铝电解分子比软测量模型。仿真实验结果表明,基于改进极限学习机的软测量模型具有较好的泛化能力和稳定性。     

基于栈式稀疏自编码器的矿用变压器故障诊断

鉴于将深度学习应用于变压器故障诊断具有良好的故障诊断效果,提出了一种基于栈式稀疏自编码器的矿用变压器故障诊断方法。通过在自编码器隐含层引入稀疏项限制构成稀疏自编码器,再将多个稀疏自编码器进行堆叠形成栈式稀疏自编码器,并以Softmax分类器作为输出层,建立矿用变压器故障诊断模型;利用大量无标签样本对模型进行无监督预训练,并通过有监督微调优化模型参数。算例分析结果表明,与栈式自编码器相比,栈式稀疏自编码器应用于矿用变压器故障诊断具有更高的准确率。     

基于去噪自编码器的极限学习机

针对极限学习机算法（ELM）参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题，将去噪自编码器（DAE）与ELM算法相结合，提出了基于去噪自编码器的极限学习机算法（DAE-ELM）。首先，通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数；然后，以ELM求得隐含层输出权值，完成对分类器的训练。该算法一方面继承了DAE的优点，自动提取的特征更具代表性与鲁棒性，对于噪声有较强的抑制作用；另一方面克服了ELM参数赋值的随机性，增强了算法鲁棒性。实验结果表明，在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法，其分类错误率在MNIST数据集中至少下降了5.6%，在Fashion MNIST数据集中至少下降了3.0%，在Rectangles数据集中至少下降了2.0%，在Convex数据集中至少下降了12.7%。     

基于动态主元分析和极限学习机的分解炉出口温度预测

在水泥生产过程中,为了应对分解炉结构的复杂性和影响出口温度变量的多样性,提出一种动态主元分析（Dynamic Principal Component Analysis,DPCA）与极限学习机（Extreme Learning Machine,ELM）相结合的数据驱动建模预测方法用来预测分解炉出口温度。通过采集的生产数据,提取影响出口温度变量的主元从而达到降维目的,将降维后的变量作为极限学习机的输入,分解炉出口温度作为极限学习机的输出。经极限学习机参数设置、训练、调整,得到出口温度预测模型。仿真验证结果表明,运用动态主元分析和极限学习机相结合的方法建立的分解炉出口温度预测模型具有良好的预测精度,且为后续出口温度的控制研究提供了依据,对水泥高效节能生产具有重要意义。     

基于分布式并行分层极限学习机的大数据多模式质量预测

考虑分布式系统质量预测中的大数据处理问题,提出一种基于分布式并行分层极限学习机(distributed parallel hierarchical extreme learning machine, dp-HELM)的大数据多模式质量预测模型。根据Map-Reduce框架,将高效的极限学习机算法转化为分布式并行建模形式。由于分层极限学习机(hierarchical extreme learning machine, HELM)的深度学习网络结构在特征上具备的预测精度优势,结合深层隐藏层的ELM自动编码器,进一步开发了dp-HELM。通过dp-ELM和dp-HELM以同步并行方式进一步训练分布式并行K均值划分的过程模式,利用贝叶斯模型融合技术来集成用于在线预测的局部模型。将所提出的预测模型应用于预脱碳装置中残留的二氧化碳含量估算,实验结果表明了该方法的有效性与可行性。     

互信息深度稀疏自编码融合DLSTM预测网络

针对工业系统变量之间存在动态和相互关联特性导致关键变量预测精度降低问题,提出一种互信息深度堆叠稀疏自编码数据特征网络（mutual information-deep stack sparse auto-encoder,MI-DSSAE）结合深度长短期记忆（deep LSTM,DLSTM）预测模型。MI-DSSAE模型对稀疏编码器改进,采用堆叠稀疏编码器结构,引入互信息作为重构损失权重,对多个稀疏编码器隐层迁移并微调。预测部分采用深度DLSTM网络结构,用双层Bi-LSTM结构对序列数据的动态变化特性双向捕捉,将输出数据输入到普通LSTM进行记忆处理,进行全连接层加权预测关键质量变量。采用流程化工业案例脱丁烷塔的C4含量对提出的模型验证,同时对比RNN、LSTM、GRU模型以及MI-DSSAE-RNN、MI-DSSAE-LSTM、MI-DSSAE-GRU等模型,通过RMSE、R2和MAE多项回归误差指标对比分析,验证MI-DSSAE-DLSTM模型的有效性。     

PSO-ELM的浆体管道临界淤积流速预测模型研究

针对浆体管道临界淤积流速预测难度大、精度低等问题,提出了粒子群优化—极限学习机(PSO-ELM)的临界淤积流速预测模型.利用PSO算法对ELM模型参数输入权值和隐元偏置进行优化,应用优化得到的ELM模型对预测集进行预测.通过实验仿真得到预测结果的最大误差为5.73%,预测效果优于常规的ELM模型和反向传播(BP)神经网络模型.     

基于FWADE-ELM的短时交通流预测方法

受道路环境和人为因素影响,实际交通系统可视为一个复杂的非线性动力系统,交通流数据具有较强的非线性、时变性和易受随机噪声影响等特征.针对复杂环境下的短时交通流预测问题,提出一种基于烟花差分进化混合算法-极限学习机的短时交通流预测方法.采用奇异谱分析方法滤除原始交通流数据中包含的噪声成分,降噪后的交通流数据用于训练极限学习机(ELM)网络预测模型.进行相空间重构,利用C-C算法确定ELM网络的结构和关键参数.通过融合烟花算法和差分进化算法提出一种烟花差分进化混合算法,可有效提高基本算法的整体优化性能.将改进的混合优化算法用于优化ELM网络的权阈值(结构为9-11-1,维数为110),建立短时交通流预测模型.测试与应用结果表明,所构建的短时交通流预测模型具有较高的预测精度和较强的泛化能力(均方误差为7.75,平均绝对百分比误差为0.086 7),预测值与实际值的拟合程度较好.     

基于极端学习机的人脸特征深度稀疏自编码方法

针对输入人脸特征的不准确性导致识别系统识别率不高的问题,提出了一种有效的基于极端学习机（ELM）的人脸特征深度稀疏自编码（DSAE）方法。首先,利用截断式核范数构造损失函数,通过最小化损失函数提取人脸图像的稀疏特征;其次,利用极端学习机自编码器（ELM-AE）模型进行人脸特征的自编码,实现数据维度的降低以及噪声过滤;最后,通过经验风险极小化得到最优的深度结构。在ORL、IMM、Yale和UMIST人脸数据集上的实验结果表明,DSAE方法对高维人脸图像的识别率明显优于极端学习机、随机森林（RF）等算法,且具有良好的泛化性能。     

基于不均衡样本重构的加权在线贯序极限学习机

针对现有学习算法难以有效提高不均衡在线贯序数据中少类样本分类精度的问题,提出一种基于不均衡样本重构的加权在线贯序极限学习机。该算法从提取在线贯序数据的分布特性入手,主要包括离线和在线两个阶段:离线阶段主要采用主曲线构建少类样本的可信区域,并通过对该区域内样本进行过采样,来构建符合样本分布趋势的均衡样本集,进而建立初始模型;而在线阶段则对贯序到达的数据根据训练误差赋予各样本相应权重,同时动态更新网络权值。采用UCI标准数据集和澳门实测气象数据进行实验对比,结果表明,与现有在线贯序极限学习机(OS-ELM)、极限学习机(ELM)和元认知在线贯序极限学习机(MCOS-ELM)相比,所提算法对少类样本的识别能力更高,且所提算法的模型训练时间与其他三种算法相差不大。结果表明在不影响算法复杂度的情况下,所提算法能有效提高少类样本的分类精度。     

基于PCA和ELM的模拟电路故障诊断

针对模拟电路的故障诊断和健康管理（PHM）的应用,提出了结合主成分分析（PCA）和极限学习机（ELM）的故障诊断方法。该方法用Sallen-Key带通滤波器来获取故障样本,并通过PCA进行故障特征提取。根据故障样本对ELM进行训练来获得故障诊断模型。实验结果表明,该实现方法识别率高、鲁棒性好,在工程实际中具有研究和应用价值。     

基于ELM-LSSVM的网络流量预测

为了对网络流量进行准确预测,针对传统极限学习机的“过拟合”不足,提出一种极限学习机和最小二乘支持向量机相融合的网络流量预测模型（ELM-LSSVM）。该模型通过相空间重构获得网络流量的学习样本,引入最小二乘支持向量机对极限学习进行改进,并对网络流量训练集进行学习,采用仿真实验对模型性能进行测试。结果表明,ELM-LSSVM提高了网络流量的预测精度,实现了网络流量准确预测,并具有较强的实际应用价值。     

基于极限学习机的XML文档分类

研究基于极限学习机(ELM)的XML文档分类方法。为优化文档的相似性计算,在结构链接向量模型的基础上,提出一种改进的特征向量模型RS-VSM,将有效的结构化信息合并到向量模型中。应用ELM对XML文档进行分类,为提高ELM分类的准确率,提出一种基于投票机制的Voting-ELM算法。实验结果证明,该算法的分类效果较优。     

基于ELM的改进CART决策树回归算法

为提高CART(Classification And Regression Tree)决策树回归算法的准确性,提出一种基于ELM(Extreme Learning Machine)的改进CART决策树回归算法——ELM-CART算法.所提算法主要是在CART回归树创建过程中,在每个叶节点使用极限学习机建模,可以得到真正意义上的回归预测值,提高泛化能力,弥补CART决策树回归算法本身的容易过拟合以及预测输出为定值等缺点.实验结果表明,所提算法能够有效提高回归分析中目标数据的预测准确性,其准确性优于所对比算法.     

基于改进极限学习机算法的股票价格在线预测

为了对股票价格进行准确、快速的在线预测,提出一种基于改进极限学习机算法（IELM）的股票价格在线预测模型。在极限学习机（ELM）中引入Cholesky分解方法,使网络权值随新样本的逐次加入递推更新,提高模型的泛化能力,加快网络学习效率,然后对交通银行股票（601328）的收盘价进行仿真实验。结果表明,相对于对比模型,IELM不仅提高了计算效率,而且提高了股票价格预测精度,可以实现股票价格快速、准确在线预测。     

基于离群点检测和误差修正的空气质量指数预测

空气质量指数(Air Quality Index, AQI)预测可以为人们日常生产活动以及空气污染治理工作提供指导.针对空气质量指数预测模型受离群点影响较大的问题,利用孤立森林算法对空气质量数据集进行离群点分析,采用离群鲁棒极限学习机模型(ORELM)对空气质量指数进行预测,并构建误差修正模块对模型预测误差进行修正.最后,以北京市空气质量数据作为研究对象,分别利用ORELM模型以及极限学习机(ELM)模型进行预测,并对ORELM模型预测结果进行误差修正.实验结果表明:离群鲁棒极限学习机对离群点数据集泛化性能更强,误差修正模块能有效提高模型的预测精度.     

An improved extreme learning machine with self-recurrent hidden layer

Extreme learning machine (ELM) is widely used in complex industrial problems, especially the online-sequential extreme learning machine (OS-ELM) plays a good role in industrial online modeling. However, OS-ELM requires batch samples to be pre-trained to obtain initial weights, which may reduce the timeliness of samples. This paper proposes a novel model for the online process regression prediction, which is called the Recurrent Extreme Learning Machine (Recurrent-ELM). The nodes between the hidden layers are connected in Recurrent-ELM, thus the input of the hidden layer receives both the information from the current input layer and the previously hidden layer. Moreover, the weights and biases of the proposed model are generated by analysis rather than random. Six regression applications are used to verify the designed Recurrent-ELM, compared with extreme learning machine (ELM), fast learning network (FLN), online sequential extreme learning machine (OS-ELM), and an ensemble of online sequential extreme learning machine (EOS-ELM), the experimental results show that the Recurrent-ELM has better generalization and stability in several samples. In addition, to further test the performance of Recurrent-ELM, we employ it in the combustion modeling of a 330 MW coal-fired boiler compared with FLN, SVR and OS-ELM. The results show that Recurrent-ELM has better accuracy and generalization ability, and the theoretical model has some potential application value in practical application.