基于旋转森林和极限学习机的大样本集成分类算法

由于信息技术的飞速发展,在实际的数据处理过程中,单个分类器往往不能满足:(1)要求越来越高的数据分类精度和运行速度;(2)更强的泛化性能;(3)有效地适用于大样本数据分类。将旋转森林算法(rotation-forest,ROF)与极限学习机(extreme learning machine,ELM)相结合,有效地解决了旋转森林算法中过拟合现象的发生;同时也提高了算法的分类性能。最后通过UCI数据集的实验验证表明,和传统的集成分类算法相比,算法R-ELM-C与Bagging、Adaboosting、Rotboost、ROF、ELM等相比,具有更好地分类性能、稳定性与泛化性能,同时也适合于大样本数据分类。     

双并行结构优化的极限学习机及其在回归数据集中的应用

极限学习机(ELM)发展自单隐含层前馈神经网络算法,其理论简单,运行快速,应用非常广泛.为了提高ELM的泛化性能,提出了一种带有双并行结构的优化ELM算法(DPELM).在DP-ELM中,建立输入层和输出层间特殊的连接,使得DP-ELM的输出节点不仅可以接收隐含层节点的信息,也可直接接收输入节点的自信息.利用3组回归数据集验证算法性能,实验结果证明,与ELM相比,DP-ELM可以达到更好的回归精度以及更稳定的泛化能力.     

基于混合采样和特征选择的改进随机森林算法研究

随机森林算法是根据Bagging抽样和随机特征子集划分策略,由多棵决策树组成的集成算法.与其他分类算法相比,随机森林算法有更高的分类精度、更低的泛化误差以及训练速度快等特点,因此在数据挖掘领域得到了多方面的应用.然而随机森林算法在分类预测特征维度高且不平衡的数据时,分类性能受到了极大限制.为了更好地处理高维不平衡数据,...     

集成Dropout极限学习机数据分类方法

极限学习机(Extreme Learning Machine,ELM)是一种速度快,泛化能力强的训练单隐含层前馈神经网络(Single-hidden Layer Feed-forward Neural-network,SLFN)的算法.但是在应用ELM解决实际问题时,需要先确定合适的SLFN结构.然而,对于给定的问题,确定合适的SLFN结构是非常困难的.针对这一问题,本文提出了一种集成学习方法.用该方法解决问题时,不需要事先确定SLFN的结构.提出的方法包括3步:(1)初始化一个比较大的SLFN;(2)用ELM重复训练若干个Dropout掉若干个隐含层结点的SLFNs;(3)用多数投票法集成训练好的SLFNs,并对测试样例进行分类.在10个数据集上进行了实验,比较了本文提出的方法和传统的极限学习机方法.实验结果表明,本文提出的方法在分类性能上优于传统的极限学习机算法.     

基于ELM的网络流量分类及可视化研究

精准的网络流量分类是网路流量监测和网络流量数据分析的重要基础。机器学习方法利用统计网络流量的各种特征,不依赖于协议端口和协议内容对网络流量数据进行分析。采用超限学习机(ELM)和改进算法分层超限学习机(H-ELM)作为机器学习的算法,识别客户端与服务器。对链路层、网络层和应用层数据进行分析,实现对多层次网络流量数据的可视化,对H-ELM和ELM算法的实验结果进行对比。实验结果表明,ELM算法能有效地应用于网络流量分类,基于ELM分类模型的网络流量识别训练速度快。H-ELM通过紧凑的特征去除冗余原始输入,改进了总体学习表现。     

基于Kreǐn空间的两阶段子空间学习

为了解决不定核Fisher判别分析(IKFDA)在处理高维小样本数据时的病态问题,基于Kreǐn空间提出了两阶段的IKFDA学习框架TP-IKFDA;为了解决不定核典型相关分析(IKCCA)在处理高维小样本数据时的过拟合问题,提出了两阶段的IKCCA学习框架TP-IKCCA.通过不定核主成分分析(IKPCA)进行降维处理,减弱高维特征所带来的负面影响;然后,在降维后的特征空间中进行Fisher判别分析(FDA)或典型相关分析(CCA).真实数据集上的试验结果表明,与IKPCA、IKFDA以及IKFDA的改进算法相比,TP-IKFDA的分类精度明显提高;TP-IKCCA相较于现有的IKCCA模型泛化性能得到了进一步改善.因此,在处理高维小样本数据时,TP-IKFDA和TP-IKCCA的实际泛化性能优于现有的不定核子空间学习技术.     

基于多类重采样的非平衡数据极速学习机集成学习

极速学习机(Extreme learning machine,ELM)虽然已在理论和应用中证实有很好的泛化性能和极快的训练速度,但是在处理非均衡数据时,它更偏向多数类且极容易忽略少数类,基于数据重采样的集成学习可以帮助ELM解决少数类分类精度低的问题.提出一种按类别重采样技术并据此发展了一种ELM集成学习方法.该方法可充分利用少数类样本的信息,实验结果显示该方法性能明显优于单一的ELM学习模型.由于重采样是大数据处理的最核心的技术之一,该方法对非均衡大数据的学习模型建立有着一般性的指导意义.     

基于数据关系的SVM多分类学习算法

提出一种基于数据关系(Data Relationship,DR)的多分类支持向量机(Support Vector Machine,SVM)学习算法(Multi-Classification SVM Algorithm Based on Data Relationship,DR-SVM).DR-SVM算法根据每类数据的关系(如向量积等)获取子学习嚣的冗余信息,从而优化多分类器组,然后通过经典的SVM算法训练分类器组.算法在简化分类器组的同时可对多类数据分类问题获得满意的泛化能力,在标准数据集上的实验结果表明,与经典的SVM多分类方法相比,DR-SVM具有更好的泛化性能,尤其对单个类别精度要求较高的数据尤其有效.     

基于OS-ELM和SDAE的Wi-Fi入侵检测方法

为解决大多数Wi-Fi网络入侵检测方法实时性差、误报率高等问题,提出一种基于在线序列极限学习机(OS-ELM)的实时Wi-Fi网络入侵检测系统模型.首先,考虑到实验样本数据中正常与异常数据极不平衡的问题,采用SMOTE算法对数据样本中的异常数据和正常数据进行平衡处理操作,使分类器的分类效果不受样本数据集中多数类样本的影响.然后使用栈式降噪自编码网络(SDAE)对平衡后的数据进行降维,消除无关或冗余特征降低检测建模规模,避免维度灾难.最后,在AWID数据集进行处理并输入到OS-ELM分类器中,结果表明:与其他基于浅层学习算法的检测方法相比,所提方法可有效地精简数据特征,降低了检测时间,同时在检测精度和误报率方面也体现出了更优性能.     

函数型数据分析与优化极限学习机结合的弹药传输机械臂参数辨识

为实现弹药传输机械臂中不可测参数的辨识,建立了机械臂的虚拟样机,并将其作为样本数据的来源;考虑到样本数据的连续性和平滑特性,使用函数型数据分析和函数型主成分分析对样本数据进行了特征提取,并利用提取的特征参数和待辨识参数作为训练样本对极限学习机(ELM)进行了训练.为提高极限学习机的辨识精度和泛化能力,利用粒子群算法对极限学习机的输入层与隐含层的连接权值和隐含层节点的阈值进行了优化.最后,分别利用仿真数据与测试数据对此方法进行了验证,仿真数据的辨识结果表明,优化后的极限学习机具有更高的辨识精度和泛化能力;同时,通过对比将测试数据的辨识结果代入模型中进行仿真得到的支臂角速度与测试角速度,验证了此方法的可行性和有效性.     

A Heterogeneous Ensemble of Extreme Learning Machines with Correntropy and Negative Correlation

The Extreme Learning Machine(ELM) is an effective learning algorithm for a Single-Layer Feedforward Network(SLFN). It performs well in managing some problems due to its fast learning speed. However, in practical applications, its performance might be affected by the noise in the training data. To tackle the noise issue, we propose a novel heterogeneous ensemble of ELMs in this article. Specifically, the correntropy is used to achieve insensitive performance to outliers, while implementing Negative Correlation Learning(NCL) to enhance diversity among the ensemble. The proposed Heterogeneous Ensemble of ELMs(HE2 LM) for classification has different ELM algorithms including the Regularized ELM(RELM), the Kernel ELM(KELM), and the L2-norm-optimized ELM(ELML2). The ensemble is constructed by training a randomly selected ELM classifier on a subset of the training data selected through random resampling. Then, the class label of unseen data is predicted using a maximum weighted sum approach. After splitting the training data into subsets, the proposed HE2 LM is tested through classification and regression tasks on real-world benchmark datasets and synthetic datasets. Hence, the simulation results show that compared with other algorithms, our proposed method can achieve higher prediction accuracy, better generalization, and less sensitivity to outliers.     

基于抽样方法的不确定极限学习机

实际应用中的大量数据具有不确定属性,而传统的挖掘算法无法直接应用在不确定数据集上.针对不确定数据的分类问题,提出一种基于抽样方法的不确定极限学习机.该算法通过抽样的方法,对不确定数据集中样本的抽样实例进行学习和分类,得到该不确定样本的所属类别的概率,从而实现了传统极限学习机分类算法对不确定数据的分类,并极大降低了不确定对象实例的枚举代价.实验结果表明,该算法在不确定数据的分类问题中具有较好的有效性和高效性.     

Active set strategy of optimized extreme learning machine

Extreme learning machine （ELM） has been introduced as a simple and efficient learning approach for regression and classification applications. From the opti- mization point of view, optimized ELM is equivalent to SVM, but with less constraints in the optimization formu- lation and random ELM kernel. This paper introduces an active set based optimized ELM approach to solve bound constrained optimization problem in a straightforward way, which operates on a small working set of variables at each iteration. Thus, the constrained problem can be eventually solved by an unconstrained algorithm, and this enables us to establish a global convergence theory. The approach requires less time for quadratic programming solving and provides better generalization performance. In addition, the proposed approach with much smaller number of non- bound support values is significantly faster than SVM with active set strategy for large training data set.     

基于去噪自编码器的镜像极限学习机设计

针对极限学习机在高维度、含噪声数据集中需要大量隐含层节点来保证分类性能的问题，设计了镜像极限学习机.该算法使用伪逆法确定输入权值，随机生成输出权值和偏置，在对数据进行分类时，它仅需极少的隐含层节点.为了提升镜像极限学习机的分类性能和抗噪性，将它与去噪自编码器相结合.利用去噪自编码器对输入数据进行特征提取，并将提取到的特征作为镜像极限学习机的输入数据，再进行网络训练.在无噪和含噪声的MNIST，Fashion MNIST，Rectangles和Convex数据集中，将基于去噪自编码器的镜像极限学习机与ELM，PCA-ELM，SAA-2和DAE-ELM作对比实验，结果表明，基于去噪自编码器的镜像极限学习机的综合性能最优，用于分类的网络隐含层节点数最少.     

基于去噪自编码器的镜像极限学习机设计

针对极限学习机在高维度、含噪声数据集中需要大量隐含层节点来保证分类性能的问题,设计了镜像极限学习机.该算法使用伪逆法确定输入权值,随机生成输出权值和偏置,在对数据进行分类时,它仅需极少的隐含层节点.为了提升镜像极限学习机的分类性能和抗噪性,将它与去噪自编码器相结合.利用去噪自编码器对输入数据进行特征提取,并将提取到的特征作为镜像极限学习机的输入数据,再进行网络训练.在无噪和含噪声的MNIST,Fashion MNIST,Rectangles和Convex数据集中,将基于去噪自编码器的镜像极限学习机与ELM,PCA-ELM,SAA-2和DAE-ELM作对比实验,结果表明,基于去噪自编码器的镜像极限学习机的综合性能最优,用于分类的网络隐含层节点数最少.     

基于流形正则化的在线半监督极限学习机

在基于流形正则化的半监督极限学习机(SS-ELM)的基础上,利用分块矩阵的运算法则,提出了在线半监督极限学习机(OSS-ELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足,通过对SS-ELM的目标函数的流形正则项的近似,给出了OSS-ELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示,OSS-ELM(buffer)在线学习的累计时间与所处理的样本个数呈线性关系,同时,9个公共数据集上的实验表明,OSS-ELM(buffer)的泛化能力与SS-ELM的泛化能力的相对偏差在1%以下.这些实验结果说明,OSS-ELM(buffer)不仅解决了内存问题,还在基本保持SS-ELM泛化能力的基础上大幅度提高了在线学习速度,可以有效应用于在线半监督学习当中.     

分布式环境中基于核函数的极限学习机

针对海量数据规模下的集中式核函数极限学习机的性能问题,将基于核函数的极限学习机扩展到云计算技术框架下,提出了基于MapReduce的分布式核函数极限学习机MR-KELM.该算法将分布式径向基核函数计算出的核函数矩阵进行分布式矩阵分解,并通过分布式矩阵向量乘法得到分类器输出权重,减小了网络通讯和数据交换代价.实验结果表明,MR-KELM算法能够在不影响基于核函数的极限学习机的计算理论的前提下,具有较好的可扩展性和分类训练性能.     

基于粒子群优化极限学习机的排水管结构状况评价

基于极限学习机(ELM)和粒子群优化(PSO)算法,建立一个新型排水管道结构性状况评价模型。采用PSO算法优化ELM中的输入权值矩阵和隐含层偏置,改善网络参数随机生成带来的分类精度偏低的问题。以上海市洋山保税港区排水管网为例,对分类器模型进行训练测试,并与ELM分类结果进行对比分析。结果表明,PSO-ELM算法以较少的隐含层神经元节点获得更高的分类精度,参数优化提高了模型拟合能力,对于城市排水管道结构性状况分类、判断具有可行性和有效性。     

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法. 算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构. 分类层通过阈值预测极限学习机和Jerk正则化半监督极限学习机的结合将多层网络扩展到多标签半监督分类应用. 实验结果表明:该方法在不同噪声环境下的分类准确率均高于几种基于极限学习机的监督学习、半监督学习算法、传统多层极限学习机和深度卷积神经网络,具有理论意义和实用价值.     

一种基于粒子群优化和核极限学习机的入侵检测算法

针对网络入侵检测准确率低、误报率高的问题,本文提出了一种基于粒子群优化和极限学习机的入侵检测算法。粒子群优化算法(PSO)是一种群智能算法,核极限学习机(KELM)是一种学习速度快、泛化能力强的经典核机器学习的方法,但是极限学习机对核函数及参数的选择直接影响它的分类性能。本文算法中利用粒子群算法优化核极限学习机的核参数,采用学习能力强且线性组合泛化能力强的全局性核函数,形成了多核极限学习机,可以有效提高单核极限学习机（ELM）分类器的性能。最后通过实验对算法性能做了对比分析,实验结果验证了本文算法的有效性。