选择性集成极限学习机分类器建模研究

极限学习机ELM(Extreme Learning Machine)具有训练过程极为快速的优点,但在实际分类应用中ELM分类器的分类精度和稳定性有时并不能满足要求。针对这一问题,在ELM用于分类时引入一种训练结果信息量评价指标来改进输出权值矩阵的求解方法,并增加隐层输出矩阵竞争机制来提高ELM的稳定性。为了进一步提高ELM的分类正确率,借鉴神经网络集成的理论,提出一种选择性集成ELM分类器。在集成方法中采用改进Bagging法并提出一种基于网络参数向量的相似度评价方法和选择性集成策略。最后通过UCI数据测试表明,同Bagging法和传统的全集成法相比,该方法拥有更为优秀的分类性能。     

基于极限学习机的无监督领域适应分类器

在构建基于极限学习机的无监督自适应分类器时, 隐含层的参数通常都是随机选取的, 而随机选取的参数不具备领域适应能力. 为了增强跨领域极限学习机的知识迁移能力,提出一种新的基于极限学习机的无监督领域适应分类器学习方法, 该方法主要利用自编码极限学习机对源域和目标域数据进行重构学习, 从而可以获得具有领域不变特性的隐含层参数. 进一步, 结合联合概率分布匹配和流形正则的思想, 对输出层权重进行自适应调整. 所提出算法能对极限学习机的两层参数均赋予领域适应能力,在字符数据集和对象识别数据集上的实验结果表明其具有较高的跨领域分类精度.     

极限学习机集成在骨髓细胞分类中的应用

骨髓细胞的分类有重要的医学诊断意义。先对骨髓细胞图像分割和特征提取,用提取出来的训练集对极限学习机训练,再用该分类器对未知样本识别。针对单个分类器性能的不稳定,提出基于元胞自动机的极限学习机集成算法。通过元胞自动机抽样策略构建差异大的训练子集,多个分类器并行学习,多数投票法联合决策。实验结果表明,与BP、支持向量机比较,该算法基本无参数调整,学习速度快,分类精度高能达到97.33%,且有效克服了神经网络分类器不稳定的缺点。     

多样性正则化极限学习机的集成方法

极限学习机（ELM）是一种单隐层前向网络的训练算法;随机确定输入层权值和隐含层偏置;通过分析的方法确定输出层的权值;ELM克服了基于梯度的学习算法的很多不足;如局部极小、不合适的学习速率、学习速度慢等;却不可避免地造成了过拟合的隐患且稳定性较差;特别是对于规模较大的数据集。针对上述问题;提出多样性正则化极限学习机（DRELM）的集成方法。首先;从改变隐层节点参数的分布来为每个ELM随机选取输入权重;采用LOO交叉验证方法和 方法来寻找每个基学习器的最优隐节点数;计算并输出最优隐含层输出权重;训练出较好且具有差异性的基学习器。然后;将有关多样性的新惩罚项显式添加到整个目标函数中;迭代更新每个基学习器的隐含层输出权重并输出结果。最后;集成所有基学习器的输出结果对其求平均值;得到整个网络模型最后的输出结果。该方法能够有效地实现多样性正则化极限学习机（RELM）的融合;兼顾准确率和多样性。在10个不同规模的UCI数据集上的实验结果表明所提出的方法是行之有效的。     

选择性集成核极限学习机建模及其应用研究

针对选择性集成逆向传播神经网络(GASEN-BPNN)模型训练学习速度慢,选择性集成极限学习机(GASEN-ELM)模型建模精度稳定性差等问题,提出一种基于遗传算法的选择性集成核极限学习机(GASEN-KELM)建模方法。该方法首先通过对训练样本进行随机采样获取子模型训练样本;然后采用泛化性、稳定性较佳的核极限学习机(KELM)算法建立候选子模型,通过标准遗传算法工具箱,依据设定阈值按进化策略优化选择最佳子模型;最后通过简单平均加权集成的方式获得最终GASEN-KELM模型。采用标准混凝土抗压强度数据验证了所提出方法的有效性,并与GASEN-BPNN和GASEN-ELM选择性集成算法进行比较,表明所提出方法可以在模型学习速度和建模预测稳定性方面获得较好的均衡。     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

集成优化核极限学习机的冠心病无创性诊断

冠心病的早期无创性诊断一直是医疗诊断领域的研究热点,为了提高冠心病诊断的准确率和诊断效率,提出了一种新颖的局部Fisher判别分析(LFDA)特征提取方法和集成核极限学习机(KELM)相结合的冠心病诊断模型(LFDA-EKELM)。首先使用LFDA方法剔除不相关特征和冗余特征,找出对分类结果贡献度较高的特征子集,产生不同的训练集以训练粒子群优化的KELM分类器PSO-KELM,并基于旋转森林(RF)构建集成分类器,实现冠心病的智能诊断。实验结果表明,与基于ELM、SVM和BPNN方法相比,提出方法有效提高了冠心病诊断准确率,提升了诊断效率,且分类结果高于已有方法和相似方法,是一种有效冠心病诊断模型。     

基于旋转森林的分类器集成算法研究

为提高决策树的集成分类精度,介绍了一种基于特征变换的旋转森林分类器集成算法,通过对数据属性集的随机分割,并在属性子集上对抽取的子样本数据进行主成分分析,以构造新的样本数据,达到增大基分类器差异性及提高预测准确率的目的。在Weka平台下,分别采用Bagging、AdaBoost及旋转森林算法对剪枝与未剪枝的J48决策树分类算法进行集成的对比试验,以10次10折交叉验证的平均准确率为比较依据。结果表明旋转森林算法的预测精度优于其他两个算法,验证了旋转森林是一种有效的决策树分类器集成算法。     

基于多输出极限学习机的快速一致性分类器

一致性分类器是建立在一致性预测基础上的分类器,其输出结果具有很高的可靠性,但由于计算框架的限制,学习的时间往往较长.为了加快学习速度,首次将一致性预测与多输出极限学习机相结合,提出基于两者的快速一致性分类算法.该算法利用了极限学习机,能够快速计算样本标签的留一交叉估计的特性,极大地加快了学习速度.算法复杂度分析表明,所提算法的计算复杂度与多输出极限学习机的算法复杂度相同,该算法继承了一致性预测的可靠性特征,即预测的错误率能够被显著性水平参数所控制.在10个公共数据集上的对比实验表明,所提算法具有极快的计算速度,且与其他常用一致性分类器相比,该算法的平均预测标签个数在某些数据集上更少,预测结果更有效.     

基于输出不一致测度的极限学习机集成的基因表达数据分类

选择性集成学习已经成为分析基因表达数据、获取生物学信息的有力工具.为了更好地挖掘基因表达数据,利用极限学习机的集成,克服单个ELM用于数据分类时性能欠稳定的缺点,文中提出了一种基于输出不一致测度的ELM相异性集成算法(D-D-ELM).算法首先以输出不一致测度为标准对多个ELM模型进行相异性判断,其次根据ELM的平均分类精度剔除掉相应的模型,最后对筛选后的分类模型用多数投票法进行集成.算法被运用到Breast、Leukemia、Colon、Heart基因表达数据上,并通过理论和实验得到验证.实验结果的统计学分析表明D-D-ELM能够以更少的模型数量达到较稳定的分类精度.     

基于Tri-DE-ELM的半监督模式分类方法研究

针对极限学习机（ELM）未充分利用未标注样本、训练精度受网络权值初值影响的问题,提出一种基于协同训练与差分进化的改进ELM算法（Tri-DE-ELM）。考虑到传统的ELM模式分类技术只利用了少量标注样本而忽视大量未标注样本的问题,首先应用基于Tri-Training算法的协同训练机制构建Tri-ELM半监督分类算法,利用少量的标记样本训练三个基分类器实现对未标记样本的标注。进一步针对基分类器训练中ELM网络输入层权值随机初始化影响分类效果的问题,采用差分进化（DE）算法对网络初值进行优化,优化目标及过程同时包括网络权值和分类误差两方面的因素,以避免网络的过拟合现象。在标准数据集上的实验结果表明,Tri-DE-ELM算法能有效地利用未标注数据,具有比传统ELM更高的分类精度。     

逐层可加的急速学习机

已有的急速学习机（Extreme Learning Machine）的学习精度受隐节点数目的影响很大。无论是已提出的单隐层急速学习机还是多隐层神经网络,都是先确定隐藏层数,再通过增加每一层的神经元个数来提高精度。但当训练集规模很大时,往往需要引入很多的隐节点,导致违逆矩阵计算复杂度大,从而不利于学习效率的提高。提出逐层可加的急速学习机MHL-ELM（Extreme Learning Machine with Incremental Hidden Layers）,其思想是首先对当前隐藏层神经元（数目不大且不寻优,因而复杂度小）的权值进行随机赋值,用ELM思想求出逼近误差;若误差达不到要求,再增加一个隐含层。然后运用ELM的思想对当前隐含层优化。逐渐增加隐含层,直至满足误差精度为止。除此以外,MHL-ELM的算法复杂度为[l=1MO(N3l)]。实验使用10个UCI,keel真实数据集,通过与BP,OP-ELM等传统方法进行比较,表明MHL-ELM学习方法具有更好的泛化性,在学习精度和学习速度方面都有很大的提升。     

基于ELM和FOA的股票价格预测

针对股票价格预测中应用极限学习机预测存在稳定性不理想的问题,提出了一种改进果蝇优化极限学习机（IFOA-ELM）预测模型的算法。在该算法中,果蝇群通过不断调整群半径来优化ELM的输入层与隐含层连接权值和隐含层阈值,并以优化后的结果为基础,构建ELM预测模型。将IFOA-ELM模型用于股票价格预测。实验表明,与ELM和FOA-ELM相比,IFOA-ELM在股票价格预测中具有更高的预测精度和更好的稳定性。     

基于ELM-LSSVM的网络流量预测

为了对网络流量进行准确预测,针对传统极限学习机的“过拟合”不足,提出一种极限学习机和最小二乘支持向量机相融合的网络流量预测模型（ELM-LSSVM）。该模型通过相空间重构获得网络流量的学习样本,引入最小二乘支持向量机对极限学习进行改进,并对网络流量训练集进行学习,采用仿真实验对模型性能进行测试。结果表明,ELM-LSSVM提高了网络流量的预测精度,实现了网络流量准确预测,并具有较强的实际应用价值。     

基于双隐层极限学习机的模糊XML文档分类

随着大数据时代的到来,对异构和分布式的模糊XML数据管理显得越来越重要。在模糊XML数据的管理中,模糊XML文档的分类是关键问题。针对模糊XML文档的分类,提出采用双隐层极限学习机模型来实现模糊XML文档自动分类。这个模型可以分为两个部分：第一层采用极限学习机提取模糊XML文档的相应特征,第二层利用核极限学习机根据这些特征进行最终的模糊XML文档分类。通过实验验证了所提方法的性能优势。首先对主要的调节参数包括隐藏层节点的数目[L],常量[C]和核参数[γ]进行了研究,接下来的对比实验说明提出的基于双隐层ELM（Extreme Learning Machine）的方法相较于传统单隐层ELM以及SVM（Support Vector Machine）方法,分类精度得到较大提高,训练时间进一步缩减。     

基于GAN-PSO-ELM的网络入侵检测方法

针对传统机器学习方法在处理非平衡的海量入侵数据时少数类检测率低的问题,提出一种融合生成式对抗网络(GAN)、粒子群算法(PSO)和极限学习机(ELM)的入侵检测(GAN-PSO-ELM)方法。对原始网络数据进行预处理,利用GAN并采用整体类扩充的方式对数据集进行少数类样本扩充。在扩充后的平衡数据集上,利用PSO算法优化ELM的输入权重与隐含层偏置,并建立入侵检测模型。在NSL-KDD数据集上进行仿真实验。实验结果表明,与SVM、ELM、PSO-ELM方法相比,GAN-PSO-ELM不仅具有较高的检测效率,而且在整体检测准确率上平均提高了3.74%,在少数类R2L和U2R上分别平均提高了28.13%和16.84%。     

主成分分析和超限学习机的模拟电路故障诊断

为提高模拟电路故障诊断特征信息提取的完整性,实现故障模式分类的准确性,达到网络训练测试的快速性,提出了一种基于主成分分析（Principal Components Analysis,PCA）和极限学习机（ELM）相结合的模拟电路故障诊断新方法。在OrCAD16.3中通过设置仿真模拟电路元器件参数及其容差,获得电路各状态的MonteCarlo样本数据,经PCA降维提取特征信息以获得最优的特征模式,继而采用ELM对故障进行分类识别。以Sallen-Key带通滤波器电路为实例进行仿真研究,结果表明该方法具有特征提取效果好,神经网络训练学习速度快,故障诊断效率高,泛化性能好等特点。     

卷积神经网络在心电逆问题中的应用

基于横跨膜电位分布的心电逆问题研究,即从身体表面电位无创重建心脏跨膜电位,可视为一种多输入多输出的回归问题（亦即多个体表电位分布输入重构多个心脏跨膜电位分布输出）,而基于数据驱动的机器学习模型是解决回归问题的一种有效手段。通过使用深度卷动神经网络（CNN）构建深度学习模型,使用Caffe框架训练神经网络;此外,基于真实的心脏模型,使用ECGSim软件仿真了肯特束综合症心室激活情况的数据,用于训练和测试回归模型。实验结果表明,与极限学习机（ELM）和核化的极限学习机相比,CNN方法在心脏跨膜电位重构方面有更高的精度和泛化性能。     

基于近似结构风险的ELM隐层节点数优化

隐层节点数是影响极端学习机(ELM)泛化性能的关键参数,针对传统的ELM隐层节点数确定算法中优化过程复杂、容易过学习或陷入局部最优的问题,提出结构风险最小化-极端学习机(SRM-ELM)算法。通过分析VC维与隐层节点数量之间的关联,对VC信任函数进行近似改进,使其为凹函数,并结合经验风险重构近似的SRM。在此基础上,将粒子群优化的位置值直接作为ELM的隐层节点数,利用粒子群算法最小化结构风险函数获得极端学习机的隐层节点数,作为最优节点数。使用6组UCI数据和胶囊缺陷数据进行仿真验证,结果表明,该算法能获得极端学习机的最优节点数,并具有更好的泛化能力。     

基于极限学习机的结构健康监测数据恢复

为解决桥梁结构健康监测系统中数据丢失问题,引入格兰杰因果关系分析各传感器变量数据间的关系,选择与传感器丢失数据格兰杰因果关系大的变量作为极限学习机的输入向量,实现丢失数据的恢复。通过实际桥梁监测丢失数据的仿真实验,以均方根误差和最大误差绝对值作为评估指标,并与反向传播网络和最小二乘支持向量机算法对比,结果表明该方法在理论和实践上是正确和可行的。