弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

回归核极限学习机的多标记学习算法

基于极限学习机(ELM)的多标记学习算法多使用ELM分类模式,忽略标记之间存在的相关性.为此,文中提出结合关联规则与回归核极限学习机的多标记学习算法(ML-ASRKELM).首先通过关联规则分析标记空间,提取标记之间的规则向量.然后通过提出的多标记回归核极限学习机(ML-RKELM)得出预测结果.若规则向量不为空,将规则向量与预测结果运算得出最终预测结果,否则最终结果即为ML-RKELM的预测结果.对比实验表明ML-ASRKELM与ML-RKELM性能较优,统计假设检验进一步说明文中算法的有效性.     

选择性集成核极限学习机建模及其应用研究

针对选择性集成逆向传播神经网络(GASEN-BPNN)模型训练学习速度慢,选择性集成极限学习机(GASEN-ELM)模型建模精度稳定性差等问题,提出一种基于遗传算法的选择性集成核极限学习机(GASEN-KELM)建模方法。该方法首先通过对训练样本进行随机采样获取子模型训练样本;然后采用泛化性、稳定性较佳的核极限学习机(KELM)算法建立候选子模型,通过标准遗传算法工具箱,依据设定阈值按进化策略优化选择最佳子模型;最后通过简单平均加权集成的方式获得最终GASEN-KELM模型。采用标准混凝土抗压强度数据验证了所提出方法的有效性,并与GASEN-BPNN和GASEN-ELM选择性集成算法进行比较,表明所提出方法可以在模型学习速度和建模预测稳定性方面获得较好的均衡。     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

基于极限学习机的供水管网故障智能诊断方法

为进一步提高传统极限学习机的泛化能力,提出了一种基于人工蜂群算法优化的极限学习机模型.该模型将人工蜂群算法的全局寻优能力和极限学习机的快速学习能力相结合,有效克服了传统极限学习机的过拟合现象.在确定水压变化比值作为故障特征参数的基础上,将优化后的极限学习机模型应用于供水管网的泄漏故障诊断实验,实验结果表明,经人工蜂群算法优化的极限学习机模型在故障诊断速度和精度方面均优于其他3种模型.     

基于数据均衡化与改进鲸鱼算法优化核极限学习机的变压器故障诊断方法

针对不平衡数据对变压器故障诊断模型辨识精度的影响，提出一种基于自适应综合过采样(ADAptive SYNthetic, ADASYN)与改进鲸鱼算法优化核极限学习机的变压器故障诊断模型。首先，利用ADASYN算法优化变压器故障数据均衡化处理，解决变压器故障数据集类间不平衡给模型带来的偏倚问题。其次，通过多策略组合改进了鲸鱼优化算法(improved whale optimization algorithm, IWOA)的搜索速度、收敛能力和局部极值的逃逸能力。最后，改进鲸鱼算法对核极限学习机(kernel based extreme learning machine, KELM)正则化系数和核函数参数寻优，构建改进鲸鱼算法优化核极限学习机(IWOA-KELM)故障诊断模型。将模型应用于变压器故障诊断领域，用该模型与粒子群算法核极限学习机模型(PSO-KELM)、灰狼算法优化核极限学习机模型(GWO-KELM)和鲸鱼算法核极限学习机模型(WOA-KELM)的诊断精度对比，分别提升14.17%、 12.5%和8.34%,这证明了所提故障诊断模型具有更高的精度和泛化能力。     

一种基于增量加权平均的在线序贯极限学习机算法

针对在线序贯极限学习机(OS-ELM)对增量数据学习效率低、准确性差的问题, 提出一种基于增量加权平均的在线序贯极限学习机(WOS-ELM)算法.将算法的原始数据训练模型残差与增量数据训练模型残差进行加权作为代价函数,推导出用于均衡原始数据与增量数据的训练模型,利用原始数据来弱化增量数据的波动,使在线极限学习机具有较好的稳定性,从而提高算法的学习效率和准确性. 仿真实验结果表明, 所提出的WOS-ELM算法对增量数据具有较好的预测精度和泛化能力.     

基于并行学习的多层极限学习机

为了进一步提高极限学习机的学习性能,将并行学习的思想引入单层极限学习机,并提出了基于并行学习的多层极限学习机模型。实验结果表明,该模型比传统的单层极限学习机、多层极限学习机以及传统基于误差反向学习的深度学习模型分类准确率高、收敛速度快。     

基于改进KH算法优化ELM的目标威胁估计

为了提高目标威胁度估计的精确度,建立了反向学习磷虾群算法（OKH）优化极限学习机的目标威胁估计模型（OKH-ELM）,提出基于此模型的算法。该模型使用反向学习策略优化磷虾群算法,并通过改进后的磷虾群算法优化极限学习机初始输入权重和偏置,使优化后的极限学习机能够对威胁度测试样本集做更好的预测。实验结果显示,OKH算法能够更好地优化极限学习机的权值与阈值,使建立的极限学习机目标威胁估计模型具有更高的预测精度和更强的泛化能力,能够精准、有效地实现目标威胁估计。     

基于Xgboost优化的KELM滑坡预报模型研究

针对极限学习机对滑坡预测准确性低及在训练过程中模型不稳定的问题,引入RBF高斯核函数并使用极限梯度提升树算法Xgboost对KELM进行优化,建立了Xgboost优化后的Xgboost-KELM预测模型;首先采用高斯核RBF作为极限学习机的核函数,解决隐藏节点随机映射问题,增加模型稳定性及适用性;其次将清洗后的监测数据作为模型输入,并使用Xgboost寻优算法对核函数中的超参数进行优化,通过4组测试集进行Xgboost-KELM建模,依据均方误差迭代曲线得出最佳超参数;最后使用两组10%样本集验证模型评价指标及稳定性,实验结果AUC均值对比模型至少提高3个百分点,Precision、Accuracy及Recall至少高于对比模型1.7个百分点,同时Xgboost-KELM模型的方差及偏差都较小,证明该模型稳定性较好,实验结果说明Xgboost-KELM模型具有较好的预测效果,在滑坡灾害预测中有较好的预测能力。     

进化贝叶斯优化的核极限学习机分类器

为解决传统核极限学习机算法参数优化困难的问题,提高分类准确度,提出一种改进贝叶斯优化的核极限学习机算法.用樽海鞘群设计贝叶斯优化框架中获取函数的下置信界策略,提高算法的局部搜索能力和寻优能力;用这种改进的贝叶斯优化算法对核极限学习机的参数进行寻优,用最优参数构造核极限学习机分类器.在UCI真实数据集上进行仿真实验,实验...     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

Missing multi-label learning with non-equilibrium based on two-level autoencoder

For a multi-label learning framework, each instance may belong to multiple labels simultaneously. The classification accuracy can be improved significantly by exploiting various correlations, such as label correlations, feature correlations, or the correlations between features and labels. There are few studies on how to combine the feature and label correlations, and they deal more with complete data sets. However, missing labels or other phenomena often occur because of the cost or technical limitations in the data acquisition process. A few label completion algorithms currently suitable for missing multi-label learning, ignore the noise interference of the feature space. At the same time, the threshold of the discriminant function often affects the classification results, especially those of the labels near the threshold. All these factors pose considerable difficulties in dealing with missing labels using label correlations. Therefore, we propose a missing multi-label learning algorithm with non-equilibrium based on a two-level autoencoder. First, label density is introduced to enlarge the classification margin of the label space. Then, a new supplementary label matrix is augmented from the missing label matrix with the non-equilibrium label completion method. Finally, considering feature space noise, a two-level kernel extreme learning machine autoencoder is constructed to implement the information feature and label correlation. The effectiveness of the proposed algorithm is verified by many experiments on both missing and complete label data sets. A statistical analysis of hypothesis validates our approach.

     

A novel kernel extreme learning machine algorithm based on self-adaptive artificial bee colony optimisation strategy

In this paper, we propose a novel learning algorithm, named SABC-MKELM, based on a kernel extreme learning machine (KELM) method for single-hidden-layer feedforward networks. In SABC-MKELM, the combination of Gaussian kernels is used as the activate function of KELM instead of simple fixed kernel learning, where the related parameters of kernels and the weights of kernels can be optimised by a novel self-adaptive artificial bee colony (SABC) approach simultaneously. SABC-MKELM outperforms six other state-of-the-art approaches in general, as it could effectively determine solution updating strategies and suitable parameters to produce a flexible kernel function involved in SABC. Simulations have demonstrated that the proposed algorithm not only self-adaptively determines suitable parameters and solution updating strategies learning from the previous experiences, but also achieves better generalisation performances than several related methods, and the results show good stability of the proposed algorithm.     

特征标记依赖自编码器的多标记特征提取方法

在多标记学习中,如何处理高维特征一直是研究难点之一,而特征提取算法可以有效解决数据特征高维性导致的分类性能降低问题。但目前已有的多标记特征提取算法很少充分利用特征信息并充分提取"特征-标记"独立信息及融合信息。基于此,提出一种基于特征标记依赖自编码器的多标记特征提取方法。使用核极限学习机自编码器将原标记空间与原特征空间融合并产生重构后的新特征空间。一方面最大化希尔伯特-施密特范数以充分利用标记信息;另一方面通过主成分分析来降低特征提取过程中的信息损失,结合二者并分别提取"特征-特征"和"特征-标记"信息。通过在Yahoo多组高维多标记数据集上的对比实验表明,该算法的性能优于当前五种主要的多标记特征提取方法,验证了所提算法的有效性。     

高炉透气性指数的核超限学习机预测模型

高炉透气性指数反映了高炉内煤气流运动受到阻碍的大小,是操作人员判断高炉运行状态的重要依据.本文针对超限学习机的缺点,提出了基于核超限学习机的高炉透气性指数预测模型.首先选取了适当的高炉参数作为模型的输入.其次采用小波变换对生产数据降噪处理.然后建立基于核超限学习机的高炉透气性指数预测模型.在建模过程中,探索了不同的核函数对模型性能的影响,并对相关参数寻优.最后进行仿真实验,同其他算法对比.实验结果表明,相比于传统算法,基于核超限学习机的高炉透气性指数预测模型训练速度更快,预测精度更高,预测结果更稳定.     

结合谱聚类的标记分布学习

标记分布是一种新的学习范式,现有算法大多数直接使用条件概率建立参数模型,未充分考虑样本之间的相关性,导致计算复杂度增大。基于此,引入谱聚类算法,通过样本之间相似性关系将聚类问题转化为图的全局最优划分问题,进而提出一种结合谱聚类的标记分布学习算法（label distribution learning with spectral clustering,SC-LDL）。首先,计算样本相似度矩阵;然后,对矩阵进行拉普拉斯变换,构造特征向量空间;最后,通过K-means算法对数据进行聚类建立参数模型,预测未知样本的标记分布。与现有算法在多个数据集上的实验表明,本算法优于多个对比算法,统计假设检验进一步说明算法的有效性和优越性。