大数据分割式极限学习机算法

在海量数据输入背景下，为提升极限学习机算法的学习速度，降低计算机内存消耗，提出一种分割式极限学习机算法。将海量数据分割成[K]等份，分别训练极限学习机并获得单一外权，基于算术平均算子得到分割式极限学习机的综合外权；为避免异常数据对极限学习机输出结果的影响，采用有序加权平均算子融合单一极限学习机的输出信息，使分割式极限学习机的输出结果更为稳定。数值对比仿真显示：分割式极限学习机比传统极限学习机的学习速度、拟合精度和内存消耗都高，验证了该方法的有效性和可行性。     

基于CSD-ELM的不平衡数据分类算法

基于代价敏感学习的极限学习机(ELM)算法在处理不平衡数据分类问题时,未考虑不同类别样本的分布特点以及同一类别中各样本的重要性对分类结果的影响。为此,提出基于样本数量比例的错分惩罚因子设置方法,并基于Mini-batch k-means聚类与距离测度设计一种类内样本权值确定方案。在此基础上,构建区分正、负类别的隐含层输出矩阵,根据训练样本数与ELM隐含层节点数间的关系,分2种情况计算ELM隐含层与输出层间的连接权值,以降低算法的时间复杂度。实验结果表明,与ELM、WELM等算法相比,该算法的G-mean、F1分类性能指标值均较高。     

基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法（KELM-LDL）。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。     

流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

基于改进花粉算法的极限学习机分类模型

针对多输出极限学习机（MELM）分类模型输入层权值和阈值随机选取导致的分类精度波动问题,提出一种基于改进花粉算法（CS-ACFPA）的极限学习机多分类模型（CS-ACFPA-MELM）。利用自适应算子和Tent策略优化花粉算法的寻优方式,构造一种基于代价敏感的适应度函数,使花粉算法能够更好地匹配MELM模型的输出,最后使用改进的花粉算法和基于代价敏感的适应度函数优化极限学习机的输入权值和阈值,以提高MELM模型的的分类性能。通过对比实验验证了CS-ACFPA算法对MELM模型改进的有效性,并且体现了CS-ACFPA-MELM模型在大规模样本上的优势以及小样本上的适用性。     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

基于多输出极限学习机的快速一致性分类器

一致性分类器是建立在一致性预测基础上的分类器,其输出结果具有很高的可靠性,但由于计算框架的限制,学习的时间往往较长.为了加快学习速度,首次将一致性预测与多输出极限学习机相结合,提出基于两者的快速一致性分类算法.该算法利用了极限学习机,能够快速计算样本标签的留一交叉估计的特性,极大地加快了学习速度.算法复杂度分析表明,所提算法的计算复杂度与多输出极限学习机的算法复杂度相同,该算法继承了一致性预测的可靠性特征,即预测的错误率能够被显著性水平参数所控制.在10个公共数据集上的对比实验表明,所提算法具有极快的计算速度,且与其他常用一致性分类器相比,该算法的平均预测标签个数在某些数据集上更少,预测结果更有效.     

应用于人脸图像识别的邻域保持极限学习机

极限学习机广泛应用于人脸识别领域。传统的极限学习机算法因在少量标签样本上进行训练，容易发生学习过程不充分问题，同时在学习过程中往往忽略了样本内在的几何结构，影响其对人脸识别的分类能力。受流形学习思想的启发，提出一种邻域保持极限学习机算法。该算法保持数据最本质的结构和同类数据的判别信息，利用最小化类内散度矩阵来提高极限学习机整体的分类性能。通过人脸数据集上的多次实验结果表明，该算法的人脸识别准确率高于其他算法，更能有效地进行分类识别。     

局部信息保持极限学习机的遥感图像分类

极限学习机ELM(Extreme learning machine)以其简单快速和良好的泛化能力在模式识别和机器学习领域得到了广泛的应用。近年来,研究人员将其应用到高光谱遥感图像分类问题中。然而,由于数据样本有限,极限学习机及其相关技术在遥感图像中存在数据学习不充分的问题。流形学习算法揭示了数据内在的几何结构信息。根据遥感图像的特点,基于流形学习的思想,将遥感图像数据样本的流行结构引入到ELM模型中,提出一种基于局部信息保持极限学习机LPKELM(locality information preserving extreme learning machine)。为了验证所提算法的有效性,使用两个高光谱遥感图像数据集进行实验。实验结果表明,LPKELM的分类性能优于SVM、KELM、KCRT-CK和MLR算法。     

基于角度优化的鲁棒极端学习机算法

极端学习机因其学习速度快、泛化性能强等优点,在当今模式识别领域中已经成为了主流的研究方向;但是,由于该算法稳定性差,往往易受数据集中噪声的干扰,在实际应用中导致得到的分类效果不是很显著;因此,为了提高极端学习机分类的准确性,针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法;该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果;其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能;通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

基于多示例的K-means聚类学习算法

多示例学习是继监督学习、非监督学习、强化学习后的又一机器学习框架。将多示例学习和非监督学习结合起来,在传统非监督聚类算法K-means的基础上提出MIK-means算法,该算法利用混合Hausdorff距离作为相似测度来实现数据聚类。实验表明,该方法能够有效揭示多示例数据集的内在结构,与K-means算法相比具有更好的聚类效果。     

弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

基于优化核极限学习机的中期电力负荷预测

针对电力负荷预测,提出了一种优化的核极限学习机(O-KELM)的方法.核极限学习机(KELM)方法仅以核函数表示未知的隐含层非线性特征映射,无需选择隐含层的节点数目,通过正则化最小二乘算法计算网络的输出权值.将优化算法应用于KELM方法中,给出基于遗传算法、微分演化、模拟退火的3种优化KELM方法,优化选择核函数的参数以及正则化系数,以进一步提高KELM方法的学习性能.为验证方法的有效性,将O-KELM方法应用于某地区的中期峰值电力负荷预测研究中,在同等条件下与优化极限学习机(O-ELM)方法、SVM等方法进行比较.实验结果表明,O-KELM方法具有很好的预测性能,其中GA-KELM方法的建模精度最高.     

#br# 耦合样本先验分布信息的加权极限学习机

极限学习机广泛用于分类、聚类、回归等任务中，但在处理类不平衡分类问题时，前人未充分考虑样本先验分布信息对分类性能的影响。针对此问题，本文提出耦合样本先验分布信息的加权极限学习机（Coupling sample Prior distribution Weighted Extreme Learning Machine，CPWELM）算法。该算法基于加权极限学习机，充分探讨不同分布样本点的重要程度，以此构造代价矩阵，进而提升分类器性能。本文通过12个不平衡数据集，对CPWELM算法的可行性及有效性进行了验证。结果表明，相比同类其他算法，CPWELM算法的性能更优。     

极限学习机集成在骨髓细胞分类中的应用

骨髓细胞的分类有重要的医学诊断意义。先对骨髓细胞图像分割和特征提取,用提取出来的训练集对极限学习机训练,再用该分类器对未知样本识别。针对单个分类器性能的不稳定,提出基于元胞自动机的极限学习机集成算法。通过元胞自动机抽样策略构建差异大的训练子集,多个分类器并行学习,多数投票法联合决策。实验结果表明,与BP、支持向量机比较,该算法基本无参数调整,学习速度快,分类精度高能达到97.33%,且有效克服了神经网络分类器不稳定的缺点。     

在线序列主动学习方法

现实世界中存在着大量无类标的数据,如各种医疗图像数据、网页数据等。在大数据时代,这种情况更加突出。标注这些无类标的数据需要付出巨大的代价。主动学习是解决这一问题的有效手段,也是近几年机器学习和数据挖掘领域中的一个研究热点。提出了一种基于在线序列极限学习机的主动学习算法,该算法利用在线序列极限学习机增量学习的特点,可显著提高学习系统的效率。另外,该算法用样例熵作为启发式度量无类标样例的重要性,用K-近邻分类器作为Oracle标注选出的无类标样例的类别。实验结果显示,提出的算法具有学习速度快、标注准确的特点。     

基于自适应动量优化算法的正则化极限学习机

针对极限学习机(extreme learning machine,ELM)隐节点不确定性导致的系统不稳定,以及对大型数据计算负担过重的问题,提出了基于自适应动量优化算法(adaptive and momentum method,AdaMom)的正则化极限学习机.算法主要思想是构造连续可微的目标函数,在梯度下降过程中计算自适应学习率,求自适应学习率与梯度乘积的指数加权平均值,通过迭代得到损失函数最小值对应的隐层输出权重矩阵.实验结果表明,在相同基准数据集的训练中,AdaMom-ELM算法具有非常良好的泛化性能和鲁棒性,提高了计算效率.     

基于差分进化优化ELM的模拟电路故障诊断

极限学习机具有学习速度快、精度高的优点。为了进一步提高泛化能力,将差分进化算法的全局寻优和算法简单的特点引入到极限学习机的参数优化中,建立了基于差分进化算法优化极限学习机的模型,使两种算法的优点有机结合,应用于模拟电路故障诊断中。首先利用主元分析对电路采样信号进行处理,提取故障特征;其次利用差分进化算法的全局寻优能力优化极限学习机网络的权值和阈值,具有很好的泛化能力。此方法应用于电路仿真实例中,能在较短的时间内获得满意的结果。