无逆矩阵在线序列极限学习机

无逆矩阵极限学习机只能以批量学习方式进行训练,将其拓展为无逆矩阵在线学习版本,提出了无逆矩阵在线序列极限学习机算法(IOS-ELM)。所提算法增加训练样本时,利用Sherman Morrison Woodbury公式对新增样本数据后的模型进行更新,直接计算出新增隐含层输出权重,避免对已经分析过的训练样本的输出权重进行重复计算。给出了所提IOS-ELM算法的详细推导过程。在不同类型和大小的数据集上的实验结果表明,所提IOS-ELM算法非常适合在线方式逐步生成的数据集,在快速学习和性能方面都有很好的表现。     

面对类别不平衡的增量在线序列极限学习机

针对在线序列极限学习机对于类别不平衡数据的学习效率低、分类准确率差的问题,提出了面对类别不平衡的增量在线序列极限学习机(IOS-ELM)。该算法根据类别不平衡比例调整平衡因子,利用分块矩阵的广义逆矩阵对隐含层节点数进行寻优,提高了模型对类别不平衡数据的在线处理能力,最后通过14个二类和多类不平衡数据集对该算法有效性和可行性进行验证。实验结果表明:该算法与同类其他算法相比具有更好的泛化性和准确率,适用于类别不平衡场景下的在线学习。     

一种基于增量加权平均的在线序贯极限学习机算法

针对在线序贯极限学习机(OS-ELM)对增量数据学习效率低、准确性差的问题, 提出一种基于增量加权平均的在线序贯极限学习机(WOS-ELM)算法.将算法的原始数据训练模型残差与增量数据训练模型残差进行加权作为代价函数,推导出用于均衡原始数据与增量数据的训练模型,利用原始数据来弱化增量数据的波动,使在线极限学习机具有较好的稳定性,从而提高算法的学习效率和准确性. 仿真实验结果表明, 所提出的WOS-ELM算法对增量数据具有较好的预测精度和泛化能力.     

变长增量型极限学习机及其泛化性能研究*

极限学习机（ELM）在训练过程中无需调整隐层节点参数,因其高效的训练方式被广泛应用于分类和回归,然而极限学习机也面临着结构选择与过拟合等严重等问题。为了解决此问题,针对隐层节点增量数目对收敛速度以及训练时间的影响进行了研究,提出一种利用网络输出误差的变化率控制网络增长速度的变长增量型极限学习机算法(VI-ELM)。通过对多个数据集进行回归和分类问题分析实验,结果表明,本文提出的方法能够以更高效的训练方式获得良好的泛化性能。     

基于PCOS-ELM的室内指纹定位算法

针对传统室内指纹定位算法存在定位精度低、对环境适应能力差的问题,提出了一种基于并行混沌优化的在线连续极限学习机(PCOS-ELM)定位算法.离线阶段,通过并行混沌优化算法(PCOA)对极限学习机的隐含层节点参数进行寻优并构建高精度初始定位模型;在线阶段,利用在线连续极限学习机(OS-ELM)使新增位置指纹数据对定位模型进行动态调整,以适应室内环境的变化.结果表明:提出的PCOS-ELM定位算法具有更高的定位精度和更好的环境适应性.     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

改进式混合增量极限学习机算法

针对增量型极限学习机(I-ELM) 中存在大量降低学习效率及准确性的冗余节点的问题, 提出一种基于Delta 检验(DT) 和混沌优化算法(COA) 的改进式增量型核极限学习算法. 利用COA的全局搜索能力对I-ELM 中的隐含层节点参数进行寻优, 结合DT 算法检验模型输出误差, 确定有效的隐含层节点数量, 从而降低网络复杂程度, 提高算法的学习效率; 加入核函数可增强网络的在线预测能力. 仿真结果表明, 所提出的DCI-ELMK 算法具有较好的预测精度和泛化能力, 网络结构更为紧凑.

     

一种基于极限学习机的在线负增量算法

在剔除影响单隐层前馈神经网络性能的"脏数据"后,传统的极限学习机算法需要重新训练整个网络,这会增加很多额外的训练时间。针对这一问题,在传统的极限学习机算法的基础上,提出一种在线负增量学习算法:剔除"脏训练样本"后,不需要再重新训练整个网络,而只需在原有的基础上,通过更新外权矩阵来完成网络更新。算法复杂性分析和仿真实验的结果表明所提出的算法具有更高的执行速度。     

基于改进极限学习机算法的行为识别

重点研究了极限学习机ELM对行为识别检测的效果。针对在线学习和行为分类上存在计算复杂性和时间消耗大的问题,提出了一种新的行为识别学习算法(ELM-Cholesky)。该算法首先引入了基于Cholesky分解求ELM的方法,接着依据在线学习期间核函数矩阵的更新特点,将分块矩阵Cholesky分解算法用于ELM的在线求解,使三角因子矩阵实现在线更新,从而得出一种新的ELM-Cholesky在线学习算法。新算法充分利用了历史训练数据,降低了计算的复杂性,提高了行为识别的准确率。最后,在基准数据库上采用该算法进行了大量实验,实验结果表明了这种在线学习算法的有效性。     

在线序列主动学习方法

现实世界中存在着大量无类标的数据,如各种医疗图像数据、网页数据等。在大数据时代,这种情况更加突出。标注这些无类标的数据需要付出巨大的代价。主动学习是解决这一问题的有效手段,也是近几年机器学习和数据挖掘领域中的一个研究热点。提出了一种基于在线序列极限学习机的主动学习算法,该算法利用在线序列极限学习机增量学习的特点,可显著提高学习系统的效率。另外,该算法用样例熵作为启发式度量无类标样例的重要性,用K-近邻分类器作为Oracle标注选出的无类标样例的类别。实验结果显示,提出的算法具有学习速度快、标注准确的特点。     

Big data regression with parallel enhanced and convex incremental extreme learning machines

This work considers scalable incremental extreme learning machine (I‐ELM) algorithms, which could be suitable for big data regression. During the training of I‐ELMs, the hidden neurons are presented one by one, and the weights are based solely on simple direct summations, which can be most efficiently mapped on parallel environments. Existing incremental versions of ELMs are the I‐ELM, enhanced incremental ELM (EI‐ELM), and convex incremental ELM (CI‐ELM). We study the enhanced and convex incremental ELM (ECI‐ELM) algorithm, which is a combination of the last 2 versions. The main findings are that ECI‐ELM is fast, accurate, and fully scalable when it operates in a parallel system of distributed memory workstations. Experimental simulations on several benchmark data sets demonstrate that the ECI‐ELM is the most accurate among the existing I‐ELM, EI‐ELM, and CI‐ELM algorithms. We also analyze the convergence as a function of the hidden neurons and demonstrate that ECI‐ELM has the lowest error rate curve and converges much faster than the other algorithms in all of the data sets. The parallel simulations also reveal that the data parallel training of the ECI‐ELM can guarantee simplicity and straightforward mappings and can deliver speedups and scale‐ups very close to linear.     

基于ELM的航空发动机传感器故障诊断方法研究

为了在嵌入式ARM11平台中更好地实现航空发动机传感器故障监测与诊断,使用极限学习机（ ELM）代替传统的BP网络算法,只需选定隐含层节点数和激活函数,大大减少了BP算法中人为设置大量参数、训练过程慢,并需要不断调整网络参数以及容易陷入局部最优解的缺点。经过仿真验证对比两种算法,验证ELM算法的优越性。并使用C＋＋编程语言将ELM算法转换成航空发动机传感器故障诊断训练学习软件和诊断软件,经最终测试,该算法软件的测试精度良好,满足诊断需求。     

基于半监督极限学习机的增量式定位算法

针对目前室内指纹定位算法存在实时性差、对动态环境适应性不足的问题,提出一种新的基于半监督极限学习机的定位算法.该算法首先通过半监督极限学习机建立初始化位置估计模型,然后利用新增的半标记数据对原定位模型进行动态调整,最后为新增训练数据分配合适惩罚权重,使模型具有时效机制.仿真结果表明,该定位算法在保证定位实时性的同时提高了对动态环境的适应性.     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

集成重复训练极限学习机的数据分类

极限学习机是一种随机化算法,它随机生成单隐含层神经网络输入层连接权和隐含层偏置,用分析的方法确定输出层连接权。给定网络结构,用极限学习机重复训练网络,会得到不同的学习模型。本文提出了一种集成模型对数据进行分类的方法。首先用极限学习机算法重复训练若干个单隐含层前馈神经网络,然后用多数投票法集成训练好的神经网络,最后用集成模型对数据进行分类,并在10个数据集上和极限学习机及集成极限学习机进行了实验比较。实验结果表明,本文提出的方法优于极限学习机和集成极限学习机。     

面向类别不平衡数据的主动在线加权极限学习机算法

针对在样本类别分布不平衡场景下,现有的主动学习算法普遍失效及训练时间过长等问题,提出采用建模速度更快的极限学习机,即ELM(Extreme Learning Machine)作为主动学习的基分类器,并以加权ELM算法用于主动学习过程的平衡控制,进而在理论上推导了其在线学习的过程,大幅降低了主动学习的时间开销,并将最终的混合算法命名为AOW-ELM算法。通过12个基准的二类不平衡数据集验证了该算法的有效性与可行性。     

结合期望风险的极限学习机的研究

对极限学习机的模型进行了研究,提出了一种结合期望风险最小化的极限学习机的预测模型。其基本思想是同时考虑结构风险和期望风险,根据期望风险和经验风险之间的关系,将期望风险转换成经验风险,进行最小化期望风险的极限学习机预测模型求解。利用人工数据集和实际数据集进行回归问题的数值实验,并与极限学习机（ELM）和正则极限学习机（RELM）两种算法的性能进行了比较,实验结果表明,所提方法能有效提高了泛化能力。     

限定记忆极端学习机及其应用

为了实现极端学习机（ELM）的在线训练,提出一种限定记忆极端学习机（FM-ELM）.FM-ELM以逐次增加新训练样本与删除旧训练样本的方式,提高其对于系统动态变化特性的自适应性,并根据矩阵求逆引理实现了网络输出权值的递推求解,减小了在线训练过程的计算代价.应用于具有动态变化特性的非线性系统在线状态预测表明,FM-ELM是一种有效的ELM在线训练模式,相比于在线贯序极端学习机,FM-ELM具有更快的调节速度和更高的预测精度.     

信度网结构在线学习算法

提出一种新的信度网结构在线学习算法.其核心思想是,利用新样本对信度网结构和参数不断进行增量式修改,以逐步逼近真实模型.本算法分为两个步骤:首先分别利用参数增量修改律和添加边、删除边、边反向3种结构增量修改律,并结合新采集的样本,对当前信度网模型进行增量式修改;然后利用结果选择判定准则,从增量式修改所得的后代信度网集合中选择一个合适的信度网作为本次迭代结果.该结果在与当前样本的一致性和与上一代模型的距离之间达到一个合理的折衷.实验结果表明,本算法能有效地实现信度网结构的在线学习.由于在线学习不需要历史样本,