面对类别不平衡的增量在线序列极限学习机

针对在线序列极限学习机对于类别不平衡数据的学习效率低、分类准确率差的问题,提出了面对类别不平衡的增量在线序列极限学习机(IOS-ELM)。该算法根据类别不平衡比例调整平衡因子,利用分块矩阵的广义逆矩阵对隐含层节点数进行寻优,提高了模型对类别不平衡数据的在线处理能力,最后通过14个二类和多类不平衡数据集对该算法有效性和可行性进行验证。实验结果表明:该算法与同类其他算法相比具有更好的泛化性和准确率,适用于类别不平衡场景下的在线学习。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

基于改进极限学习机算法的行为识别

重点研究了极限学习机ELM对行为识别检测的效果。针对在线学习和行为分类上存在计算复杂性和时间消耗大的问题,提出了一种新的行为识别学习算法(ELM-Cholesky)。该算法首先引入了基于Cholesky分解求ELM的方法,接着依据在线学习期间核函数矩阵的更新特点,将分块矩阵Cholesky分解算法用于ELM的在线求解,使三角因子矩阵实现在线更新,从而得出一种新的ELM-Cholesky在线学习算法。新算法充分利用了历史训练数据,降低了计算的复杂性,提高了行为识别的准确率。最后,在基准数据库上采用该算法进行了大量实验,实验结果表明了这种在线学习算法的有效性。     

无逆矩阵在线序列极限学习机

无逆矩阵极限学习机只能以批量学习方式进行训练,将其拓展为无逆矩阵在线学习版本,提出了无逆矩阵在线序列极限学习机算法(IOS-ELM)。所提算法增加训练样本时,利用Sherman Morrison Woodbury公式对新增样本数据后的模型进行更新,直接计算出新增隐含层输出权重,避免对已经分析过的训练样本的输出权重进行重复计算。给出了所提IOS-ELM算法的详细推导过程。在不同类型和大小的数据集上的实验结果表明,所提IOS-ELM算法非常适合在线方式逐步生成的数据集,在快速学习和性能方面都有很好的表现。     

基于OS-ELM的风速修正及短期风电功率预测

随着时间的推移,风电场风电功率预测模型的适用性逐渐降低,导致预测精度下降。为了解决该问题,基于在线序列-极限学习机(OS-ELM)算法提出了风电场短期风电功率预测模型的在线更新策略,建立的OS-ELM模型将风电场的历史数据固化到隐含层输出矩阵中,模型更新时,只需将新产生的数据对当前网络进行更新,大大降低了计算所需的资源。采用极限学习机(ELM)算法对数值天气预报(NWP)的预测风速进行修正,并根据风电功率的置信区间对预测功率进行二次修正。实验结果表明,采用OS-ELM算法更新后的模型适用性增强,预测精度提高;采用基于风电功率置信区间的功率修正模型后,风电功率的预测精度明显提高。     

流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

基于小波变换和极限学习机的网络流量预测模型

为了提高网络流量预测准确性,结合网络流量的变化特点,针对当前网络流量预测模型存在的局限性,设计了基于小波变换和极限学习机的网络流量预测模型。首先分析了当前国内外网络流量预测研究现状,找到引起网络流量预测准确性差的原因;然后采用小波变换对原始网络流量时间序列进行去噪,得到无噪声的网络流量时间序列;最后采用极限学习机对网络流量时间序列进行建模,得到相应的预测结果。与当前经典的网络流量预测模型在相同环境下进行对照测试,测试结果分析表明,小波变换和极限学习机的网络流量预测精度达到了95%以上,网络流量预测误差得到了有效的控制,而且提升了网络流量预测效率,预测结果要远优于当前经典的网络流量预测模型。     

一种基于深度谱空网络的高光谱图像聚类方法

通常无监督算法在对高光谱数据进行聚类时仅使用光谱信息,忽略了空间信息,使得聚类准确率较低.针对上述问题提出一种基于深度谱空网络和无监督判别极限学习的高光谱图像聚类算法.利用深度谱空网络对高光谱数据进行光谱特征和空间特征的分层交叉学习,通过反复学习获得深度空谱特征,为后续无监督聚类提供方便.在三种高光谱图像上进行实验,结果表明,该算法获得的聚类效果优于其他基于极限学习机的方法和其他无监督方法.     

基于核映射极限学习机的入口氮氧化物预测

针对在线贯序极限学习机(OS-ELM)算法隐含层输出不稳定、易产生奇异矩阵和在线贯序更新时没有考虑训练样本时效性的问题,提出一种基于核函数映射的正则化自适应遗忘因子(FFOS-RKELM)算法.该算法利用核函数代替隐含层,能够产生稳定的输出结果.在初始阶段加入正则化方法,通过构造非奇异矩阵提高模型的泛化能力;在贯序更新阶段,通过新到的数据自动更新遗忘因子.将FFOS-RKELM算法应用到混沌时间序列预测和入口氮氧化物时间序列预测中,相比于OS-ELM、FFOS-RELM、OS-RKELM算法,可有效地提高预测精度和泛化能力.     

二维分割贯序正则化超限学习机

针对大规模在线学习问题,提出一种二维分割贯序正则化超限学习机(BP-SRELM).BP-SRELM以在线贯序超限学习机为基础,结合分治策略的思想,从实例和特征两个维度对高维隐层输出矩阵进行分割,以降低问题求解的规模和计算复杂性,从而极大地提高对大规模学习问题的执行效率.同时,BP-SRELM通过融合使用Tikhonov正则化技术进一步增强其在实际应用中的稳定性和泛化能力.实验结果表明,所提出的BP-SRELM不仅具有更高的稳定性和预测精度,而且在学习速度上优势明显,适用于大规模数据流的在线学习与实时建模.     

An improved kernel-based incremental extreme learning machine with fixed budget for nonstationary time series prediction

In order to curb the model expansion of the kernel learning methods and adapt the nonlinear dynamics in the process of the nonstationary time series online prediction, a new online sequential learning algorithm with sparse update and adaptive regularization scheme is proposed based on kernel-based incremental extreme learning machine (KB-IELM). For online sparsification, a new method is presented to select sparse dictionary based on the instantaneous information measure. This method utilizes a pruning strategy, which can prune the least “significant” centers, and preserves the important ones by online minimizing the redundancy of dictionary. For adaptive regularization scheme, a new objective function is constructed based on basic ELM model. New model has different structural risks in different nonlinear regions. At each training step, new added sample could be assigned optimal regularization factor by optimization procedure. Performance comparisons of the proposed method with other existing online sequential learning methods are presented using artificial and real-word nonstationary time series data. The results indicate that the proposed method can achieve higher prediction accuracy, better generalization performance and stability.

     

基于改进极端学习机的网络流量预测

为了提高网络流量的预测精度,针对极端学习机的训练样本选择问题,提出一种改进极端学习机的网络流量预测模型（IELM）。根据最优延迟时间和嵌入维数对网络流量重构,建立网络学习样本,将学习样本输入到改进极端学习机进行训练,随新样本加入而逐步求解网络的权值,以提高学习速度,引入cholesky分解方法提高模型的泛化能力,采用具体网络流量数据进行了仿真测试。结果表明,IELM不仅可以获得较传统网络流量预测模型更高的精度,并且大幅度减少了计算时间,提高了建模效率,可以较好地满足网络流量预测要求。     

具有广义正则化与遗忘机制的在线贯序超限学习机

针对非平稳时间序列预测问题,提出一种具有广义正则化与遗忘机制的在线贯序超限学习机算法.该算法以增量学习新样本的方式实现在线学习,以遗忘旧的失效样本的方式增强对非平稳系统的动态跟踪能力,并通过引入一种广义的$l_2$正则化使其具有持续的正则化功能,从而保证算法的持续稳定性.仿真实例表明,所提出算法具有较同类算法更好的稳定性和更小的预测误差,适用于具有动态变化特性的非平稳时间序列在线建模与预测.     

基于自适应遗忘因子极限学习机的高炉煤气预测

高炉煤气是钢铁企业重要的二次能源,其产生量和消耗量的实时准确预测对高炉煤气系统的平衡调度具有重要作用;但由于高炉煤气系统工况多变、产消量数据波动较大,给高炉煤气产消量的准确预测带来了很大的挑战;为此,通过对煤气产消量数据特征的深入分析,提出了一种基于自适应遗忘因子极限学习机(AF-ELM)的在线预测算法;在序贯极限学习机的基础上,引入遗忘因子逐步遗忘旧样本,通过预测误差反馈机制,自适应的调节遗忘因子,从而提高预测方法对系统工况的动态变化的适应能力,提高预测精度;将该算法应用于钢铁企业的高炉煤气产消量在线预测,实验结果表明与序贯极限学习机相比,该预测方法在系统工况变化的情况下能保持较高的预测精度,更适合于高炉煤气产消量的在线预测。     

课程资源的融合知识图谱多任务特征推荐算法

在采集在线学习信息时,普遍存在数据缺失的情况,使得课程资源推荐时可能因数据稀疏导致推荐的效果不理想。为了解决上述问题,基于端对端的深度学习框架,提出了融合知识图谱的多任务特征推荐算法（Multi-Layer Knowledge graph Recommendation,MLKR）。基于多任务特征学习,在任务中嵌入知识图谱;在任务之间通过交叉压缩单元建立潜在特征和实体之间的高阶联系,从而建立推荐模型。实现了基于学习者目标、兴趣、知识水平的课程资源精准推荐。实验结果表明,MLKR推荐算法训练时长和预测准确率均优于基于用户或物品的协同过滤算法和逻辑回归模型,在课程资源推荐领域具有一定的应用价值。     

多元混沌时间序列的相关状态机预测模型研究

针对多元混沌时间序列预测存在的过拟合问题及高维输入变量冗余问题,提出一种新型的多变量稀疏化预测模型——多元相关状态机.该模型采用主成分分析方法对相空间重构后的高维输入变量进行低维表示,将动态储备池作为相关向量机的核函数,充分映射多元混沌时间序列的动力学特性,使得模型具有丰富的动态机制和良好的稀疏性能,有效避免过拟合问题,提高预测精度.基于两组多元混沌时间序列的仿真实验验证了模型的有效性.