神经网络极速学习方法研究进展

神经网络已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但学习方法的速度不能满足实际需求。传统的误差反向传播方法(BP)主要是基于梯度下降的思想,需要多次迭代;网络的所有参数都需要在训练过程中迭代确定,因此算法的计算量和搜索空间很大。ELM(Extreme Learning Machine,ELM)是一次学习思想使得学习速度提高很多,避免了多次迭代和局部最小值,具有良好的泛化性能、鲁棒性与可控性。但对于不同的数据集和不同的应用领域,无论ELM是用于数据分类或是回归,ELM算法本身还是存在问题,所以本文对已有方法深入对比分析,并指出极速学习方法未来的发展方向。     

一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

回归最小二乘支持向量机的增量和在线式学习算法

首先给出回归最小二乘支持向量机的数学模型,并分析了它的性质,然后在此基础上根据分块矩阵计算公式和核函数矩阵本身的特点设计了支持向量机的增量式学习算法和在线学习算法．该算法能充分利用历史的训练结果,减少存储空间和计算时间．仿真实验表明了这两种学习方法的有效性．     

支持向量机的多层动态自适应参数优化

首先提出了基于多层动态自适应搜索技术的最小二乘支持向量机参数优化方法，然后采用最小二乘支持向量机对典型非线性控制系统的辨识进行了研究．辨识结果表明，最小二乘支持向量机可以用于非线性控制系统辨识，多层动态自适应搜索方法确定了最优支持向量机参数，从而获得精确的非线性控制系统辨识结果．     

基于极速神经网络的协作过滤方法研究

协作过滤是一种有效的个性化推荐技术,针对该技术随着用户和资源的增多,数据的高维稀疏特性严重导致推荐质量的下降和计算速度减慢的问题,研究并实现了一种基于极速神经网络的协作过滤方法。采用主成分分析解决数据高维稀疏性问题,采用极速神经网络技术解决计算速度慢的问题。实验结果表明,该方法具有良好的泛化性能和学习速度,能很好的满足个性化资源推荐的需求。     

一种带修剪的增量极速学习模糊神经网络

由Huang提出的extreme learning machine(ELM)批量学习算法在获得与其他算法相当的性能的同时显示出了极快的学习速度。为了实现在线增量学习,扩展了ELM方法,提出了一种带修剪的极速学习模糊神经网络。首先随机产生模糊神经网络前件参数和规则数量,然后使用SVD将规则按照重要性能排序,再使用留一法leave-one-out(LOO)选出最佳的模糊规则数,最后分析计算模糊规则的后件参数。在学习过程中无须保存过去的数据,真正实现了增量学习。当新的数据到来时,无须重新训练网络。通过仿真实验对该方法与其他算法进行了验证和比较,结果表明,在获得与其他算法类似的性能的情况下,该算法能够获得更加简洁的结构。     

基于最小二乘支持向量机的特征增量学习算法

本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题,设计适应样本特征维数增加的训练算法。在基于最小二乘支持向量机的基础上,提出了特征增量学习算法。该算法充分利用先前训练得到的分类器的结构参数,仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明,该算法能够在保证分类精度的同时,有效效地提高训练速度并降低存储空间。     

基于贝叶斯框架的加权LS-SVM及其学习算法

为了提高最小二乘支持向量机的鲁棒性,介绍了加权最小二乘支持向量机,给出了确定加权向量的一般方法.并介绍了基于贝叶斯框架的加权LS-SVM参数的优化方法,利用它建立了加权最小二乘支持向量机.最后用一个仿真实例来说明所提出的支持向量机的学习性能,比标准LS-SVM具有更好的鲁棒性.     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

基于极限学习机的股票价格预测

极限学习机（ Extreme Learning Machine , ELM）是一种新型的单馈层神经网络算法,克服了传统的误差反向传播方法需要多次迭代,算法的计算量和搜索空间大的缺点,只需要设置合适的隐含层节点个数,为输入权和隐含层偏差进行随机赋值,一次完成无需迭代。研究表明股票市场是一个非常复杂的非线性系统,需要用到人工智能理论、统计学理论和经济学理论。本文将极限学习机方法引入股票价格预测中,通过对比支持向量机（ Support Vector Machine , SVM）和误差反传神经网络（ Back Propagation Neural Network , BP神经网络）,分析极限学习机在股票价格预测中的可行性和优势。结果表明极限学习机预测精度高,并且在参数选择及训练速度上具有较明显的优势。     

支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘（maximal margin)解。不同的是,前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络（线性可分情况下）学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。     

一种卷积神经网络和极限学习机相结合的人脸识别方法

卷积神经网络是一种很好的特征提取器,但却不是最佳的分类器,而极限学习机能够很好地进行分类,却不能学习复杂的特征,根据这两者的优点和缺点,将它们结合起来,提出一种新的人脸识别方法。卷积神经网络提取人脸特征,极限学习机根据这些特征进行识别。本文还提出固定卷积神经网络的部分卷积核以减少训练参 数,从而提高识别精度的方法。在人脸库ORL和XM2VTS上进行测试的结果表明,本文的结合方法能有效提高人脸识别的识别率,而且固定部分卷积核的方式在训练样本少时具有优势。     

基于极限学习离散过程神经网络的示功图识别

针对传统神经网络进行抽油机示功图识别诊断时受同步瞬时输入限制,不能有效体现连续输入信号的时间累积效应,诊断精度偏低的问题,提出一种极限学习离散过程元网络,模型内部通过三次样条数值积分处理离散样本和权值的时域的聚合运算．模型训练算法采用极限学习,将模型训练转化为最小二乘问题,通过利用Moore-Penrose广义逆和隐层输出权值矩阵来计算输出权值,提升模型学习速度．进行示功图识别时,直接将位移和载荷离散时间序列作为模型输入,对常见的5种示功图状态进行识别．实验结果表明,该方法具有较高的识别精度,同时相对于其它过程神经网络模型,学习速度较快．     

基于极限学习机的机械臂自适应神经控制

针对刚性机械臂系统的控制问题,提出基于极限学习机(ELM)的自适应神经控制算法.极限学习机随机选择单隐层前馈神经网络(SLFN)的隐层节点及其参数,仅调整其网络的输出权值,以极快的学习速度获得良好的推广性.采用李亚普诺夫综合法,使所提出的ELM控制器通过输出权值的自适应调整能够逼近系统的模型不确定性部分,从而保证整个闭环控制系统的稳定性.将该自适应神经控制器应用于2自由度平面机械臂控制中,并与现有的径向基函数(RBF)神经网络自适应控制算法进行比较.实验结果表明,在同等条件下,ELM控制器具有良好的跟踪控制性能,表明了所提出控制算法的有效性.     

极限学习机综述

极限学习机是一种单隐层前向网络的训练算法,主要特点是训练速度极快,而且可以达到很高的泛化性能。回顾了极限学习机的发展历程,分析了极限学习机的数学模型,详细介绍了极限学习机的各种改进算法,并列举了极限学习机在识别、预测和医学诊断领域的应用。最后总结预测了极限学习机的改进方向。     

极限学习机与支持向量机在储层渗透率预测中的对比研究

极限学习机ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数,并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数,在算法执行过程中不需要调整网络的输入权值以及隐元的偏置,并且产生唯一的最优解,因此具有学习速度快且泛化性能好的优点。本文将极限学习机引入到储层渗透率的预测中,通过对比支持向量机,分析其在储层渗透率预测中的可行性和优势。实验结果表明,极限学习机与支持向量机有近似的预测精度,但在参数选择以及学习速度上极限学习机具有明显的优势。     

基于一对一极限学习机的人脸表情识别方法

为了克服极限学习机(ELM)稳定性差、识别率不高的缺陷, 利用支持向量机(SVM)一对一投票式分类算法准确度高的优势, 提出一种改进的表情识别方法. 该方法将一对一分类算法和ELM算法相结合形成一个新的算法即OAO-ELM(One-Against-One-Extreme Learning Machine), 首先, 对样本采用一对一的分类并利用ELM训练成一个弱分类器, 然后, 将这些弱分类器组合成一个最终的强分类器. 预测结果, 采用投票方式. 用Gabor滤波提取表情特征, 由于提取后特征维度很高, 冗余大, 引入主成分分析(PCA)来降维. 基于JAFFE数据库实验结果表明, 该算法在人脸表情识别上具有较高分类识别率和稳定性.     

多任务正则极限学习机的研究与应用

MT-ELM通过隐含层共享不同任务间的数据特性实现多任务学习，但MT-ELM忽略任务间关联程度的差异以及存在的过拟合问题，为此提出基于MT-RELM软测量建模方法。首先，利用RELM解决过拟合问题；其次，考虑任务之间关联度的差异，基于相关性较强的任务其权值向量也较相似的假设，在每个任务输出权值的基础上加入约束条件，利用此约束条件表示任务间的相关程度；最后，利用ADMM算法迭代求解得到MT-RELM的模型参数。基于合成数据集与湿式球磨机数据集的结果表明，此算法可有效地提高模型的预测精度以及泛化能力。