拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。     

加权支持向量回归算法

Support vector regression machines based on structural risk minimization have a good generalization performance. However, its effect is not good if there exists heterogeneity of variance in the regression models. In order to solve the problem, a kind of weighting support vector regression is proposed in this paper. The results of simulation experiments show the feasibility and effectiveness of the method.     

回归型支持向量机的简化算法

针对支持向量机应用于函数估计时支持向量过多所引起的计算复杂性,提出一种简化算法,可以大幅度地减少支持向量的数量,从而简化其应用.采用简化算法还可以将最小平方支持向量机算法和串行最小化算法结合起来,达到学习效率高且生成的支持向量少的效果.     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

基于无约束优化的非线性支持向量回归

提出利用牛顿法以及共轭梯度法解决非线性支持向量回归学习问题,不仅可以加速模型选择的过程,而且能够提高训练速度.将该方法应用于煤气炉数据集建模以及Mackey-Glass混沌时间序列预测,仿真结果表明了该方法的有效性.     

Powell算法在线性支持向量机中的应用

并行下降方法应用于线性支持向量机时效率较低。针对该问题,提出将Powell算法应用于线性支持向量机,并采用一个全局牛顿算法来求解单变量子问题。在内循环过程中,通过解一个单变量子问题更新w的一个分量,同时固定其他的分量不变;在外循环过程中,根据判断条件,决定是否沿加速方向搜索,以及是否用加速方向替代之前的某一个搜索方向。UCI数据集上的实验结果表明,算法能很快收敛,且分类精度优于并行下降算法和光滑支持向量机。     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

回归支持向量机SMO算法的改进

在Smola 和Sch?觟lkopf的SMO算法中,由于使用了单一的极限值而使得算法的效果没有完全表现出来。使用KKT条件来检验二次规划问题,使用两个极限参量来对回归SMO算法进行改进。通过对比实验,这一改进算法在执行速度上表现出了非常好的性能。     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

基于差分进化算法的支持向量回归机参数优化

支持向量机是结构风险最小化原理的一种新型学习技术,被广泛应用到很多工业控制领域中,良好的泛化能力和预测精度在很大程度上受到参数选取的影响.传统参数选择方法易陷入局部最优,为提高优化识别参数的精度和效率,提出基于差分进化算法的支持向量回归机参数优化算法.以均方误差最小为优化准则,差分进化算法的全局寻优能力,搜索支持向量回归机的最优参数组合,达到对参数的最优选择.通过Matlab进行仿真实验,结果表明改进的算法不仅加快参数搜索和优化的速度,而且选择的最优参数能大大提高支持向量机预测精度和泛化能力,并具有良好的鲁棒性和较强的全局寻优能力.     

快速原空间孪生支持向量回归算法

孪生支持向量回归(TSVR)通过快速优化一对较小规模的支持向量机问题获得回归函数。文中提出在原始输入空间中采用Newton法直接优化TSVR的目标函数,从而有效克服TSVR通过对偶二次规划问题求得近似最优解导致性能上的损失。数值模拟实验表明该方法不仅能提高TSVR的性能,并且可降低学习时间。     

加权光滑投影孪生支持向量回归算法

现有双边移位投影孪生支持向量回归（PPTSVR）算法在训练阶段没有考虑不同位置样本对超平面构造的影响,当样本中存在异常点时会降低算法拟合性能。针对该问题,提出一种加权光滑投影孪生支持向量回归算法。采用孤立森林法赋予每个样本不同的权值,并且赋予样本中异常点很小的权值,通过将权值引入算法目标函数,削弱异常点对超平面构造的影响。为直接在原空间中寻求最优超平面,引入正号函数,将有约束优化问题转化为无约束优化问题,并采用Sigmoid光滑函数对目标函数进行光滑处理,证明其任意阶可微且严格凸的特性,进而在原空间中采用牛顿迭代法进行求解。在基准数据集和人工测试函数上的实验结果表明,该算法相比于现有代表性回归算法具备更好的拟合性能和更快的训练速度,尤其当训练样本中存在异常点时,相比于PPTSVR算法拟合性能提升更明显。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。     

支持向量回归机模型结构及性能的研究

总结了目前提出的四类不同结构的支持向量回归机（Support Vector Regression,SVR）模型,并在此基础上提出了三种新的模型结构,通过试验手段对比了几种典型模型的逼近性能,分析了各个模型在应用中存在的优缺点,为实际应用中采用合适的模型提供一种选择方法。     

一种支持向量回归机自动模型选择方法

为解决SVR(支持向量回归)自动模型选择的问题,提出一种基于梯度下降算法的支持向量回归机模型参数优化方法.通过最小化模型选择准则R2w2,对核参数集采用梯度下降算法得到局部最优的模型参数.依据黎曼几何为理论,提出一种适合于SVR的保角变换,对核函数进行数据依赖的改进,进一步提高SVR的泛化能力.仿真试验的结果验证了该方...     

R-SVR中r与输入噪声间近似线性反比关系

为使r范数SVR更具鲁棒性,深入研究了r范数SVR中参数与输入噪声之间的关系。运用SVR的贝叶斯框架,分别推导出了鲁棒的r范数SVR中参数r与拉斯噪声和均匀噪声之间呈近似的线性反比关系。并结合仿真结果和已有的相关结论,得到了更为一般的结论,即鲁棒的r范数SVR中参数r与输入噪声之间呈近似的线性反比关系。这一结论为输入样本含有分布未知噪声的情况下r范数SVR参数的选择提供了理论依据。