支持向量机分解算法研究

分解算法是目前大量数据下支持向量机最主要训练方法。各种分解算法的区别在于工作集的大小、产生原则以及子QP问题的求解方法不同。介绍分解算法的产生以及发展过程,以及相应的工作集选择算法,重点指出分解算法在子工作集优化方法、工作集的选择策略所采用的新的方法以及有关收敛性的证明。     

基于支持向量机的分解合作的加权算法及其应用

支持向量机是基于统计学习理论的新一代学习机器。它使用结构风险最小化原则,运用核技巧,较好地解决了学习问题。当训练数据相当大时,其训练速度是制约其应用的瓶颈。本文提出了一种基于支持向量机的分解合作的加权算法并将其应用于股票指数预测,与标准算法相比较,分解合作加权算法表现出了良好的性能。     

一种改进的支持向量机学习算法

分析支持向量机的几种常用的训练方法,在这个基础上提出一种改进的支持向量机学习方法。该方法将违反KKT条件程度最厉害的样本提取出来,然后缓存这些样本,作为工作集的选择范围,而且根据训练时缓存的特点,在缓存的替换上给出一种新的方法。该方法提高核缓存的命中率,减少工作集选择的代价,从而减少训练时间。实验表明,该方法能够很好地提高支持向量机的训练速度。     

基于小波包分解和支持向量机的图像隐秘检测算法

提出了一种新的小波包分解算法,该算法只对图像的低频部分进行分解,从而大大减少了特征向量的维数,提高了运行效率。在模式分类上采用了支持向量机的算法,实验证明,该算法与Fisher线性判别算法相比,其检测率明显提高。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。     

基于壳向量和中心向量的支持向量机

针对支持向量机(Support vector machines,SVMs)中大规模样本集训练速度慢且分类精度易受野点影响的问题,提出一个基于样本几何信息的支持向量机算法.其基本步骤是,首先分别求取每类样本点的壳向量和中心向量,然后将求出的壳向量作为新的训练集进行标准的SVM训练得到超平面的法向量,最后利用中心向量来更新法向量从而减少野点的影响得到最终的分类器.实验表明,采用这种学习策略,不仅加快了训练速度,而且在一般情况下也提高了分类精度.     

基于奇异值分解和支持向量机的人脸检测

人脸检测在自动人脸鉴别工作中具有重要的意义。由于人脸图像特征的复杂性和多样性，使得人脸模式分类器的训练十分困难。本文提出了一种基于支持向量机（SVM）的人脸检测算法，使用了奇异值分解对训练样本进行特征提取，再由SVM分类器进行分类，有效的降低了训练难度，采用二阶多项式作为SVM分类器的核函数，实验结果表明，该方法是十分有效的。     

支持向量逐步回归机及其改进算法研究

本文根据支持向量的稀疏性和其分布于超平面附近的特性,提出了支持向量逐步回归机算法,并改进了算法构建新的训练样本子集的方法和利用整数规划对每次搜索的新样本个数m进行了优化,同时分析了算法的复杂度。最后用仿真结果验证了算法的收敛性和有效性。     

改进的支持向量机算法及其应用

支持向量机（SVM）算法应用于具有小样本特征的实际问题时是否能获得到良好的预测效果,取决于能否成功地设置该算法的关键参数,这一瓶颈问题一直阻碍着SVM在具有小样本特性的实际工程中的应用。在分析SVM回归估计方法参数性能的基础上,提出了以自适应粒子群算法（APSO）优化SVM关键参数的改进SVM算法,并以变电工程为背景给出了相应的工程造价预测模型。运用此模型,对某实际变电工程实例进行了造价预测仿真分析,并与传统的支持向量机算法进行比较,结果说明改进的支持向量机算法具有良好的变电工程造价预测精度,且速度较快。     

基于改进粒子群算法的支持向量机

对求解含线性约束优化问题的粒子群算法（LPSO）进行了改进,给出了应用其训练支持向量机（SVM）的方法。改进后的算法在基本PSO惯性权重策略的基础上加入了基于种群收敛速度的自适应扰动,能够较好地调整算法的全局与局部搜索能力之间的平衡。对双螺旋问题的分类实验表明本文提出的方法稳定性好,训练出的SVM具有较高的分类正确率。     

一种快速加权支持向量机训练算法*

给出了一种利用目标函数的二阶信息选择工作集训练加权支持向量机的算法,导出了加权支持向量机的KKT条件.实验结果表明,与利用目标函数的一阶近似信息选择工作集的训练算法相比,该算法减少了训练迭代次数,特别是训练集规模较大时,该算法的收敛速度有较大幅度的提高.     

一种高效的最小二乘支持向量机分类器剪枝算法

针对最小二乘支持向量机丧失稀疏性的问题,提出了一种高效的剪枝算法.为了避免解初始的线性代数方程组,采用了一种自下而上的策略.在训练的过程中,根据一些特定的剪枝条件,块增量学习和逆学习交替进行,一个小的支持向量集能够自动形成.使用此集合,可以构造最终的分类器.为了测试新算法的有效性,把它应用于5个UCI数据集.实验结果表明：使用新的剪枝算法,当增量块的大小等于2时,在几乎不损失精度的情况下,可以得到稀疏解.另外,和SMO算法相比,新算法的速度更快.新的算法不仅适用于最小二乘支持向量机分类器,也可向最小二乘支持向量回归机推广.     

基于改进遗传算法的支持向量机参数优化方法

针对支持向量机算法在回归预测时由于参数选取不当导致过学习或欠学习的情况,提出一种基于改进遗传算法的支持向量机参数优化模型。该模型将遗传算法与支持向量机结合,利用遗传算法进化搜索的原理对支持向量机具有重要意义的惩罚参数、核参数和损失函数同时优化。实验选取3组标准数据集作为测试数据集,并将改进算法同时与遗传算法、网格寻址算法、粒子群算法进行仿真测试结果对比。实验结果表明改进的算法较大地提高了支持向量机算法整体的寻优能力。     

一种加权支持向量机分类算法

提出了一种加权C—SVM分类算法,并从理论上分析了算法的性能。该算法通过引入类权重因子和样本权重因子实现了类加权和样本加权两种功能。实验结果表明,该算法可以有效地解决由类大小不均衡引发的分类错误问题以及重要样本的错分问题。     

一种训练支撑向量机的改进贯序最小优化算法

对于大规模问题,分解方法是训练支撑向量机主要的一类方法.在很多分类问题中,有相当比例的支撑向量对应的拉格朗日乘子达到惩罚上界,而且在训练过程中到达上界的拉格朗日乘子变化平稳.利用这一统计特性,提出了一种有效的缓存策略来加速这类分解方法,并将其具体应用于Platt的贯序最小优化(sequential minimization optimization,简称SMO) 算法中.实验结果表明,改进后的SMO算法的速度是原有算法训练的2~3倍.     

Recursive Update Algorithm for Least Squares Support Vector Machines

In this Letter an efficient recursive update algorithm for least squares support vector machines (LSSVMs) is developed. Using the previous solution and some matrix equations, the algorithm completely avoids training the LSSVM all over again whenever new training sample is available. The gain in speed using the recursive update algorithm is illustrated on four data sets from UCI repository: the Statlog Australian credit, the Pima Indians diabetes, the Wisconsin breast cancer, and the adult income data sets.     

一种改进的临近支持向量机

基于线性临近支持向量机,提出一种改进的分类器一直接支持向量机.该分类器与临近支持向量机相比,对线性分类二者相同;对于非线性分类,直接支持向量机的Lagrangian乘子求解公式和分类器的表达式都更加简单,计算复杂度降低一半,且通过替代核函数就可实现线性与非线性的统一,可使用相同的算法代码,改正了临近支持向量机的不足.数值实验表明,非线性分类时,直接支持向量机的训练速度比临近支持向量机要快一倍左右,而测试速度则快更多,且分类精度并没有降低.     

Benchmarking Least Squares Support Vector Machine Classifiers

In Support Vector Machines (SVMs), the solution of the classification problem is characterized by a (convex) quadratic programming (QP) problem. In a modified version of SVMs, called Least Squares SVM classifiers (LS-SVMs), a least squares cost function is proposed so as to obtain a linear set of equations in the dual space. While the SVM classifier has a large margin interpretation, the LS-SVM formulation is related in this paper to a ridge regression approach for classification with binary targets and to Fisher's linear discriminant analysis in the feature space. Multiclass categorization problems are represented by a set of binary classifiers using different output coding schemes. While regularization is used to control the effective number of parameters of the LS-SVM classifier, the sparseness property of SVMs is lost due to the choice of the 2-norm. Sparseness can be imposed in a second stage by gradually pruning the support value spectrum and optimizing the hyperparameters during the sparse approximation procedure. In this paper, twenty public domain benchmark datasets are used to evaluate the test set performance of LS-SVM classifiers with linear, polynomial and radial basis function (RBF) kernels. Both the SVM and LS-SVM classifier with RBF kernel in combination with standard cross-validation procedures for hyperparameter selection achieve comparable test set performances. These SVM and LS-SVM performances are consistently very good when compared to a variety of methods described in the literature including decision tree based algorithms, statistical algorithms and instance based learning methods. We show on ten UCI datasets that the LS-SVM sparse approximation procedure can be successfully applied.     

支持向量机的缺陷及改进算法

传统支持向量机通常关注于数据分布的边缘样本,支持向量通常在这些边缘样本中产生。本文提出一个新的支持向量算法,该算法的支持向量从全局的数据分布中产生,其稀疏性能在大部分数据集上远远优于经典支持向量机算法。该算法在多类问题上的时间复杂度仅等价于原支持向量机算法的二值问题,解决了设计多类算法时变量数目庞大或者二值子分类器数目过多的问题。