一种改进的SMO算法

In this paper we have pointed out an important source of inefficiency in SMO algorithm that is caused by the operation with a single threshod value. We have suggested modifications of SMO algorithm that overcome the problem by efficiently maintaining and updating two threshold parameters. Our experiments show that these modifi-cations speed up the SMO algorithm.     

求解非正定核Huber-SVR的SMO算法

通过运用SMO分解思想和支持向量回归机SVR模型的约束条件,将SVR模型的求解问题转化成一系列的给定区间内抛物线的最小值求解问题,对于非正定核而言由于只改变其中部分抛物线的开口方向,因而可以求得其最小值.据此提出了一种可以求解非正定核的Huber-SVR的SMO方法,推导出了相应的迭代公式并设计了相应的算法.由于用该算法可以求解具有非正定核的SVR,因此可用具有非正定核的Huber-SVR进行回归和预测实验,并与正定核的Huber-SVR的实验结果进行比较.实验表明,对于Huber-SVR而言,某些非正定核比正定核有更好的回归和预测性能,这说明了求解非正定核的Huber-SVR的SMO算法的有效性和必要性.这一算法也可以推广到其它SVR中.     

SMO算法的简化及其在非正定核条件下的应用

SMO算法是求解大型支持向量机(SVM)的有效算法.已有的算法都必须判定4个Lagrange乘子位于哪个象限,从而使算法的实现更为复杂.此外,现有算法都假定核矩阵是正定的或半正定的,因此使其应用受到了限制.考虑到传统算法的不足,提出了一种用于ε-SVR的简化SMO算法,进而将其用于求解非正定核的ε-SVR.与已有的算法不同,通过将ε-SVR的原始规划问题进行展开并求解其KKT条件,提出的算法只需考虑2个Lagrange乘子,从而有效地简化了算法的实现,并能方便地应用于非正定核SVR的求解.采用一个常用于衡量预测误差的函数对算法进行了测试,实验表明,与ε-SVR现有的SMO算法相比,在不增加空间复杂度和时间复杂度的前提下避免了大量繁琐的判别条件,简化了算法的实现,这就为不同的损失函数所对应的SVR提供了一个通用的SMO算法,从而有利于SVR的推广应用.另外,提出的求解非正定核的ε-SVR的方法也为求解其他的非正定核SVR提供了一个思路.     

噪声消除与SMO算法收敛性

近年来,随着序列最小优化分类算法SMO等一系列快速算法的推出,支持向量机在自动文本分类研究领域取得了很大的成功。大多数文本分类问题是线性可分的,使用线性核函数的SMO算法能够取得非常好的分类效果。但是文本向量是一种非常稀疏的向量,采用线性核函数的SMO算法对噪声样本非常敏感,容易产生发散的问题。文章分析证明了噪声如何影响SMO算法收敛性。为了解决训练样本中噪声样本影响SMO算法收敛的问题,设计了一个消除噪声样本的算法,取得了非常好的效果。     

回归支持向量机SMO算法的改进

在Smola 和Sch?觟lkopf的SMO算法中,由于使用了单一的极限值而使得算法的效果没有完全表现出来。使用KKT条件来检验二次规划问题,使用两个极限参量来对回归SMO算法进行改进。通过对比实验,这一改进算法在执行速度上表现出了非常好的性能。     

基于SMO的多层次文本分类法研究

在以往的自动文本分类研究中,大多比较流行的分类技术都是在一个层次上将文本分成几个类别。但随着信息检索的量越来越大,文本的种类将越来越多,仅仅通过一层对海量信息进行组织分类越来越不适合海量信息的检索工作,这种平坦式的分类组织难以进一步提高信息检索的速度。论文将SMO分类算法结合到文本分类研究中,通过构建多层支持向量机文本分类树,实现了基于SMO的多层次文本分类系统。     

基于改进停机准则的SMO算法

在序列最小优化(Sequential Minimal Optimization,SMO)算法训练过程中,采用标准的KKT(Karush-KuhnTucker)条件作为停机准则会导致训练后期速度下降。由最优化理论可知,当对偶间隙为零时,凸二次优化问题同样可以取得全局最优解。因此本文将对偶间隙与标准KKT条件同时作为SMO算法的停机准则,从而提出了改进停机准则的SMO算法。在保证训练精度的情况下,提高了SMO算法的训练速度。通过对一维和二维函数的两个仿真实验,验证了改进SMO算法的有效性。     

超球体单类支持向量机的SMO训练算法

由于One-class支持向量机能用于无监督学习,被广泛用于信息安全、图像识别等领域中.而超球体One class支持向量机能生成一个合适的球体,将训练样本包含其中,故更适合于呈球形分布的样本学习.但由于超球体One-class支持向量机没有一种快速训练算法,使其在应用中受到限制.SMO算法成功地训练了标准SVM,其训练思想也可用于超球体One-class支持向量机的训练.本文提出了超球体One-class支持向量机的SMO训练算法,并对其空间和时间复杂度进行了分析.实验表明,这种算法能迅速、有效地训练超球体One-class支持向量机.     

两种求解非正定核Laplace-SVR的SMO算法

提出2种用于求解非正定核Laplace-SVR的序列最小最优化(SMO)算法.第1种算法仅针对Laplace-SVR而设计;第2种算法将Laplace-SVR作为所要解决问题的一种特殊情况,使算法更具通用性.所提出的算法在保证收敛的前提下,使非正定Laplace-SVR能够达到比较理想的回归精度,具有一定的理论意义和实用价值.

Abstract：

Two types of sequential minimal optimization(SMO) algorithms applied in solving Laplace-SVR with nonpositive kernels are proposed. The first algorithm is only designed for Laplace-SVR, and the second one regarding Laplace-SVR as a special case is done for a general purpose. Because of the difficulty of solving SVR with non-positive kernels, the presented algorithms have a certain theoretical and practical significance.     

两种求解非正定核Laplac-SVR的SMO算法

提出２种用于求解非正定核ＬａｐｌａｃｅＳＶＲ 的序列最小最优化（ＳＭＯ）算法．第１种算法仅针对ＬａｐｌａｃｅＳＶＲ而设计;第２种算法将ＬａｐｌａｃｅＳＶＲ 作为所要解决问题的一种特殊情况,使算法更具通用性．所提出的算法在保证收敛的前提下,使非正定ＬａｐｌａｃｅＳＶＲ 能够达到比较理想的回归精度,具有一定的理论意义和实用价值．     

基于SMO的层次型1-FSVM算法

针对序贯最小优化(SMO)训练算法具有计算速度快、无内负荷的特点,将其移植到模糊一类支持向量机(1-FSVM)中。1-FSVM算法融入层次型偏二叉树结构进行逐步聚类以加快训练速度,并对每个输入向量赋予不同权值以达到准确的分类效果。应用于光识别手写数字集和车牌定位的结果表明,1-FSVM算法具有较高的检测率与较快的检测速度。     

支持向量机序贯最小优化算法推导的改进

已有文献中的支持向量机SMO算法推导过程计算复杂,该文给出一个简洁推导。整个推导过程没有复杂的计算,除了误差函数外,不需引入其它中间变量。     

利用串行最小优化算法求解回归估计问题

支撑矢量机是以Vapnik的统计学习理论为基础,以结构风险最小化为原则的新型学习机。目前,对它的研究是国际上的一个研究热点。针对大数据量的回归估计问题,论文提出了一种新的求解方法。为了说明该方法的有效性,给出了数值模拟的例子。     

一种基于凸壳算法的SVM集成方法

为提高支持向量机(SVM)集成的训练速度,提出一种基于凸壳算法的SVM集成方法,得到训练集各类数据的壳向量,将其作为基分类器的训练集,并采用Bagging策略集成各个SVM。在训练过程中,通过抛弃性能较差的基分类器,进一步提高集成分类精度。将该方法用于3组数据,实验结果表明,SVM集成的训练和分类速度平均分别提高了266％和25％。     

基于主成分分析的SMO文本分类

利用SMO进行文本分类的核心问题是特征的选择问题,特征选择涉及到哪些特征和选择的特征维度问题。针对以上问题,介绍一种基于主成分分析和信息增益相结合的数据集样本降维的方法,并在此基础上对序贯最小优化算法进行改进,提出降维序贯最小优化(P-SOM)算法。P-SMO算法去掉了冗余维。实验结果证明,该方法提高SMO算法的性能,缩短支持向量机的训练时间,提高支持向量机的分类精度。     

基于人工免疫的支持向量机模型选择算法

支持向量机中参数设置对训练支持向量机分类的精确度有不可忽视的影响。支持向量机参数的选取可看作参数的组合优化。免疫算法是一种有效的随机全局优化技术,它具有不易陷入局部最优解、解精度高、收敛速度快等优点。该文利用人工免疫算法进行支持向量机模型选择。该算法主要包括克隆选择、高频变异、受体编辑等操作。试验证明,该算法能够有效提高支持向量机分类的正确性。     

一种快速SVM学习算法

在对两种SVM学习算法(SMO和SVMlight)进行分析的基础上,提出了一种改进的基于集合划分和SMO的算法SDBSMO。该算法根据样本违背最优化条件的厉害程度将训练集划分为多个集合,每次迭代后利用集合信息快速更新工作集和相关参数,从而减少迭代开销,提高训练速度。实验结果表明该算法能很好地提高支持向量机的训练速度。     

一种改进的主动支持向量机算法及其应用

针对支持向量机中分类器易受样本孤立点影响的问题,提出一种改进的主动支持向量机算法,采用K—means算法获取少量“代表性”样本作为训练样本,通过训练该标识样本得到一个初始分类器,利用主动学习策略选择最佳未标记样本进行类别标记,并加入训练样本集重新训练分类器,重复该过程直到满足某些要求。运用Iris数据和遥感数据对其进行测试,实验结果表明,该算法是有效的。     

医学图像决策支持系统中的SVM算法

支持向量机(SVM)方法是利用最优分类面(线)将两类样本在特征空间或输入空间中无错误地分开,而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题,计算量很大。该文以一个医学决策支持系统为应用背景,介绍一种解决该问题的新方法。在UCI数据集和所开发的决策支持系统上的应用表明,该算法简便可行,具有更高的精度和更快的速度。