支撑向量机的优化算法及实现

本文主要对数据挖掘中分类判别方法进行了研究。在对支撑向量机理论研究的基础上。提出了正交校正共轭梯度法-SVM（CGM-OC-SVM）。该算法是在吸取PRP-SVM算法的优点并改进其缺点基础上提出来的。解决较大规模的随机凸二次规划问题,同时克服了最速下降法-SVM收敛速度慢的特点。并且该算法使用径向基内积函数分类器作为Keme1函数,使算法更具有通用性。并通过程序对该算法进行了实现。     

支撑向量机及其在数据挖掘中的应用

首先介绍了数据挖掘的基本概念,然后系统地研究了支撑向量机学习算法,着重分析了支撑向量机的算法的特点。并阐述了支撑向量机的关键技术一核函数。最后讨论了支撑向量中学习算法在数据挖掘中的应用。     

一阶多项式光滑的支持向量分类机的一般模型

研究了在一个包含原点的一般区间导出了一类光滑正号函数的一阶函数,还研究了用此类函数对支持向量机作光滑处理的问题,提出了一阶多项式光滑的支持向量机的一般模型1SSVM(1st—order Smooth Support Vector Machine)。理论分析表明,文献[2]中所用的一阶光滑函数是此类函数的一个特例,其提出的一阶光滑的支持向量机也是模型1SSVM的一个特例,从而在理论上解决了一阶多项式光滑的支持向量机的一般模型问题。     

广义支持向量机的多项式光滑函数法

为了求解广义支持向量机（GSVM）的优化问题,将带有不等式约束的原始优化问题转化为无约束优化问题,由于此无约束优化问题的目标函数不光滑,所以引入一族多项式光滑函数进行逼近,实验中可以根据不同的精度要求选择不同的逼近函数。用BFGS算法求解。实验结果表明,该算法和已有的GSVM的求解算法相比,更快地获得了更高的测试精度,更适合大规模数据集的训练。因此给出的GSVM的求解算法是有效的。     

基于无监督聚类的约简支撑向量机

为解决标准支撑向量机算法所面临的巨大的计算量问题,Lee和Mangasarian提出了约简支撑向量机算法;但他们选取的“支撑向量”是从训练样本里面任意选的,其分类结果受随机性影响比较大。该文利用简单的无监督聚类算法,在样本空间中选取了一些具有较强代表性的样本作为“支撑向量”,再运用约简支撑向量机算法,有效地减少了运算量。实验验证文中方法可以用较少的“支撑向量”来得到较高的识别率,同时运行时间也大大缩短。     

多项式光滑的支持向量机一般模型研究

2005年袁玉波等人用一个多项式函数作为光滑函数,提出了一个多项式光滑的支持向量机模型 PSSVM（polynomial smooth support vector machine）,使分类性能及效率得到了一定提高. 2007年熊金志等人用插值函数的方法导出了一个递推公式,得到了一类新的光滑函数,解决了关于是否存在以及如何寻求性能更好的光滑函数的问题.然而,支持向量机是否存在其他多项式光滑模型,以及多项式光滑模型的一般形式是什么等问题依然存在.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,提出了多项式光滑的支持向量机一般模型dPSSVM （dth-order polynomial smooth support vector machine）.用数学归纳法证明了该一般模型的全局收敛性,并进行了数值实验.实验结果表明,当光滑阶数等于 3 时,一般模型的分类性能及效率为最好,并优于 PSSVM 模型;当光滑阶数大于 3 后,分类性能基本不变,效率会有所降低. 成功解决了多项式光滑的支持向量机的一般形式问题.     

Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。     

一种多项式光滑的半监督支持向量机分类算法

为了处理半监督支持向量机优化中的非凸非光滑问题,引入一个多项式光滑函数来逼近非凸的目标函数,给出的多项式函数在样本的高密度区逼近精度高,逼近精度低时出现在样本的低密度区.采用共轭梯度法求解模型.在人工数据和UCI数据库中的4个数据集上的实验结果显示,算法不仅能保证标号数据很少时的分类精度,而且不因标号数据的增多而明显提高分类性能,因此给出的分类器性能是稳定的.     

多项式光滑的支持向量回归机

光滑函数将不光滑的模型变为光滑模型,改善支持向量回归机的回归性能和效率,从而降低计算的复杂性.寻找性能更好的光滑函数是研究光滑向量回归机的一个关键问题.本文用级数展开的方法得出了ε–不敏感的支持向量回归机|x|ε2的一类新的光滑函数.证明了这类函数的性能,它能满足任意阶光滑的要求,也能达到任意给定的逼近精度.实验结果表明,随着光滑阶数的提高,逼近精度和回归性能也相应提高.从而为支持向量回归机和相关研究领域提供了一类新的、性能更好的多项式光滑函数.     

一个新的多项式光滑支持向量机

光滑支持向量机(SSVM)是支持向量机(SVM)的快速求解模型,拥有更快的求解速度和训练效果。基于光滑的分段多项式函数和插值思想推导出一个新的光滑函数,从而可以更好地逼近正号函数。通过所得到的新光滑函数改进多项式光滑支持向量机模型(PSSVM),得到了更新的光滑支持向量机模型。还给出了新光滑函数的逼近性能和精度分析以及新模型的收敛性证明和最优解的逼近上限。数值实验表明,所提出的新光滑支持向量机模型性能优于PSSVM模型。     

基于支持向量机的数据挖掘研究

分析NPA训练算法,指出其不足并提出改进措施。在第1类子循环的前半阶段采用Gilbert迭代,后半阶段采用NPA迭代,并提出界定这2个阶段的方法,利用中间计算结果优化了第2类子循环中的迭代过程。在不增加计算量的条件下,提高了算法收敛速度。基于该算法开发的自动分类模拟系统获得了较好的分类结果。     

基于核函数的支持向量机分类方法

支持向量机是目前正在兴起的一种新的数据挖掘分类方法,阐述了支持向量机的理论基础及核函数,阐明了支持向量机分类的基本思想,分析了支持向量机的优缺点,对支持向量机在海量数据分类中的应用前景进行了展望。     

鲁棒的光滑支持向量机

光滑支持向量机(Smooth Support Vector Machine,SSVM)是传统支持向量机的一种改进模型,它利用光滑方法将传统支持向量机的二次规划问题转化成无约束优化问题,并使用Newton-Armijo算法求解该无约束优化问题。在光滑支持向量机的基础上提出了鲁棒的光滑支持向量机(Robust Smooth Support Vector Machine,RSSVM),其利用M-estimator代替SSVM中基于L2范数的正则化项,并利用半二次最小化优化方法求解相应的最优化问题。实验结果表明所提方法可以有效地提高SSVM的抗噪声能力。     

基于二次多项式的光滑支持向量机在分类中的若干问题

袁玉波等人采用一个二次多项式作为光滑函数,提出一个基于二次多项式的光滑支持向量机。然而,这种光滑支持向量机作为一种新模型,还存在如下4个尚待解决的问题：能否用其它二次多项式作为光滑函数,构建光滑支持向量机？这种光滑支持向量机有多少个？其收敛性如何？其分类效果如何？本文从二次多项式入手,分析了二次多项式作为光滑函数的问题,还分析了基于二次多项式的光滑支持向量杌问题,解决了上述四个问题。     

改进的超球支持向量机算法

超球支持向量机算法用于解决多类别数据的分类问题。对超球重叠区域的数据正确分类对球结构支持向量机的分类性能至关重要。在分析这些样本点特点的基础上,提出了一种新的分类规则,使超球支持向量机算法的泛化性能高于现有的算法。实验结果表明该算法有效可行,提高了最小包围球分类器的分类精度。     

一种基于支持向量机的空间数据分类方法

支持向量机是基于小样本统计理论的一种新的机器学习方法,主要解决两分类问题。目前已成为机器学习领域的研究热点,但其应用方面的研究刚刚开始,在文本分类,图像分类、生物序列分析等方面得到成功应用。文章根据空间数据分类数据海量特点将SVM分类算法应用到炮阵地地形分析中,使得识别率大大提高。     

支持向量机在财务管理中的应用

针对财务管理中的数据量问题,提出使用监督性支持向量机（SVM）算法解决财务数据分类问题。首先,将财务数据按照不同的年份,不同的部门进行预处理,并将其标签化;其次,按照一定比例选择训练数据和验证数据,将训练数据输入到SVM中进行分类器的训练;最后利用最优分类器完成财务数据分类。实验结果表明：所提出的算法在财务管理中有较高的应用价值。