并行SMO改进算法的研究与实现

针对支持向量机SMO训练算法在遇到大规模问题时训练过慢的问题,提出了一种改进的工作集选择模型的并行算法.在该算法中,根据支持向量机训练过程中的特点,提出了限定工作集选择次数、工作集选择的过程中跳过稳定样本的策略.对该SMO算法进行并行训练,3组著名数据集的实验结果表明,该模型在保持精度的情况下,进一步提高了训练的速度.     

基于模糊聚类的PWA系统的模型辨识

针对一类分段仿射结构的离散时间混杂系统，其模型辨识可等价成对系统数据的分类、分类边界的优化及分类数据的线性回归问题.利用改进的G-K 模糊聚类算法，克服聚类迭代过程出现的非数值解问题；以综合性能指标最优确定最佳的子模型个数，从而获得最佳的分类数据; 以隶属度为权值，采用加权最小二乘算法提高子模型辨识精度；通过聚类中心最短法则确定两两相邻的子数据集，利用支持向量机思想，构造出一个标准的二次规划问题，得到凸多面体的方程系数. 仿真结果验证了该方法的有效性和实用性.     

支持向量回归增量学习

针对支持向量回归因时空复杂度较高而无法处理大规模数据的问题,提出了一个新颖的增量学习模型——L增量υ支持向量回归(L IncrementalυSupport Vector Regression,LISVR)。该模型针对支持向量丢失所产生的不利影响,通过不断对支持向量样本加权并及时淘汰非支持向量,降低了时空复杂度。从理论上证明了算法可收敛到全局最优解。结合人工数据集、UCI数据集和机场噪声的实际问题对该算法做了相应测试,结果验证了算法的有效性。     

提高超大规模SVM训练计算速度的研究

近年来用支持向量机(Support Vector Machine)解决大样本问题的尝试日渐增多.限制SVM在大样本问题中应用的一个关键因素是SVM训练所引出的超大规模二次规划问题无法由标准的二次规划方法所解决.SMO算法(Sequential Minimal Optimization)是一种有发展前途的大规模SVM训练算法,我们用块算法的思想对其进行了改进,并称改进后的算法为分块SMO算法(CSMO).新算法对于带有小支持向量集的超大样本问题在速度方面具有明显的优势.     

基于模糊支持向量机的Web挖掘

WEB挖掘是基于文本流的挖掘,由于样本向量的特征往往有几万个,分类算法的运算速度直接影响其实际应用。提出了基于T-S模型的模糊支持向量机分类算法,算法的优势体现在下面几个方面,第一,充分利用了语言信息。第二,由于只需通过局部样本求解二次规划最优解,因此,解决了海量数据的二次规划求最优解的困难。第三,从算法中可看出,在计算机上其算法可实行并行运算,这样提高了算法的运行速度。     

一种多重支持向量机在线学习算法的研究

增量式支持向量机学习算法是一种重要的在线学习方法。传统的单增量支持向量机学习算法使用一个数据样本更新支持向量机模型。在增加或删除的数据样本点较多时,这种模型更新模式耗时巨大,具体原因是每个被插入或删除的样本都要进行一次模型参数更新的判断。该文提出一种基于参数规划的多重增量式的支持向量机优化训练算法,使用该训练算法,多重的支持向量机的训练时间大为减少。在合成数据集及真实测试数据集上的实验结果显示,该文提出的方法可以大大降低多重支持向量机训练算法的计算复杂度并提高分类器的精度。     

基于自适应步长的支持向量机快速训练算法*

支持向量机训练问题实质上是求解一个凸二次规划问题。当训练样本数量非常多时, 常规训练算法便失去了学习能力。为了解决该问题并提高支持向量机训练速度,分析了支持向量机的本质特征,提出了一种基于自适应步长的支持向量机快速训练算法。在保证不损失训练精度的前提下,使训练速度有较大提高。在UCI标准数据集上进行的实验表明,该算法具有较好的性能,在一定程度上克服了常规支持向量机训练速度较慢的缺点、尤其在大规模训练集的情况下,采用该算法能够较大幅度地减小计算复杂度,提高训练速度。     

一种改进的序贯最小优化算法

序贯最小优化(SMO)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。本文分析了SMO迭代过程中目标函数值的变化情况,进而提出以目标函数值的改变量作为算法终止的判定条件。几个著名的数据集的试验结果表明,该方法可以大大缩短SMO的训练时间,特别适用于大样本数据。     

基于最小包围球的支持向量机研究

传统支持向量机的时间空间复杂度和样本个数有关,样本个数大时,将产生时间空间上的巨大耗费。文章通过对一类问题最小包围球研究分析的基础上提出了一种简化算法,该算法对每一类别样本单独构造一个近似最小超球,不仅降低了二次规划问题的复杂度,而且易于扩充。仿真实验表明,该算法在不降低识别率的情况下,减少了支持向量的个数,降低了算法的复杂度。     

基于最小包围球的支持向量机研究

传统支持向量机的时间空间复杂度和样本个数有关,样本个数大时,将产生时间空间上的巨大耗费。文章通过对一类问题最小包围球研究分析的基础上提出了一种简化算法,该算法对每一类别样本单独构造一个近似最小超球．不仅降低了二次规划问题的复杂度,而且易于扩充。仿真实验表明,该卓法在不降低识别率的情况下,减少了支持向量的个数,降低了算法的复杂度。     

基于支持向量机的分类预测算法研究

分类预测是数据挖掘、机器学习和模式识别等很多领域共同关注的问题,已经存在了许多有效的分类算法,但这些算法还不能解决所有的问题。支持向量机作为一种新的分类预测工具,能根据有限样本信息在模型的复杂性和学习能力间取得平衡,并能获得更好的泛化能力。SMO算法是支持向量机中使用最多的算法,它体现了支持向量机的优点,同时也能处理大规模训练集。     

弹球支持张量机分类器*

机器学习、模式识别、数据挖掘等领域中的输入模式常常是高阶张量.文中首先从向量模式推广到张量模式,提出弹球支持张量机模型.然后给出求解弹球支持张量机模型的序贯最小优化算法(SMO).为了保持张量的自然结构信息,同时加速训练过程,采用张量的秩-1分解代替原始张量计算张量内积.在向量数据和张量数据上进行的大量实验表明:对于向量数据,相比经典的积极集法,SMO的计算速度更快;对于张量数据,相比弹球支持向量机,弹球支持张量机具有更快的训练速度和更好的泛化能力.     

基于主成分分析的SMO文本分类

利用SMO进行文本分类的核心问题是特征的选择问题,特征选择涉及到哪些特征和选择的特征维度问题。针对以上问题,介绍一种基于主成分分析和信息增益相结合的数据集样本降维的方法,并在此基础上对序贯最小优化算法进行改进,提出降维序贯最小优化(P-SOM)算法。P-SMO算法去掉了冗余维。实验结果证明,该方法提高SMO算法的性能,缩短支持向量机的训练时间,提高支持向量机的分类精度。     

基于对偶随机投影的线性核支持向量机

针对大型支持向量机（SVM）经随机投影特征降维后分类精度下降的问题,结合对偶恢复理论,提出了面向大规模分类问题的基于对偶随机投影的线性核支持向量机（drp-LSVM）。首先,分析论证了drp-LSVM相关几何性质,证明了在保持与基于随机投影降维的支持向量机（rp-LSVM）相近几何优势的同时,其划分超平面更接近于用全部数据训练得到的原始分类器。然后,针对提出的drp-LSVM快速求解问题,改进了传统的序列最小优化（SMO）算法,设计了基于改进SMO算法的drp-LSVM分类器。最后实验结果表明,drp-LSVM在继承rp-LSVM优点的同时,减小了分类误差,提高了训练精度,并且各项性能评价更接近于用原始数据训练得到的分类器;设计的基于改进SMO算法的分类器不但可以减少内存消耗,同时可以拥有较高的训练精度。     

用路径跟踪法和核距离矩阵优化大规模SVM

支持向量机在大规模训练集上学习时,存在学习时间长、泛化能力下降的问题。路径跟踪算法具有O(n L)的时间复杂度,能够在多项式时间内求解大规模QP问题。分析了影响SVM分类超平面的主要因素,使用路径跟踪内点算法和核距离矩阵快速约简训练集,再用约简后的训练集重新训练SVM。实验结果表明,重新训练后的SVM模型得到了简化,模型的泛化能力也得到提高。     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

结合支持向量机与半监督K-means的新型学习算法

半监督学习结合少量有标签样本和大量无标签样本,可以有效提高算法的泛化性能。传统的半监督支持向量机（SVM）算法在目标函数中引入无标签样本的依赖项来推动决策面通过低密度区域,但往往会带来高计算复杂度和局部最优解等问题。同时,半监督K-means算法面临着如何有效利用监督信息进行质心的初始化及更新等问题。针对上述问题,提出了一种结合SVM和半监督K-means的新型学习算法（SKAS）。首先,提出一种改进的半监督K-means算法,从距离度量和质心迭代两个方面进行了改进;然后,设计了一种融合算法将半监督K-means算法与SVM相结合以进一步提升算法性能。在6个UCI数据集上的实验结果表明,所提算法在其中5个数据集上的运行结果都优于当前先进的半监督SVM算法和半监督K-means算法,且拥有最高的平均准确率。     

加快SMO算法训练速度的策略研究

SMO（序贯最小优化算法）算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。考虑到在SVM的优化过程中并不是所有样本都能影响优化进展,提出了两种删除样本的策略：一种是基于距离,一种是基于拉格朗日乘子的值。在几个著名的数据集的试验结果表明,两种策略都可以大大缩短SMO的训练时间,特别适用于大样本数据。     

基于相邻边界模型的支持向量预选算法

根据支持向量的几何分布特性,提出相邻边界模型的概念以及一种支持向量预选算法。该算法通过预选出相互邻近的边界样本,避免大量样本参与二次规划问题的求解,为支持向量机提供高效的训练集。实验结果证明,采用该预选算法的LIBSVM可以较大地提高训练的时间效率和空间效率。     

一种基于SVM算法的垃圾邮件过滤方法

基于邮件内容的过滤是当前解决垃圾邮件问题的主流技术之一。针对垃圾邮件过滤本质是分类问题,提出了一种基于支持向量机对垃圾邮件过滤的方法,并且将SMO分类算法结合到垃圾邮件分类中。通过实验,SMO算法能够取得较好的分类效果,缩短了支持向量机分类器的分类时间。