SVM增量学习算法研究

SVM是在模式分类中表现优秀的一种分类方法。通过对现有SVM的两种增量算法的分析,给出了改进措施,在此基础上结合类加权思想,提出了一种新的加权增量SVM学习算法。并将其应用于Web文本分类中。     

一种SVM增量学习算法α-ISVM

基于SVM(support vector machine)理论的分类算法,由于其完善的理论基础和良好的试验结果,目前已逐渐引起国内外研究者的关注.深入分析了SVM理论中SV(support vector,支持向量)集的特点,给出一种简单的SVM增量学习算法.在此基础上,进一步提出了一种基于遗忘因子α的SVM增量学习改进算法α-ISVM.该算法通过在增量学习中逐步积累样本的空间分布知识,使得对样本进行有选择地遗忘成为可能.理论分析和实验结果表明,该算法能在保证分类精度的同时,有效地提高训练速度并降低存储空间的占用.     

一种新的SVM对等增量学习算法

在分析支持向量机（SVM）寻优问题的KKT条件和样本分布之间关系的基础上，分析了新增样本的加入对SV集的影响，定义了广义KKT条件。基于原训练样本集和新增训练样本集在增量训练中地位等同，提出了一种新的SVM增量学习算法。算法在及时淘汰对后继分类影响不大的样本的同时保留了含有重要分类信息的样本。对标准数据集的实验结果表明，算法获得了较好的性能。     

自适应的SVM增量算法

支持向量机(support vector machine,SVM)算法因其在小样本训练集上的优势和较好的鲁棒性,被广泛应用于处理分类问题。但是对于增量数据和大规模数据,传统的SVM分类算法不能满足需求,增量学习是解决这些问题的有效方法之一。基于数据分布的结构化描述,提出了一种自适应SVM增量学习算法。该算法根据原样本和新增样本与当前分类超平面之间的几何距离,建立了自适应的增量样本选择模型,该模型能够有效地筛选出参与增量训练的边界样本。为了平衡增量学习的速度和性能,模型分别为新增样本和原模型样本设置了基于空间分布相似性的调整系数。实验结果表明,该算法在加快分类速度的同时提高了模型性能。     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

基于Hadoop架构的数据驱动的SVM并行增量学习算法

针对传统支持向量机（SVM）算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法（PIASVM）。利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力。多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力。     

一种加权支持向量机分类算法

提出了一种加权C—SVM分类算法,并从理论上分析了算法的性能。该算法通过引入类权重因子和样本权重因子实现了类加权和样本加权两种功能。实验结果表明,该算法可以有效地解决由类大小不均衡引发的分类错误问题以及重要样本的错分问题。     

利用KKT条件与类边界包向量的SVM增量学习算法

为实现对历史训练数据有选择地遗忘,并尽可能少地丢失训练样本集中的有用信息,分析了KKT条件与样本分布间的关系并得出了结论,给出了增量训练中当前训练样本集的构成.为了提高SVM增量训练速度,进一步利用训练样本集的几何结构信息对当前训练样本集进行约减,用约减后的当前训练样本集进行SVM增量训练,从而提出一种利用KKT务件与类边界包向量的快速SVM增量学习算法.实验结果表明,该算法在保持较高分类精度的同时提高了SVM增量学习速度.     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

基于粗糙集约简并加权的SVM分类算法

针对Web中文文本分类中现有权重计算方法的不足和SVM算法对大数据量模式分类的低效性,提出了基于粗糙集约简并且加权的SVM分类方法。粗糙集作为SVM分类的前期预处理器,应用粗糙集的约简理论和基于Web中文文本的可变精度粗糙集加权方法对分类前的数据分别进行简化并计算权重,从而提高SVM后期分类的效率和精度。实验结果表明,SVM对约简并加权后的数据进行分类,分类性能得到了进一步保证。     

一种基于聚类分析的增量支持向量机入侵监测方法

提出了一种聚类学习与增量SVM训练相结合的的入侵检测方法,采用聚类分析、样本修剪与增量学习相结合的方式,通过聚合相似的训练样本以支持多类别分类,通过去除相似的样本而只取其代表点,从而减少参加训练的样本数量,提高学习效率,同时采用基于广义KKT判决的增量学习方法,有效改善了多类别入侵检测场合下样本数据集过于庞大,学习速度过慢且难以保障SVM入侵检测能力持续优化的问题。     

结合SVM和KNN的Web日志挖掘技术研究方法

将SVM和KNN算法结合在一起,组成一种新的Web文本分类算法——SVM-KNN算法。当Web文本和SVM最优超平面的距离大于预选设定的阈值,则采用SVM进行分类,反之采用SVM作为代表点的KNN算法对样本分类。实证结果表明,SVM-KNN分类算法的分类精度比单纯SVM或KNN分类算法有不同程度的提高,为Web数据挖掘提供了一种有效的分类方法。     

支持向量机解决多分类问题研究

支持向量机(SVM)是建立在统计学习理论基础上的一种小样本机器学习方法,用于解决二分类问题。但在解决实际问题中遇到的多为多分类问题,通过研究现有提出的一些支持向量机多分类的方法,并进行分析比较,在一对一分类方法基础上提出具有容噪声的分类方法,通过标准数据集实验加以验证。     

Imbalanced data classification based on scaling kernel-based support vector machine

In many classification problems, the class distribution is imbalanced. Learning from the imbalance data is a remarkable challenge in the knowledge discovery and data mining field. In this paper, we propose a scaling kernel-based support vector machine (SVM) approach to deal with the multi-class imbalanced data classification problem. We first use standard SVM algorithm to gain an approximate hyperplane. Then, we present a scaling kernel function and calculate its parameters using the chi-square test and weighting factors. Experimental results on KEEL data sets show the proposed algorithm can resolve the classifier performance degradation problem due to data skewed distribution and has a good generalization.     

融合渐近性的灰狼优化支持向量机模型

大数据的发展对数据分类领域的分类准确性有了更高的要求;支持向量机(Support Vector Machine,SVM)的广泛应用需要一种高效的方法来构造一个分类能力强的SVM分类器;SVM的核函数参数与惩罚因子以及特征子集对预测模型的复杂度和预测精度有着重要影响。为提高SVM的分类性能,文中将SVM的渐近性融合到灰狼优化(Grey Wolf Optimization,GWO)算法中,提出了新的SVM分类器模型,该模型对SVM的参数与数据的特征子集同时进行优化,融合SVM渐近性的新灰狼个体将灰狼优化算法的搜索空间导向超参数空间中的最佳区域,能够更快地获得最优解;此外,将获得的分类准确率、所选特征个数和支持向量个数相结合,提出了一种新的适应度函数,新的适应度函数与融合渐近性的灰狼优化算法将搜索引向最优解。采用UCI中的多个经典数据集对所提模型进行验证,将其与网格搜素算法、未融合渐近性的灰狼优化算法以及其他文献中的方法进行对比,其分类准确率在不同数据集上均有不同程度的提升。实验结果表明,所提算法能找到SVM的最优参数与最小特征子集,具有更高的分类准确率和更短的平均处理时间。     

最小类内方差支持向量引导的字典学习

支持向量引导的字典学习算法依据大间隔分类原则,仅考虑每类编码向量边界条件建立决策超平面,未利用数据的分布信息,在一定程度上限制了模型的泛化能力.为解决该问题,提出最小类内方差支持向量引导的字典学习算法.将融合Fisher线性鉴别分析和支持向量机大间隔分类准则的最小类内方差支持向量机作为鉴别条件,在模型分类器的交替优化过程中,充分考虑编码向量的分布信息,保障同类编码向量总体一致的同时降低向量间的耦合度并修正分类矢量,从而挖掘编码向量鉴别信息,使其更好地引导字典学习以提高算法分类性能.在人脸、物体和手写数字识别数据集上的实验结果表明,在大部分样本和原子数量条件下,该算法的识别率和原子鲁棒性均优于K奇异值分解、局部特征和类标嵌入约束等经典字典学习算法.     

一种新的软间隔支持向量机分类算法

软间隔支持向量机（SVM）分类算法是目前最具有代表性的模式分类算法之一,它在应用中的一个主要困难是确定控制参数C.提出一种新的软间隔SVM分类算法,通过松弛变量改变约束条件,允许数据点进入分离区域但不越过分类超平面,从而避免了参数C的确定问题.计算机实验和故障诊断实例表明,基于新算法的SVM分类器有较高的分类准确性和较好的泛化性能,能够实际应用于模式分类.     

基于SMO算法的自适应多址干扰抑制

支持向量机作为一种新的模式分类方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上。论文将支撑向量应用到DS-CDMA系统的多址干扰抑制中,并采用SMO算法构建非线性的检测接收器,理论推导和系统仿真表明该多用户检测接收器在高斯信道中具有非常好的性能,并通过分析影响系统性能的关键因素,指出了基于SMO算法的多址干扰抑制今后研究突破的方向。     

基于商空间粒度理论的大规模SVM分类算法*

利用商空间粒度理论对已有的SVM分类算法进行改进,给出了一种新的SVM分类算法——SVMG。该算法将SVM分类问题划分成两个或多个子问题,从而降低了SVM分类复杂度。实验表明,改进的算法适用于处理大数据量的样本,能在保持分类精度的情况下有效地提高支持向量机的学习和分类速度。