基于向量集约简的精简支持向量机

目前的支持向量集约简法在寻找约简向量的过程中需要求解一个无约束的多参数优化问题,这样,像其他非线性优化问题一样,求解过程需要面对数值不稳定或局部最小值问题.为此,提出了一种基于核聚类的SVM(support vector machine)简化方法.此方法首先在特征空间中对支持向量进行聚类,然后寻找特征空间中的聚类中心在输入空间中的原像以形成约简向量集.该方法概念简单,在简化过程中只需求解线性代数问题,从而解决了现存方法存在的瓶颈问题.实验结果表明,该简化法能够在基本保持SVM泛化性能的情况下极大地约简支持向量,从而提高SVM的分类速度.     

基于子聚类约简支持向量机的说话人识别研究

由于支持向量具有边界性,在利用语音训练集对基于支持向量机（SVM）的说话人识别系统进行训练之前,需要对该训练集进行约简。考虑到该训练集一般十分庞大且具有非线性可分的特性,提出子聚类约简的概念。首先对训练集进行模糊核子聚类并过滤掉非边界的聚类区,然后依照提出的算法对保留的聚类区中的向量集做进一步地约简,使支持向量集更加集中在边界。理论和实践表明,经过两层的约简既保留了充足支持向量,保证了SVM良好的泛化性能,又提高了系统的时间和空间效率。     

基于中间分类超平面的SVM入侵检测

在网络入侵检测中,大规模数据集会导致支持向量机(SVM)方法训练时间长、检测速度慢。针对该问题,提出一种基于中间分类超平面的SVM入侵检测方法。通过对正常和攻击样本的聚类分析,定义聚类簇中心的边界面接近度因子,实现对标准SVM二次式的改进;用簇中心对其训练,获取一个接近最优超平面的中间分类超平面;确定距离阈值,以选取潜在支持向量,实现训练样本的缩减。在KDDCUP1999数据集上进行实验,结果表明,与聚类支持向量机方法相比,该方法能简化训练样本,提高SVM的训练和检测速度。     

基于距离加权模板约简和属性信息嫡的增量SVM入侵检测算法

为了解决SVM入侵检测方法检测率低、误报率高和检测速度慢等问题,提出了一种基于距离加权模板约简和属性信息嫡的增量SVM入侵检测算法。该算法对K近部样本与待测样本赋予总距离加权权重,对训练样本集进行约简,并以邻界区分割和基于样本属性信息墒对聚类样本中的噪声点和过拟合点进行剔除,以样本分散度来提取可能支持向量机,并基于KKT条件进行增量学习,从而构造最优SVM分类器。实验仿真证明,该算法具有较好的检测率和检测效率,并且误报率低。     

提高支持向量机训练速度的CM-SVM方法

针对支持向量机在大规模样本学习时，学习速度慢，需要存储空间大等问题，提出了一种将支持向量机方法与C均值方法结合的CM-SVM方法。在该方法中，先采用C均值方法对训练样本集进行聚类，然后依据聚类域中样本的类型特点确定样本的约简方式。仿真图像实验结果表明，CM—SVM方法提高了支持向量机的学习速度，同时支持向量机的分类精度几乎没有降低，表现出较好的样本约简性能。     

基于属性约简和SVM参数优化的入侵检测方法

支持向量机(SVM)对于小样本、非线性、高维等分类问题,具有较强的适用性。但是SVM存在训练时间长,样本集占用存储空间过大等问题。提出一种基于属性约简和参数优化的SVM的入侵检测方法。利用粗糙集理论对样本集进行特征约简并使用改进的网格搜索算法对SVM参数进行优化,删除对入侵检测无影响的属性,从而解决SVM训练时间长以及存储空间大的问题。KDD99数据集下的实验表明,该方法是有效的入侵检测方式,不仅加快训练速度,还提高入侵检测的准确率。     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于无监督聚类支持向量机的入侵检测方法研究

提出了一种将无监督聚类和支持向量机相结合的新的入侵检测方法。算法具有无监督聚类速度快和支持向量机精度高的优点,其基本思想是通过将网络数据包和聚类中心的比较确定是否需要进一步的采用支持向量机进行分类,从而减少了通过支持向量机的数据量,达到速度与精度的统一。实验采用KDD99的测试数据,结果表明,该方法能够有效的检测网络数据中的已知和未知入侵行为。     

基于主元分析和支持向量机的异常检测*

为了提高异常检测的效率,提出了一种基于主元分析和支持向量机的异常检测方法。基于主元分析对入侵数据进行约简,使用SVM对约简的数据进行训练,得到支持向量机实现异常检测。以KDDCUP 99数据源进行实验,先将数据从40维约简为15维,22维约简为5维,训练与检测的实验结果表明,该检测方法具有良好的准确度和泛化性能,训练时间和检测时间显著减少。     

一种基于快速增量SVM的入侵检测方法

针对基于支持向量机(SVM)的入侵检测方法检测率低、检测速度慢的问题,提出一种基于快速增量SVM的入侵检测方法 B-ISVM。该方法在确定邻界区后筛选其中的样本进行训练,完成分类超平面的初步构造,利用筛选因子提取支持向量,再进行基于KKT条件的增量学习,实现增量SVM分类器的构造。实验结果表明,该方法可以提高入侵检测率和检测速度,拥有更好的分类性能。     

多项式核函数SVM快速分类算法

标准的SVM分类计算过程中有大量的支持向量参与了计算，导致了分类速度缓慢。该文为提高SVM的分类速度，提出了一种快速的多项式核函数SVM分类算法，即将使用多项式核的SVM分类决策函数展开为关于待分类向量各分量的多项式，分类时通过计算各个多项式的值而得到分类结果，使分类计算量和支持向量数量无关，又保留了全部支持向量的信息。当多项式核函数的阶数或待分类向量的维数较低而支持向量数量较多时，使用该算法可以使SVM 分类的速度得到极大的提高。针对实际数据集的实验表明了该算法的有效性。     

基于相似性分析的SVM快速分类算法

针对支持向量机(SVM)分类速度取决于支持向量数目的应用瓶颈,提出一种SVM快速分类算法。通过引入支持向量在特征空间的相似性度量,构建特征空间中的最小支撑树,在此基础上将支持向量按相似性最大进行分组,依次在每组中找到决定因子和调整因子,用两者的线性组合拟合一组支持向量在特征空间的加权和,以减少支持向量的数量,提高支持向量机的分类速度。实验结果证明,该方法能以很小的分类精度损失换取较大的分类时间缩减,满足SVM实时分类的要求。     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。     

基于自适应步长的支持向量机快速训练算法*

支持向量机训练问题实质上是求解一个凸二次规划问题。当训练样本数量非常多时, 常规训练算法便失去了学习能力。为了解决该问题并提高支持向量机训练速度,分析了支持向量机的本质特征,提出了一种基于自适应步长的支持向量机快速训练算法。在保证不损失训练精度的前提下,使训练速度有较大提高。在UCI标准数据集上进行的实验表明,该算法具有较好的性能,在一定程度上克服了常规支持向量机训练速度较慢的缺点、尤其在大规模训练集的情况下,采用该算法能够较大幅度地减小计算复杂度,提高训练速度。     

样例约简支持向量机

支持向量机(support vector machine,SVM)仅利用靠近分类边界的支持向量构造最优分类超平面,但求解SVM需要整个训练集,当训练集的规模较大时,求解SVM需要占用大量的内存空间,寻优速度非常慢。针对这一问题,提出了一种称为样例约简的寻找候选支持向量的方法。在该方法中,支持向量大多靠近分类边界,可利用相容粗糙集技术选出边界域中的样例,作为候选支持向量,然后将选出的样例作为训练集来求解SVM。实验结果证实了该方法的有效性,特别是对大型数据库,该方法能有效减少存储空间和执行时间。     

改进的结合密度聚类的SVM快速分类方法

针对SVM在对大规模数据分类时求解规模过大的问题,提出了一种缩减数据集以提高训练速度的方法。该算法的第一步利用基于密度的方法大致定位能代表某个局域的质点,然后用SVM训练缩减后的数据得到一组支持向量,第二步的训练数据由支持向量以及其所代表的样本点构成。仿真实验证明该算法在保证分类准确率的情况下能有效地提高分类速度。     

快速的支持向量机多类分类研究

研究了支持向量机多类算法DAGSVM(Direct Acyclic Graph SVM)的速度优势,提出了结合DAGSVM和简化支持向量技术的一种快速支持向量机多类分类方法。该方法一方面减少了一次分类所需的两类支持向量机的数量,另一方面减少了支持向量的数量。实验采用UCI和Statlog数据库的多类数据,并和四种多类方法进行比较,结果表明该方法能有效地加快分类速度。     

大规模数据集下支持向量机训练样本的缩减策略

大量数据下支持向量机的训练算法是SVM研究的一个重要方向和焦点。该文从分析SVM训练问题的实质和难点出发，提出一种在训练前先求出类别质心，去除非支持向量对应的样本，从而达到缩小样本集的方法。该方法在不损失分类正确率的情况下具有更快的收敛速度，并从空间几何上解释了支持向量机的原理。仿真实验证明了该方法的可行性和有效性。     

Rule-Based Learning Systems for Support Vector Machines

In this article, we propose some methods for deriving symbolic interpretation of data in the form of rule based learning systems by using Support Vector Machines (SVM). First, Radial Basis Function Neural Networks (RBFNN) learning techniques are explored, as is usual in the literature, since the local nature of this paradigm makes it a suitable platform for performing rule extraction. By using support vectors from a learned SVM it is possible in our approach to use any standard Radial Basis Function (RBF) learning technique for the rule extraction, whilst avoiding the overlapping between classes problem. We will show that merging node centers and support vectors explanation rules can be obtained in the form of ellipsoids and hyper-rectangles. Next, in a dual form, following the framework developed for RBFNN, we construct an algorithm for SVM. Taking SVM as the main paradigm, geometry in the input space is defined from a combination of support vectors and prototype vectors obtained from any clustering algorithm. Finally, randomness associated with clustering algorithms or RBF learning is avoided by using only a learned SVM to define the geometry of the studied region. The results obtained from a certain number of experiments on benchmarks in different domains are also given, leading to a conclusion on the viability of our proposal.     

面向超大数据集的SVM近似训练算法

标准SVM学习算法运行所需的时间和空间复杂度分别为O(l~3)和O(l~2),l为训练样本的数量,因此不适用于对超大数据集进行训练.提出一种基于近似解的SVM训练算法:Approximate Vector Machine(AVM).AVM采用增量学习的策略来寻找近似最优分类超平面,并且在迭代过程中采用热启动及抽样技巧来加快训练速度.理论分析表明,该算法的计算复杂度与训练样本的数量无关,因此具有良好的时间与空间扩展性.在超大数据集上的实验结果表明,该算法在极大提高训练速度的同时,仍然保持了原始分类器的泛化性能,并且训练完毕具有较少的支持向量,因此结果分类器具有更快的分类速度.