基于向量集约简的精简支持向量机

目前的支持向量集约简法在寻找约简向量的过程中需要求解一个无约束的多参数优化问题,这样,像其他非线性优化问题一样,求解过程需要面对数值不稳定或局部最小值问题.为此,提出了一种基于核聚类的SVM(support vector machine)简化方法.此方法首先在特征空间中对支持向量进行聚类,然后寻找特征空间中的聚类中心在输入空间中的原像以形成约简向量集.该方法概念简单,在简化过程中只需求解线性代数问题,从而解决了现存方法存在的瓶颈问题.实验结果表明,该简化法能够在基本保持SVM泛化性能的情况下极大地约简支持向量,从而提高SVM的分类速度.     

基于约简SVM的网络入侵检测模型

支持向量的数量越大,基于SVM的网络入侵检测系统速度越慢。针对该问题提出一种新的SVM约简方法,在特征空间中对支持向量进行聚类,寻找聚类质心在输入空间中的原像,将其作为约简向量,以实现支持向量削减目的。实验结果证明,该方法能提高SVM入侵检测引擎的速度,增强入侵检测系统的实时响应能力。     

基于边界样本选择的支持向量机加速算法

针对支持向量机（Support Vector Machine,SVM）处理大规模数据集的学习时间长、泛化能力下降等问题,提出基于边界样本选择的支持向量机加速算法。首先,进行无监督的K均值聚类;然后,在各个聚簇内依照簇的混合度、支持度因素应用K近邻算法剔除非边界样本,获得最终的类别边界区域样本,参与SVM模型训练。在标准数据集上的实验结果表明,算法在保持传统支持向量机的分类泛化能力的同时,显著降低了模型训练时间。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

大样本情况下的一种新的SVM迭代算法

针对SVM方法在大样本情况下学习和分类速度慢的问题，提出了大样本情况下的一种新的SVM迭代训练算法。该算法利用K均值聚类算法对训练样本集进行压缩，将聚类中心作为初始训练样本集，减少了样本间的冗余，提高了学习速度。同时为了保证学习的精度，采用往初始训练样本集中加入边界样本和错分样本的策略来更新训练样本集，迭代训练直到错分样本数目不变为止。该文提出的基于K均值聚类的SVM迭代算法能在保持学习精度的同时，减小训练样本集及决策函数的支持向量集的规模，从而提高学习和分类的速度。     

基于模糊核聚类和SVM的说话人辨识

支持向量机作为一种新的统计学习方法,在说话人识别中得到了广泛应用。本文针对支持向量机在说话人辨识中的大样本训练耗时问题,提出对语音参数进行模糊核聚类的约简方法,选择聚类边界的语音参数作为支持向量,可以在不影响识别率的情况下,减少支持向量机的训练量。并通过实验验证了该方法的有效性。     

提高支持向量机训练速度的CM-SVM方法

针对支持向量机在大规模样本学习时，学习速度慢，需要存储空间大等问题，提出了一种将支持向量机方法与C均值方法结合的CM-SVM方法。在该方法中，先采用C均值方法对训练样本集进行聚类，然后依据聚类域中样本的类型特点确定样本的约简方式。仿真图像实验结果表明，CM—SVM方法提高了支持向量机的学习速度，同时支持向量机的分类精度几乎没有降低，表现出较好的样本约简性能。     

基于层次K-均值聚类的支持向量机模型

针对支持向量机SVM分类效率低下的问题,提出一种基于层次K-均值聚类的支持向量机HKSVM(Hierarchical K-means SVM)学习模型。该方法首先对每类样本分别进行K-均值聚类,计算每类中心并训练SVM,得到初始分类器;然后根据超平面与聚类结果的关系,将聚类所得结果划分为活动类集和静止类集,并对超平面附近的活动类集进行深层聚类,以得到更小的类别同时计算类中心来训练新的SVM模型,并校正分类超平面,如此循环往复,直到得到较为精确的分类器为止。采用基于层次K-均值聚类的SVM模型,通过对活动类集进行不断地深层次聚类,从而在分类超平面附近得到较多样本点,而在距离超平面较远处则取少量训练样本,以有效压缩训练集规模,在保持SVM训练精度的同时大幅度提高其学习效率。标准数据集上的实验结果表明,HKSVM方法在大规模数据集上同时得到了较高的分类效率和测试精度。     

基于模糊核聚类和SVM的说话人辨识

支持向量机作为一种新的统计学习方法,在说话人识别中得到了广泛应用.本文针对支持向量机在说话人辨识中的大样本训练耗时问题,提出对语音参数进行模糊核聚类的约简方法,选择聚类边界的语音参数作为支持向量,可以在不影响识别率的情况下,减少支持向量机的训练量.并通过实验验证了该方法的有效性.     

基于模糊C-均值聚类的支持向量机

支持向量机针对大规模数据集学习问题的处理需要耗费很长的时间,提出一种数据预处理的方法对学习样本进行聚 类,以此为基础得到一种模糊支持向量机.计算机仿真结果表明提出的SVM算法与传统的SVM训练算法相比,在不降低分 类精度的情况下,大大缩短了支持向量机的学习训练时间.     

用核空间距离聚类约简大规模SVM训练集

针对支持向量机在大规模数据集上训练效率慢问题,本文提出了一种基于核空间距离聚类的支持向量机减样方法;首先引入核空间的距离公式,实现核空间的高维数据聚类,通过聚类约减训练集中大量非支持向量,达到减样目的,减少训练时间。实验结果表明新训练数据集算法具有更快的训练速度以及更高的分类精度。     

A modified support vector machine and its application to image segmentation

Recently, researchers are focusing more on the study of support vector machine (SVM) due to its useful applications in a number of areas, such as pattern recognition, multimedia, image processing and bioinformatics. One of the main research issues is how to improve the efficiency of the original SVM model, while preventing any deterioration of the classification performance of the model. In this paper, we propose a modified SVM based on the properties of support vectors and a pruning strategy to preserve support vectors, while eliminating redundant training vectors at the same time. The experiments on real images show that (1) our proposed approach can reduce the number of input training vectors, while preserving the support vectors, which leads to a significant reduction in the computational cost while attaining similar levels of accuracy. (2)The approach also works well when applied to image segmentation.     

Design efficient support vector machine for fast classification

This paper presents a four-step training method for increasing the efficiency of support vector machine (SVM). First, a SVM is initially trained by all the training samples, thereby producing a number of support vectors. Second, the support vectors, which make the hypersurface highly convoluted, are excluded from the training set. Third, the SVM is re-trained only by the remaining samples in the training set. Finally, the complexity of the trained SVM is further reduced by approximating the separation hypersurface with a subset of the support vectors. Compared to the initially trained SVM by all samples, the efficiency of the finally-trained SVM is highly improved, without system degradation.     

基于聚类的快速支持向量机训练算法*

支持向量机(support vector machine, SVM)具有良好的泛化性能而被广泛应用于机器学习及模式识别领域。然而,当训练集较大时,训练SVM需要极大的时间及空间开销。另一方面,SVM训练所得的判定函数取决于支持向量,使用支持向量集取代训练样本集进行学习,可以在不影响结果分类器分类精度的同时缩短训练时间。采用混合方法来削减训练数据集,实现潜在支持向量的选择,从而降低SVM训练所需的时间及空间复杂度。实验结果表明,该算法在极大提高SVM训练速度的同时,基本维持了原始分类器的泛化性能。     

基于多部位多示例学习的人体检测

基于部位的检测方法能处理多姿态及部分遮挡的人体检测,多示例学习能有效处理图像的多义性,被广泛应用于图像检索与场景理解中。文中提出一种基于多示例学习的多部位人体检测方法。首先,根据人体生理结构将图像分割成若干区域,每个区域包含多个示例,利用AdaBoost多示例学习算法来训练部位检测器。然后利用各部位检测器对训练样本进行测试得到其响应值,从而将训练样本转化为部位响应值组成的特征向量。再用SVM方法对这些向量进行学习,得到最终的部位组合分类器。在INRIA数据集上的实验结果表明该方法能改进单示例学习的检测性能,同时评价3种不同的部位划分及其对检测性能的影响。     

边界K邻近大样本支持向量机分类

针对大样本支持向量机内存开销大、训练速度慢的缺点,提出了一种改进的支持向量机算法。算法先利用KNN方法找出可能支持向量,然后利用SVM在可能支持向量集上训练得到分类器。实验表明改进算法训练速度提高明显。     

基于KKT条件与壳向量的增量学习算法研究

摘要针对经典支持向量机难以快速有效地进行增量学习的缺点,提出了基于KKT条件与壳向量的增量学习算法,该算法首先选择包含所有支持向量的壳向量,利用KKT条件淘汰新增样本中无用样本,减小参与训练的样本数目,然后在新的训练集中快速训练支持向量机进行增量学习。将该算法应用于UCI数据集和电路板故障分类识别,实验结果表明,该算法不仅能保证学习机器的精度和良好的推广能力,而且其学习速度比经典的SMO算法快,可以进行增量学习。     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。