基于MTC结构的支持向量机并行训练算法 贾华丁1, 2,游志胜1,王磊2

摘要：为加快支持向量机的训练速度,提出一种新型的“多重三叉级联(MTC)”学习结构,具有反馈速度快、计算节点利用率高、反馈的支持向量多等优点。基于该结构设计了支持向量机的并行训练算法,并严格证明了新算法能够收敛到支持向量机的最优解。数值实验结果表明,新算法具有非常高的加速比和并行效率,需要的训练时间显著地少于Graf等提出的Cascade SVM算法。     

基于MTC结构的支持向量机并行训练算法

为加快支持向量机的训练速度,提出一种新型的"多重三叉级联(MTC)"学习结构,具有反馈速度快、计算节点利用率高、反馈的支持向量多等优点。基于该结构设计了支持向量机的并行训练算法,并严格证明了新算法能够收敛到支持向量机的最优解。数值实验结果表明,新算法具有非常高的加速比和并行效率,需要的训练时间显著地少于Graf等提出的Cascade SVM算法。     

基于类半径的多类分类SVM算法

分析了现有多类分类支持向量机算法的不足,在此基础上提出了基于类半径的多类分类支持向量机算法.这种算法在训练前首先对训练集进行分析,然后用one-class SVM进行分类.试验结果表明,该算法分类精度较高,训练时间短.     

基于改进支持向量机的压裂效果预测方法研究

将支持向量机SVM与遗传算法GA、粒子群算法PSO相结合,建立了基于改进支持向量机的压裂效果预测模型。该模型分别利用GA、PSO对SVM参数进行全局寻优,提高了SVM算法的预测精度和运行速度。实验结果表明,该模型明显优于其他主要非线性预测方法,为快速准确地预测压裂效果提供了新的方法和途径。     

一种改进的支持向量机E-SVM算法

在文本分类中,应用支持向量机(SVM)算法能使分类在小样本的条件下具有良好的泛化能力,但支持向量机的参数取值决定了其学习性能和泛化能力.为提高支持向量机算法的性能,提出了一种支持向量机优化算法E-SM,引入信息熵来表征惩罚系数C,提出了加权系数,算法实现了SVM训练过程中参数的智能化,减少了对支持向量机参数选择的盲目性,减少了部分训练样本集数目,提高了SVM性能.实验表明,E-SVM算法较传统算法具有更好的分类精度和时间效率.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

一种基于支持向量机的目标定位方法

为了提高声纳在浅水域的性能，提出了一种基于统计学习理论的目标识别器的目标定位方法.该方法选择支持向量机（SVM）作为学习算法的核心.从已知训练样本得到多通道数据的协方差矩阵，将得到的矩阵转化为SVM的输入多维特征向量，并训练SVM而获得权向量.利用此权向量和SVM输出估计，可以得到目标位置信息.理论推导和仿真结果表明，与多重信号分类（MUSIC）算法相比较，该方法具有高的定位精度和快的收敛速度.该方法能有效地对在平面波模型下的目标进行测向，并具有鲁棒性.     

一种改进的快速嵌入式字符识别方法

针对手持式字符识别系统开发中系统对实时性要求较高、系统资源有限以及传统的支持向量机(SVM)分类方法难以同时满足识别率和识别速度的缺点,提出一种快速的SVM(FCSVM)分类算法。对支持向量集采用变换的方式,用少量的支持向量代替全部支持向量进行分类计算,在保证不损失分类精度的前提下使得分类速度较传统SVM算法有较大提高。实验结果表明,FCSVM算法较大幅度地减少了计算复杂度,提高了分类速度,尤其在嵌入式系统中效果更加明显。     

一种新型的增式SVM训练算法

针对传统的增式支持向量机算法在计算时间和分类效率上的不足,提出了一种新型的增式SVM训练算法。该算法不是简单地保留上一步训练的支持向量,而是通过增加KKT(Karush-Kuhn-Tucke)限制条件并对决策函数的输出设定一个阈值,使得保留下来的样本都是最有效的样本,从而可减少训练样本的数目。在仿真实验中,选择了一组UCI数据,并选用RBF核函数作为核函数。实验结果表明:与传统增式算法相比,新算法在保证传统SVM性能的同时,在迭代速度和分类放率上分别提高了14%和4.39%。     

一种改进的基于密度聚类的支持向量机

运用OPTICS算法能发现任意形状的聚类,且对输入参数不敏感的优势,提出一种基于OPTICS密度聚类的支持向量机算法,通过对原始数据进行预处理,利用可达图得到约简样本代替原始训练样本用支持向量机进行训练,降低了SVM训练所需的时间及空间复杂度.实验表明,该方法在保持分类精度的同时,大大缩短了训练时间,提高了分类效率.     

基于壳向量的线性支持向量机快速增量学习算法

提出了一种新的基于壳向量的增量式支持向量机快速学习算法.在增量学习的过程中，利用训练样本集中的几何信息，在样本中选取一部分最有可能成为支持向量的样本--壳向量，它是支持向量集的一个规模较小的扩展集，将其作为新的训练样本集，再进行支持向量训练.这在很大程度上减少了求取支持向量过程中的二次优化运算时间，使增量学习的训练速度大为提高.与单纯使用支持向量代表样本数据集合进行增量学习的传统算法相比，使用该算法使分类精度得到了提高.针对肝功能检测标准数据集（BUPA）的实验验证了该算法的有效性.     

SVM with discriminative dynamic time alignment

In the past several years, support vector machines (SVM) have achieved a huge success in many fields, especially in pattern recognition. But the standard SVM cannot deal with length-variable vectors, which is one severe obstacle for its applications to some important areas, such as speech recognition and part-of-speech tagging. The paper proposed a novel SVM with discriminative dynamic time alignment (DDTA-SVM) to solve this problem. When training DDTA-SVM classifier, according to the category information of the training samples, different time alignment strategies were adopted to manipulate them in the kernel functions, which contributed to great improvement for training speed and generalization capability of the classifier. Since the alignment operator was embedded in kernel functions, the training algorithms of standard SVM were still compatible in DDTA-SVM. In order to increase the reliability of the classification, a new classification algorithm was suggested. The preliminary experimental results on Chinese confusable syllables speech classification task show that DDTA-SVM obtains faster convergence speed and better classification performance than dynamic time alignment kernel SVM (DTAK-SVM). Moreover, DDTA-SVM also gives higher classification precision compared to the conventional HMM. This proves that the proposed method is effective, especially for confusable length-variable pattern classification tasks.     

一种具有统计不相关性的最优边界鉴别向量集

为了解决现有维数约简算法受样本分布影响较大、不支持小样本学习等问题,在分析线性鉴别分析(LDA)中最优鉴别向量与支持向量机(SVM)中分类超平面法向量之间关系的基础上,基于统计不相关最优鉴别向量集优于正交最优鉴别向量集的事实,提出了通过对改进的SVM的二次优化问题进行递归求解来获取具有统计不相关性的最优边界鉴别向量集的算法,并使用核方法将其推广到可以解决非线性特征抽取问题.结果表明:在采用相同参数并使用k-最近邻分类器进行训练和测试的情况下,提出的算法对实际数据集Waveform,Heart,Diabetis的分类精度均高于SVM和RSVM,不会出现当抽取超过最优维数时随着抽取维数的增加分类精度反而降低的现象,体现了本算法在抽取不相关特征向量方面的有效性.     

Improved Support Vector Machine Approach Based on Determining Thresholds Automatically

To improve the training speed of support vector machine （SVM）, a method called improved center distance ratio method （ICDRM） with determining thresholds automatically is presented here without reduce the identification rate. In this method border vectors are chosen from the given samples by comparing sample vectors with center distance ratio in advance. The number of training samples is reduced greatly and the training speed is improved. This method is used to the identification for license plate characters. Experimental resuhs show that the improved SVM method-ICDRM does well at identification rate and training speed.     

Improved Approach Based on SVM for License Plate Character Recognition

An improved approach based on support vector machine （SVM） called the center distance ratio method is presented for license plate character recognition. First the support vectors are pre-extraeted. A minimal set called the margin vector set, which contains all support vectors, is extracted. These margin vectors compose new training data and construct the classifier by using the general SVM optimized. The experimental resuhs show that the improved SVM method does well at correct rate and training speed.     

一种可减少训练时间的分层并行支持向量机方法

基于支持向量的本质和并行计算方法，提出了一种新的分层并行的机器学习方法以加速支持向量机的训练过程．该方法首先按照分而治之的思想将原分类问题分成若干子问题．然后将支持向量机的训练过程分解成级联的两个层次，在每层采用并行的方法训练各个子支持向量机．各层训练集中的非支持向量被逐步筛选掉，交叉合并的规则保证问题的一致性．仿真结果表明该方法在保证分类器推广能力的同时，缩短了训练支持向量机的时间．     

改进的球结构SVM多分类增量学习算法

针对球结构支持向量机(support vector machine,SVM)增量学习算法在训练时间和分类精度上的不足,提出了一种改进的球结构SVM多分类增量学习算法.该算法首先构造一个完全二叉树用于多类分类;分析新增样本的加入对原支持向量集的影响,将新增样本集中部分样本和原始训练集中的支持向量以及分布在球体一定范围内的样本合并做为新的训练集,完成分类器的重构.实现通过减少训练样本缩短训练时间和完善分类器提高分类精度的目的.通过UCI标准数据集实验,结果表明,该算法在所需训练的样本数、训练时间以及准确率3方面都优于球结构SVM增量学习算法,尤其当样本分布不平衡时,该算法有更高的分类准确率.