超球体多类支持向量机理论

目前的多类分类器大多是经二分类器组合而成的,存在训练速度较慢的问题,在分类类别多的时候,会遇到很大困难,超球体多类支持向量机将超球体单类支持向量机扩展到多类问题,由于每类样本只参与一个超球体支持向量机的训练.因此,这是一种直接多类分类器,训练效率明显提高.为了有效训练超球体多类支持向量机,利用SMO算法思想,提出了超球体支持向量机的快速训练算法.同时对超球体多类支持向量机的推广能力进行了理论上的估计.数值实验表明,在分类类别较多的情况,这种分类器的训练速度有很大提高,非常适合解决类别数较多的分类问题.超球体多类支持向量机为研究快速直接多类分类器提供了新的思路.     

一种基于有向无环图的多类SVM分类器

本文提出了一种多类SVM分类器--ACDMSVM,它是基于决策有向无环图和积极约束的多类SVM分类器.对于k类问题,它将k(k-1)/2个改进的二类SVM分类器进行组合.为了提高分类器的训练及决策速度,对标准的二类SVM分类器进行三个方面的改进:利用大间隔方法,对软间隔错误变量采用2-范数形式并应用积极约束.在训练阶段,使用含有根的二元有向无环图进行节点的选择,该有向无环图含k(k-1)/2个内部节点和k个叶节点.数值实验表明这是一种快速的多类SVM分类器.     

一种新的分裂层次聚类SVM多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

一类直接构造的模糊多类支持向量分类器

针对直接多类分类方法,提出了一种新的基于直接构造多类SVM分类器的模糊多类支持向量机算法FCS-SVM。在算法中,重构了优化问题及其约束条件,以及Lagrange公式,并进行了推导。通过在标准数据集上的几个实验,对这些算法进行了比较分析。实验结果表明提出的算法可以得到比较理想的分类精度。     

基于支持向量机的改进分类算法

为了进一步提高支持向量机分类的准确性和泛化能力,提出一种基于支持向量机的改进二叉树分类算法.首先介绍支持向量机的基本原理,总结了常见的多分类器分类算法及其特点,结合现有分类算法的优点,为分类器引入了不同的权值,提出二叉树改进分类算法,有效避免了常用分类算法不足.通过仿真实验,与典型的多类分类算法对比,验证该算法的有效性,为多类分类预测研究提供了一条有效的途径.     

基于AdaBoost-SVM级联分类器的行人检测

针对实时行人检测中AdaBoost级联分类算法存在的问题,改进AdaBoost级联分类器的训练算法,提出了Ada-Boost-SVM级联分类算法,它结合了AdaBoost和SVM两种算法的优点.对自定义样本集和PET图像库进行行人检测实验,实验中选择固定大小的窗口作为候选区域并利用类Haar矩形特征进行特征提取,通过AdaBoost-SVM级联分类器进行分类.实验结果表明AdaBoost-SVM级联分类器的分类器准确率达到99.5％,误报率低于0.05％,优于AdaBoost级联分类器,训练时间要远远小于SVM分类器.     

多类SVM分类算法的研究和改进

介绍分析了SVM基础理论和目前多类SVM分类算法及其优缺点,提出了一种边界向量抽取算法,并基于该算法改进了1ar和1a1两种多类SVM算法。实验结果表明该边界向量抽取算法可以有效的减少训练样本的数量,在保持分类器推广能力的条件下缩短SVM的训练时间,特别是在大样本训练数据时1arΔ可以提供最好的训练性能。     

基于支持向量机与极端保守在线算法相结合的多类分类器

本文给出了一种将SVM和极端保守在线算法相结合的通用多类分类算法,算法利用最大置信度原则将离线训练的多个SVM组合成一个多类分类器.为了提高在线学习过程的实时性,同时保证分类器的推广能力,我们将K.Cramer等人提出的极端保守在线算法思想引入到分类器修正过程当中,修正过程中采用对应SVM的支持向量和错分样本作为训练集.实验表明,算法具有良好的实时性能,且具有良好的推广能力.     

基于SVM的多分类器构造算法的研究

在对传统的多类分类算法研究的基础上,针对基于二值分类器的多分类器构造算法存在的预测精度低、训练时间长的缺点,提出了一种基于SVM的组合回归机构造多类分类器的算法.该算法解决了二值分类器方法中存在的信息丢失问题,同时避免了由于参数调整而造成的计算代价过大的问题.实验结果表明:新的SVM多分类算法大大降低了计算代价,提高了运行效率和预测的精度,减少了运行时间.     

一种快速的支持向量机多类分类算法

提出了一种快速的支持向量机多类分类算法.首先用每类训练样本的样本数作为权值构造最优二叉树,然后对每个非叶子结点训练两类分类器.分类时,从二叉树根结点开始逐层向下分类,直到某一叶子结点,该结点对应的类别即为待分类样本的类别.在Reuters 21578标准数据集上进行的分类实验表明,该算法具有较好的性能,在一定程度上克服了现有的支持向量机多类分类算法分类速度较慢的缺点,尤其在类别数较多、各类样本规模相同的情况下,采用该算法能够较大幅度地提高分类速度.     

多拉格朗日乘子协同优化的SVM快速学习算法研究

提出了一个利用多个拉格朗日乘子协同优化的支持向量机快速学习方法（MLSVM）,并给出了每个乘子的可行域范围的定义公式,由于在每个乘子的优化过程中使用了解析表达式,使得算法可以更加精确和快速地逼近最优解,可以证明SMO算法是该方法的一个特例．在此方法的理论指导下,根据不同的学习策略,程序实现了3种不同的具体算法（MLSVM1,MLSVM2,MLSVM3）,其中前两个算法在数据集不大时（〈5000条记录）学习速度与SMO算法相当,但当数据集更大时,算法就失效了．MLSVM3是一个改进算法,总结了MLSVM1和MLSVM2失效的原因,对SMO算法中学习效率较低的部分进行了改进,在多个数据集上测试,MLSVM3算法速度超过了SMO算法7．4％～41.30％．     

A parallel incremental extreme SVM classifier

The classification algorithm extreme SVM (ESVM) proposed recently has been proved to provide very good generalization performance in relatively short time, however, it is inappropriate to deal with large-scale data set due to the highly intensive computation. Thus we propose to implement an efficient parallel ESVM (PESVM) based on the current and powerful parallel programming framework MapReduce. Furthermore, we investigate that for some new coming training data, it is brutal for ESVM to always retrain a new model on all training data (including old and new coming data). Along this line, we develop an incremental learning algorithm for ESVM (IESVM), which can meet the requirement of online learning to update the existing model. Following that we also provide the parallel version of IESVM (PIESVM), which can solve both the large-scale problem and the online problem at the same time. The experimental results show that the proposed parallel algorithms not only can tackle large-scale data set, but also scale well in terms of the evaluation metrics of speedup, sizeup and scaleup. It is also worth to mention that PESVM, IESVM and PIESVM are much more efficient than ESVM, while the same solutions as ESVM are exactly obtained.     

基于核变换的高性能支持向量机分类算法

由于传统的支持向量机(SVM)算法的核函数没有考虑训练数据自身的特点,因而相对于具体的问题来说,往往不是最优的。为了获得最优的分类结果,提出了一种基于核变换思想的支持向量机分类方法。该方法首先根据训练样本的类属信息,通过对初始核进行线性变换来间接地达到改进输入空间到输出空间的映射函数的目的,同时利用变换后的核函数来求解分类数据特征空间的超平面方程。仿真和实验结果表明,采用此方法,不仅可以提高系统的分类性能和降低噪声的干扰,而且可以增强分类结果的鲁棒性。     

基于二分K-均值的SVM决策树自适应分类方法

分析和研究了自适应降维算法在高维数据挖掘中的应用。针对已有数据挖掘算法因维灾难导致的在处理高维数据时准确率和聚类质量都较低的情况,将二分K-均值聚类和SVM决策树算法结合在一起,提出了一种适用于高维数据聚类的自适应方法 BKM-SVMDT。该算法能保证二分K-均值聚类是在低维数据空间中进行,其结果再反过来帮助SVM在高维空间中的执行,这样反复执行以取得较好的分类精度和效率。标准数据集的实验结果证明了该方法的有效性。     

基于Kmeans与SVM结合的遥感图像全自动分类方法*

遥感图像分类方法通常采用监督的学习算法,它需要人工选取训练样本,比较繁琐,而且有时很难得到;而非监督学习算法的分类精度通常很难令人满意.针对这些缺陷,提出一种基于K-means与支持向量机(SVM)结合的遥感图像全自动分类方法.首先使用K-means聚类算法对样本进行初始聚类,根据每类中样本数及其稀疏程度选取一些点作为标记的学习样本训练SVM分类器,然后用SVM对原始数据重新分类.Iris数据和遥感数据的实验结果均验证了新方法的有效性.     

基于Relief和BFO的并行支持向量机算法

针对大数据环境下并行支持向量机(SVM)算法存在冗余数据敏感、参数选取困难、并行化效率低等问题,提出了一种基于Relief和BFO算法的并行SVM算法RBFO-PSVM。首先,基于互信息和Relief算法设计了一种特征权值计算策略MI-Relief,剔除数据集中的冗余特征,有效地降低了冗余数据对并行SVM分类的干扰;接着,提出了基于MapReduce的MR-HBFO算法,并行选取SVM的最优参数,提高SVM的参数寻优能力;最后,提出核聚类策略KCS,减小参与并行化训练的数据集规模,并提出改进CSVM反馈机制的交叉融合级联式并行支持向量机CFCPSVM,结合MapReduce编程框架并行训练SVM,提高了并行SVM的并行化效率。实验表明,RBFO-PSVM算法对大型数据集的分类效果更佳,更适用于大数据环境。     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

适于大规模数据集的块增量学习算法: BISVM*

对支持向量机的大规模训练问题进行了深入研究,提出一种类似SMO的块增量算法.该算法利用increase和decrease两个过程依次对每个输入数据块进行学习,避免了传统支持向量机学习算法在大规模数据集情况下急剧增大的计算开销.理论分析表明新算法能够收敛到近似最优解.基于KDD数据集的实验结果表明,该算法能够获得接近线性的训练速率,且泛化性能和支持向量数目与LIBSVM方法的结果接近.     

基于球结构的完全二叉树SVM多类分类算法*

针对一般的SVM方法不能有效地处理不平衡样本数据及现有的偏二叉树结构SVM分类器速度慢的这两个问题,提出了一种基于球结构的完全二叉树SVM多分类算法。该算法利用球结构的SVM考虑了每个类的分布情况,能有效地处理不平衡样本数据;构建完全二叉树结构,使得同层节点所代表的SVM分类器可以并行工作,能提高其训练和分类速度,分类速度相当于折半查找。实例验证两者结合后的算法可实现准确且高效的多类分类。