决策树支持向量机多分类器设计的向量投影法

针对如何有效地设计决策树支持向量机(SVM)多类分类器的层次结构这个关键问题,提出一种基于向量投影的类间可分性测度的设计方法,并给出一种基于该类间可分性测度设计决策树SVM 多分类器层次结构的方法.为加快每个SVM子分类器的训练速度且保持其高推广性,将基于向量投影的支持向量预选取方法用于每个子分类器的训练中.通过对3个大规模数据集和手写体数字识别的仿真实验表明,新方法能有效地提高决策树SVM类分类器的分类精度和速度.

     

一种设计层次支持向量机多类分类器的新方法*

层次结构的设计是层次支持向量机多类分类方法应用中的关键问题,类间可分性是设计层次结构的重要依据,提出了一种基于线性支持向量机度量类间相似程度的方法,并给出了一种基于类间可分性设计层次支持向量机多类分类器的新方法。实验表明,新方法有效地提高了层次支持向量机多类分类器的分类精度和速度。     

一种融合无监督聚类的层次向量机多类分类方法

层次支持向量机（SVM）是多类分类方法应用中的研究热点。针对SVM的分类面仅由支持向量决定的理论,提出一种基于无监督聚类方法来预抽取支持向量,训练向量机;并分析现有多类分类方法所存在的弊端,基于综合考虑节点的类集合可分性,设计一种基于树分类器整体性能最优的SVM二叉树层次分类方法。实验表明,该方法对比传统一类对余类法和成对分类法在整体分类精度和训练时间上都有明显提高。     

基于类间可分性度量的支持向量机决策树

采用支持向量机解决多类分类问题一般通过多个两类分类器的组合来求解,如何组合这些两类分类器就是该方法的关键.提出一种改进的支持向量机决策树多类分类模型,该模型通过引入类间可分性度量来确定决策树结构,以类间可分性度量的高低来决定不同类别在决策树中的位置,将容易分离的类尽可能早地划分出来.最后通过一组实验证明了该模型的有效性.     

基于SVM决策树的文本分类器

研究了SVM决策树分类器在文本分类中的应用,提出了一种有效的SVM决策树分类器的优化构建方 法.该方法利用类间距离衡量两类间的可分性,并进一步用来描述各结点分类器类集合间的可分性.基于综合考虑结点分类器的类集合可分性,该方法能够获得优化的结点分类器类划分算法,由此构建的SVM决策树分类器在整体性能上得到优化,在文本分类中获得良好效果.     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

改进的决策树支持向量机地下水水质评价

基于结构风险最小原理的支持向量机(SVM)具有较强的学习泛化能力和良好的分类性能,能用来解决少样本学习的二类模式识别问题。针对具备多级类别的地下水水质评价问题,可以采用决策树SVM分类方法,通过对多类别水质标准的重新组合以构建类似于决策树的多个子分类器来实现。但基于决策树SVM分类过程中常常会出现由于正负类训练样本数据不均一导致的局部识别误差。基于二叉树原理提出了一种改进决策树SVM模型,通过加密数据插值和二叉分类有效避免正负类训练样本数据不均一的问题,针对地下水水质评价特点,增加了第5个子分类器以精确识别Ⅱ类水质和Ⅲ类水质。实验结果表明,改进的决策树SVM分类模型评价结果稳定。     

一种改进的偏二叉树孪生支持向量机算法及其应用

针对二叉树分类性能受其层次结构影响较大的问题,提出了一种改进的偏二叉树孪生支持向量机多分类算法。该算法定义了一种基于加权样本类内距离和类间距离的混合分离性测度β,根据β的大小构造出合理层次结构的偏二叉树孪生支持向量机分类器。通过UCI数据集,验证了改进算法相较于其它SVM多分类算法的优越性。以风电机组齿轮箱故障诊断作为研究对象,基于时频联合方法提取其故障特征,应用改进的偏二叉树孪生支持向量机算法实现了对齿轮箱故障的准确识别。     

改进的决策树SVM在脑电识别中的应用

为了识别3类意识任务,提出了一种改进的决策树支持向量机(SVM)算法.该方法将决策树与支持向量机结合构造多类SVM分类器,为了降低由决策树引起的"误差累积"效应,用基于类分布的可分离性测度来决定决策树走向.通过对2005国际脑机接口(BCI)竞赛中IDIAP研究协会提供的一组数据进行分析,分类最高准确率达到了80.8%,明显高于传统多类SVMs,表明了该算法的有效性.     

聚合支持向量机分类器的行人检测方法

针对支持向量机分类器的行人检测方法采用欠采样方法,存在正负行人比例不平衡造成的准确率不高问题,结合欠采样和EasyEnsemble方法,提出一种聚合支持向量机（Ensemble SVM）分类器的行人检测方法。随机选择负样本作为初始训练样本,并将其划分为与正样本集均衡的多个子负样本集,构建平衡子训练集,线性组合成EasyEnsemble SVM分类器;利用该分类器对负样本进行分类判断,将误判样本作为难例样本,重新划分构建新的平衡子训练集,训练子分类器,结合EasyEnsemble SVM分类器,得到Ensemble SVM分类器行人检测方法。在INRIA行人数据集上的实验表明,该方法在检测速度和检测率上都优于经典的SVM行人检测算法。     

Face recognition by generalized two-dimensional FLD method and multi-class support vector machines

This paper presents a novel scheme for feature extraction, namely, the generalized two-dimensional Fisher's linear discriminant (G-2DFLD) method and its use for face recognition using multi-class support vector machines as classifier. The G-2DFLD method is an extension of the 2DFLD method for feature extraction. Like 2DFLD method, G-2DFLD method is also based on the original 2D image matrix. However, unlike 2DFLD method, which maximizes class separability either from row or column direction, the G-2DFLD method maximizes class separability from both the row and column directions simultaneously. To realize this, two alternative Fisher's criteria have been defined corresponding to row and column-wise projection directions. Unlike 2DFLD method, the principal components extracted from an image matrix in G-2DFLD method are scalars; yielding much smaller image feature matrix. The proposed G-2DFLD method was evaluated on two popular face recognition databases, the AT&T (formerly ORL) and the UMIST face databases. The experimental results using different experimental strategies show that the new G-2DFLD scheme outperforms the PCA, 2DPCA, FLD and 2DFLD schemes, not only in terms of computation times, but also for the task of face recognition using multi-class support vector machines (SVM) as classifier. The proposed method also outperforms some of the neural networks and other SVM-based methods for face recognition reported in the literature.     

一类直接构造的模糊多类支持向量分类器

针对直接多类分类方法,提出了一种新的基于直接构造多类SVM分类器的模糊多类支持向量机算法FCS-SVM。在算法中,重构了优化问题及其约束条件,以及Lagrange公式,并进行了推导。通过在标准数据集上的几个实验,对这些算法进行了比较分析。实验结果表明提出的算法可以得到比较理想的分类精度。     

基于SVM 的二叉树多类分类算法及其在故障诊断中的应用

基于结构风险最小化原则的支持向量机(SVM)对小样本决策具有较好的学习推广性。但由于常规SVM算法是从2类分类问题推导出的，在解决故障诊断这种典型的多类分类问题时存在因雄，因而提出一种依赖故障优先级的基于SVM的二叉树多级分类器实现(2PTMC)方法，该方法具有简单、直观，重复训练样本少的优点。通过将其应用于柴油机振动信号的故障诊断，获得了令人满意的效果。     

基于自适应质心距投影HSVMs的网络故障识别*

为了处理有限样本条件下的多类网络故障识别问题,提出了一种自适应质心距投影层次支持向量机。针对层次支持向量机固有的误差积累现象,该方法通过定义特征空间样本质心距投影度量类别离散程度,依据类别可分性优化偏态层次树结构;并设计基于自适应惩罚因子的补偿算法,修正由不平衡数据引起的分类超平面倾斜。实验结果表明,该方法具有较好的识别效果和效率,能够有效地抑制误差积累。     

一种新的分裂层次聚类SVM多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

基于多分类支持向量机的入侵检测方法

网络入侵检测所处理的数据由多类攻击数据和正常数据构成，基于此对多分类支持向量机在网络入侵检测中的应用进行了研究，采用一对一方法构造了多分类支持向量机分类器，用KDD99入侵检测数据对所提出的多分类支持向量机分类器进行了测试评估，将实验结果和BP神经网络方法进行了比较。实验表明提出的方法是可行的、高效的。     

KNN-based least squares twin support vector machine for pattern classification

The least squares twin support vector machine (LSTSVM) generates two non-parallel hyperplanes by directly solving a pair of linear equations as opposed to solving two quadratic programming problems (QPPs) in the conventional twin support vector machine (TSVM), which makes learning speed of LSTSVM faster than that of the TSVM. However, LSTSVM fails to discover underlying similarity information within samples which may be important for classification performance. To address the above problem, we apply the similarity information of samples into LSTSVM to build a novel non-parallel plane classifier, called K-nearest neighbor based least squares twin support vector machine (KNN-LSTSVM). The proposed method not only retains the superior advantage of LSTSVM which is simple and fast algorithm but also incorporates the inter-class and intra-class graphs into the model to improve classification accuracy and generalization ability. The experimental results on several synthetic as well as benchmark datasets demonstrate the efficiency of our proposed method. Finally, we further went on to investigate the effectiveness of our classifier for human action recognition application.