一种融合无监督聚类的层次向量机多类分类方法

层次支持向量机（SVM）是多类分类方法应用中的研究热点。针对SVM的分类面仅由支持向量决定的理论,提出一种基于无监督聚类方法来预抽取支持向量,训练向量机;并分析现有多类分类方法所存在的弊端,基于综合考虑节点的类集合可分性,设计一种基于树分类器整体性能最优的SVM二叉树层次分类方法。实验表明,该方法对比传统一类对余类法和成对分类法在整体分类精度和训练时间上都有明显提高。     

基于SVM多分类决策树的研究综述

支持向量机(Support Vector Machine,SVM)是一种基于统计学习理论的机器学习方法,由于其出色的学习性能,早已成为当前机器学习界的研究热点;而决策树是一种功能强大且相当受欢迎的分类和预测工具。本文重点介绍支持向量机与决策树结合解决多分类问题的算法,并对其进行评析和总结。     

基于后验概率SVM决策树多类的分类算法

后验概率支持向量机方法对孤立点和噪声具有鲁棒性,并且可以减少支持向量的数量,从而降低计算复杂度。因此,针对最近提出的快速分类算法c-BTS,引入样本的后验概率,提出了一种基于后验概率的SVM决策树算法P2BTS。实验结果证明,基于后验概率的支持向量机决策树P2BTS比c-BTS的分类精度更高,且所需的二类分类器个数减少,在一定程度上降低了P2BTS分类决策的时间和比较的次数,提高了分类效率。     

基于后验概率的SVM决策树多类分类算法

后验概率支持向量机方法对孤立点和噪声具有鲁棒性,并且可以减少支持向量的数量,从而降低计算复杂度。因此,针对最近提出的快速分类算法c-BTS,引入样本的后验概率,提出了一种基于后验概率的SVM决策树算法P2BTS。实验结果证明,基于后验概率的支持向量机决策树P2BTS比c-BTS的分类精度更高,且所需的二类分类器个数减少,在一定程度上降低了P2BTS分类决策的时间和比较的次数,提高了分类效率。     

一种新的基于平衡决策树的SVM多类分类算法

为了有效地减少样本训练时间,提高多类分类器的识别率,同时使模型具有较好的推广能力,在综合考虑待分类样本数和类别易分性能的基础上,在"先分样本数较大的类"和"先分易分的类"之间折衷考虑,提出一种基于样本的新的类划分方案.采用半衡决策树结构,得到了一种新的决策树支持向量机多类分类算法.实验结果表明,该算法在不降低识别率的情...     

一种基于支持向量机思想的无监督聚类算法

支持向量机作为一种新的机器学习方法，由于其建立在结构风险最小化准则之上，而不是仅仅使经验风险达到最小，从而使对支持向量分类器具有较好的推广能力。本文分析了支持向量机在解决无监督分类问题上的不足，提出一种基于支持向量机思想的最大间距的聚类新方法。实验结果表明．该算法能成功地解决很多非监督分类问题。     

基于SVM决策树的文本分类器

研究了SVM决策树分类器在文本分类中的应用,提出了一种有效的SVM决策树分类器的优化构建方 法.该方法利用类间距离衡量两类间的可分性,并进一步用来描述各结点分类器类集合间的可分性.基于综合考虑结点分类器的类集合可分性,该方法能够获得优化的结点分类器类划分算法,由此构建的SVM决策树分类器在整体性能上得到优化,在文本分类中获得良好效果.     

支持向量机在多类分类问题中的推广

支持向量机(SVMs)最初是用以解决两类分类问题,不能直接用于多类分类,如何有效地将其推广到多类分类问题是一个正在研究的问题。该文总结了现有主要的支持向量机多类分类算法,系统地比较了各算法的训练速度、分类速度和推广能力,并分析它们的不足和有待解决的问题。     

多类SVM分类算法的研究和改进

介绍分析了SVM基础理论和目前多类SVM分类算法及其优缺点,提出了一种边界向量抽取算法,并基于该算法改进了1ar和1a1两种多类SVM算法。实验结果表明该边界向量抽取算法可以有效的减少训练样本的数量,在保持分类器推广能力的条件下缩短SVM的训练时间,特别是在大样本训练数据时1arΔ可以提供最好的训练性能。     

支持向量机多类分类算法研究

提出一种新的基于二叉树结构的支持向量(SVM)多类分类算法.该算法解决了现有主要算法所存在的不可分区域问题.为了获得较高的推广能力,必须让样本分布广的类处于二叉树的上层节点,才能获得更大的划分空间.所以,该算法采用最小超立方体和最小超球体类包含作为二叉树的生成算法.实验结果表明,该算法具有一定的优越性.     

改进的二叉树支持向量机在多分类中的应用

在多分类问题中,分类算法的优劣直接影响到最终分类结果的好坏。现有的多分类算法中,基于支持向量机的多分类算法在综合性能方面要优于其他算法,但是,这些较优算法同样面临一些多分类中常见的问题,如不可分问题和效率低问题。针对这些问题,文中提出了一种改进的二叉树支持向量机多分类算法,该算法综合考虑了两个类之间的距离和分布情况对可分离性的影响,并采用最容易分离的类最先分割出来的策略来建立树的结构。通过在不同的数据集上进行测试,表明该方法不仅解决了多分类的不可分问题,还能提高分类的效率和准确度,可更好地解决现实中的多分类问题。     

基于监督式机器学习的零件几何特征智能识别

针对在采用机器视觉的无夹具定位的壳体类零件几何参数检测过程中,需要先智能识别零件几何特征以规划检测路径的问题,提出一种基于监督式机器学习的几何特征智能识别方法。利用壳体零件待识别特征的中心位置关系构成特征矩阵,利用监督式机器学习算法进行识别,提出一种基于特征唯一性的纠错方法对分类过程中产生的识别错误进行纠正。对于所涉研究实例,零件共有4个待识别孔,在5次监督式训练后智能识别准确度达100%。     

图像分类中变形决策树的应用

介绍了利用平均色、代表色和轮廓线分布的联合图像特征,使用决策树建立图像分类模型方法。该方法使用变形的决策树来改善决策树的分类学习效率。实验数据表明效果显著,在对分类效果影响不大的情况下,有效提高了使用效率。     

一种新的有监督流形学习方法

提出了一种新的有监督流形学习方法,目的是提供将流形学习降维方法高效应用于有监督学习问题的全新策略.算法的核心思想是集成流形学习方法对高维流形结构数据的降维有效性与支撑向量机(SVM)在中小规模分类数据集上的优良特性实现高效有监督流形学习.算法具体实现步骤为:首先利用SVM在流形学习降维数据中选出对分类决策最重要的数据集,即支撑向量集;按标号返回可得到原空间的支撑向量集;在这个集合上再次使用SVM即可得到原空间的分类决策,从而完成有监督流形学习.在一系列人工与实际数据集上的实验验证了方法的有效性.     

Constructing X-of-N Attributes for Decision Tree Learning

While many constructive induction algorithms focus on generating new binary attributes, this paper explores novel methods of constructing nominal and numeric attributes. We propose a new constructive operator, X-of-N. An X-of-N representation is a set containing one or more attribute-value pairs. For a given instance, the value of an X-of-N representation corresponds to the number of its attribute-value pairs that are true of the instance. A single X-of-N representation can directly and simply represent any concept that can be represented by a single conjunctive, a single disjunctive, or a single M-of-N representation commonly used for constructive induction, and the reverse is not true. In this paper, we describe a constructive decision tree learning algorithm, called XofN. When building decision trees, this algorithm creates one X-of-N representation, either as a nominal attribute or as a numeric attribute, at each decision node. The construction of X-of-N representations is carried out by greedily searching the space defined by all the attribute-value pairs of a domain. Experimental results reveal that constructing X-of-N attributes can significantly improve the performance of decision tree learning in both artificial and natural domains in terms of higher prediction accuracy and lower theory complexity. The results also show the performance advantages of constructing X-of-N attributes over constructing conjunctive, disjunctive, or M-of-N representations for decision tree learning.     

一种基于FP_Tree算法的决策树构造方法

针对大规模训练元组决策树构造效率较低的问题,提出一种改进的决策树构造方法。该方法利用FP_Tree算法,比采用经典Apriori算法节省了更多内存开销。使用FP_Tree路径替代经典算法中训练元组的分裂计算,得到与原算法相同的决策树模型。实验结果证明,改进后的方法具有良好性能。     

一种基于累积适应度遗传算法的SVM多分类决策树

针对基于遗传算法(Genetic Algorithm, GA)的支持向量机(Support Vector Machine, SVM)多分类决策树算法(GA-SVM)中全局优化缺陷的问题,通过重新定义遗传适应度函数(fitness),提出一种累积适应度(cumulative fitness),进而衍生出新算法CFGA-SVM。该算法从根节点开始逐层构造二叉树,首先对根节点基因实值编码,通过基因分裂操作产生子代种群,然后利用累积适应度筛选出新的种群,筛选出的种群并不一定是当代局部最优,但一定是所得二叉树中全局最优,从而提高分类精度,最后以此循环直至算法结束。通过在UCI的Artificial Characters数据集上的实验结果表明：CFGA-SVM较之DT-SVM与GA-SVM算法在全局优化能力、分类精度上有明显提高,进而验证了该算法的可行性与有效性,可在大规模样本的分类应用中推广。     

基于kmeans-SVM的二叉树粗分类方法

针对大型数据库中进行匹配识别时存在识别速度慢、时间长、影响实时应用效果的问题,提出了一种树形层次结构的粗分类方法.通过k-means得到两类粗分类的样本,用这两类粗分类数据训练SVM分类器,找到分类超平面,再不断调整分类超平面,最后构建二叉树型结构达到粗分类的目的.三个方法相结合很好地缩小目标的搜索范围,提高了识别时候...     

面向高维特征和多分类的分布式梯度提升树

梯度提升树算法由于其高准确率和可解释性,被广泛地应用于分类、回归、排序等各类问题.随着数据规模的爆炸式增长,分布式梯度提升树算法成为研究热点.虽然目前已有一系列分布式梯度提升树算法的实现,但是它们在高维特征和多分类任务上性能较差,原因是它们采用的数据并行策略需要传输梯度直方图,而高维特征和多分类情况下梯度直方图的传输成为性能瓶颈.针对这个问题,研究更加适合高维特征和多分类的梯度提升树的并行策略,具有重要的意义和价值.首先比较了数据并行与特征并行策略,从理论上证明特征并行更加适合高维和多分类场景.根据理论分析的结果,提出了一种特征并行的分布式梯度提升树算法FP-GBDT.FP-GBDT设计了一种高效的分布式数据集转置算法,将原本按行切分的数据集转换为按列切分的数据表征;在建立梯度直方图时,FP-GBDT使用一种稀疏感知的方法来加快梯度直方图的建立;在分裂树节点时,FP-GBDT设计了一种比特图压缩的方法来传输数据样本的位置信息,从而减少通信开销.通过详尽的实验,对比了不同并行策略下分布式梯度提升树算法的性能,首先验证了FP-GBDT提出的多种优化方法的有效性;然后比较了FP-GBDT与XGBoost的性能,在多个数据集上验证了FP-GBDT在高维特征和多分类场景下的有效性,取得了最高6倍的性能提升.     

网络流量的决策树分类

应用识别与流量分类是网络管理、安全、研究等相关事务的必要前提.随着网络的高速发展以及各种新型应用的不断涌现,基于分组传输层端口号和深度分组解析的分类技术难以满足需求.本文验证网络流量的统计特性可以有效地区分不同应用,提出一种基于C4.5决策树分类器的有监督网络流量分类方法,讨论boosting增强方法和特征选择两种改进.实验结果表明,C4.5分类器的训练复杂度适中,准确率高且分类速度快;增强方法可以进一步提高分类器的准确率,代价是训练时间大幅提高和分类时间稍微减慢;特征选择算法则提高分类速度而稍微降低准确率.