基于SVM决策树的文本分类器

研究了SVM决策树分类器在文本分类中的应用,提出了一种有效的SVM决策树分类器的优化构建方 法.该方法利用类间距离衡量两类间的可分性,并进一步用来描述各结点分类器类集合间的可分性.基于综合考虑结点分类器的类集合可分性,该方法能够获得优化的结点分类器类划分算法,由此构建的SVM决策树分类器在整体性能上得到优化,在文本分类中获得良好效果.     

基于距离权值的C4.5组合决策树算法

针对C4.5决策树算法在处理多维数据分类时,没有考虑各属性对分类结果的影响,导致分类准确率低的问题,提出一种基于距离权值的C4.5组合决策树算法。根据标准欧式距离定义数据属性的距离权值,更新C4.5决策树算法的信息增益率,得到基于距离权值的C4.5算法。利用改进后的C4.5决策树分类算法训练多个基分类器,基分类器通过Bagging集成方法构建组合决策树。实验结果表明,该算法在处理多维数据时有较高的准确性和稳定性。     

一种基于支持向量机决策树多类分类器

提出一种基于支持向量机决策树的多类分类器SVMDT（Support Vector Machines based Decision Tree）。训练时,SVMDT采用样本类间最小距离原则进行决策树分叉,综合考虑局部类簇,生成一棵平衡的分类二叉树。分类时,SVMDT采用最大距离原则匹配决策。SVMDT训练时采用的距离为等效距离,综合考虑特征空间中样本类的中心距离以及样本类自身的分布特点,使得训练过程中确定各个SVM的优先级别更加合理,由此生成的决策树将特征空间严格划分开,避免了拒识区域的出现。UCI样本数据集实验结果表明,和传统的1对多SVM分类器相比,SVMDT具有训练速度快、分类速度快,分类精度高的特点。     

基于支持矢量机和决策树的多值分类器

基于SVM理论的分类器已经发展为一种通用的二值分类器,但它不适用于多值的场合。该文在分析经典的SVM分类算法和决策树分类算法的基础上,采用了将SVM和二叉决策树结合的方法来实现多类问题的分类,实验表明它与一对一的多值分类器具有相似的分类精度,并比一对一的分类算法具有快的测试速度。     

基于多分类器集成的“北京一号”小卫星遥感影像分类研究

将多分类器集合应用于"北京一号"小卫星多光谱遥感数据土地覆盖分类,首先构建分类器集合,应用最小距离分类、最大似然分类、支持向量机(SVM)、BP神经网络、RBF神经网络和决策树等进行土地覆盖分类,然后利用Bagging、Boosting、投票法、证据理论和模糊积分法等分类器集成方法,得到综合不同分类器输出的最终分类结果。试验表明,多分类器集成能够有效提高"北京一号"小卫星土地覆盖分类的精度,具有广泛的应用前景。     

基于混合多距离度量的多分类器加权集成研究

在机器学习领域,分类器加权在小样本数据集中的分类正确率较低。为此,提出一种基于混合距离度量的多分类器加权集成方法。结合欧氏距离、曼哈顿距离、切比雪夫距离,设计混合的距离度量加权方法,使用加权投票组合规则集成各分类器的输出结果。实验结果表明,该方法鲁棒性较好,分类正确率较高。     

改进的决策树支持向量机地下水水质评价

基于结构风险最小原理的支持向量机(SVM)具有较强的学习泛化能力和良好的分类性能,能用来解决少样本学习的二类模式识别问题。针对具备多级类别的地下水水质评价问题,可以采用决策树SVM分类方法,通过对多类别水质标准的重新组合以构建类似于决策树的多个子分类器来实现。但基于决策树SVM分类过程中常常会出现由于正负类训练样本数据不均一导致的局部识别误差。基于二叉树原理提出了一种改进决策树SVM模型,通过加密数据插值和二叉分类有效避免正负类训练样本数据不均一的问题,针对地下水水质评价特点,增加了第5个子分类器以精确识别Ⅱ类水质和Ⅲ类水质。实验结果表明,改进的决策树SVM分类模型评价结果稳定。     

决策树支持向量机多分类器设计的向量投影法

针对如何有效地设计决策树支持向量机(SVM)多类分类器的层次结构这个关键问题,提出一种基于向量投影的类间可分性测度的设计方法,并给出一种基于该类间可分性测度设计决策树SVM多分类器层次结构的方法.为加快每个SVM子分类器的训练速度且保持其高推广性,将基于向量投影的支持向量预选取方法用于每个子分类器的训练中.通过对3个大规模数据集和手写体数字识别的仿真实验表明,新方法能有效地提高决策树SVM多类分类器的分类精度和速度.     

基于支持向量机和距离度量的管道内表面图像分类方法研究

针对管道内表面图像的分类问题，提出了一种将支持向量机和距离度量相结合，构成组合分类器的分类方法。分类时先采用距离度量进行前级分类，符合条件则给出分类结果，否则拒识并转入SVM分类器进行分类。该方法充分利用了SVM识别率高和距离度量速度快的优点，并且利用距离度量的结果去指导SVM的训练和测试。实验表明本方法具有较高的效率和识别精度，进一步提高了系统的识别率和容噪性能。     

一种多分类器集成的手写体汉字识别方法

多分类器集成是手写体汉字识别领域的新方向。本文提出的多分类器集成方法通过改进的欧氏距离分类器将待识别汉字分类到某个粗分结果集中,然后根据粗分结果集选择1-N(one-against-rest)的SVM分类器对待识别汉字进行细分,最后用贝叶斯集成两级分类器。实验对国标一级汉字中的1034个手写汉字进行识别,证明了方案的有效性。     

基于多个混合核函数的SVM决策树算法设计

不同的核函数具有不同的特性,SVM决策树中每个子SVM面对的分类对象不同,选取的核函数及其参数也应该不同。通过调节混合核函数的参数形成不同的核函数,给出了一个用多个混合核函数训练SVM决策树的多类分类算法。仿真试验表明,该算法与只用一个核函数训练SVM决策树的算法相比,具有较高的分类精度。     

改进的二叉树支持向量机在多分类中的应用

在多分类问题中,分类算法的优劣直接影响到最终分类结果的好坏。现有的多分类算法中,基于支持向量机的多分类算法在综合性能方面要优于其他算法,但是,这些较优算法同样面临一些多分类中常见的问题,如不可分问题和效率低问题。针对这些问题,文中提出了一种改进的二叉树支持向量机多分类算法,该算法综合考虑了两个类之间的距离和分布情况对可分离性的影响,并采用最容易分离的类最先分割出来的策略来建立树的结构。通过在不同的数据集上进行测试,表明该方法不仅解决了多分类的不可分问题,还能提高分类的效率和准确度,可更好地解决现实中的多分类问题。     

基于隶属度分离测度SVM决策树层次结构设计方法

从样本的类空间分布和随机测试样本对每个类别的隶属度两方面考虑,对现有的分离测度进行了改进,并给出了一种基于隶属度分离测度的SVM决策树多类分类算法.实验表明,对于随机测试样本属于每个类别的概率均不相同的多类分类问题,基于隶属度分离测度的SVM决策树在与传统的SVM决策树有着基本相同的分类精度情况下,具有更快的分类速度.     

支持向量机在网页信息分类中的应用研究

针对日益膨胀的网络信息,为方便用户准确定位所需的信息,将支持向量机(SVM)与二叉决策树结合起来进行网页信息的分类,并在构造决策支持向量机分类模型的基础上,进一步结合聚类的方法,解决多类分类问题,减少支持向量机的训练样本数,提高分类训练速度和分类准确率.     

基于核聚类的SVM多类分类方法

对支持向量机的多类分类问题进行研究，提出了一种基于核聚类的多类分类方法。利用核聚类方法将原始样本特征映射到高维特征进行聚类分组，对每一组使用一个支持向量机二值分类器进行分类，并用这些二值分类器组成决策树的节点，构成了一个决策分类树。给出决策树的生成算法，提出了利用交叠系数来控制交叠，从而克服错分积累，提高分类准确率。实验结果表明，采用该方法，手写体汉字识别速度和正确率都达到了实用的要求。     

基于格贴近度的SVM决策树层次结构设计方法

利用格贴近度对模糊集的贴近程度进行度量,给出一种基于格贴近度的SVM决策树层次结构设计方法,从而解决对多类模糊样本的分类问题。实验结果表明：基于该层次结构设计方法得到的多类分类器,对多类模糊样本具有良好的分类效果。     

面向高维特征和多分类的分布式梯度提升树

梯度提升树算法由于其高准确率和可解释性,被广泛地应用于分类、回归、排序等各类问题.随着数据规模的爆炸式增长,分布式梯度提升树算法成为研究热点.虽然目前已有一系列分布式梯度提升树算法的实现,但是它们在高维特征和多分类任务上性能较差,原因是它们采用的数据并行策略需要传输梯度直方图,而高维特征和多分类情况下梯度直方图的传输成为性能瓶颈.针对这个问题,研究更加适合高维特征和多分类的梯度提升树的并行策略,具有重要的意义和价值.首先比较了数据并行与特征并行策略,从理论上证明特征并行更加适合高维和多分类场景.根据理论分析的结果,提出了一种特征并行的分布式梯度提升树算法FP-GBDT.FP-GBDT设计了一种高效的分布式数据集转置算法,将原本按行切分的数据集转换为按列切分的数据表征;在建立梯度直方图时,FP-GBDT使用一种稀疏感知的方法来加快梯度直方图的建立;在分裂树节点时,FP-GBDT设计了一种比特图压缩的方法来传输数据样本的位置信息,从而减少通信开销.通过详尽的实验,对比了不同并行策略下分布式梯度提升树算法的性能,首先验证了FP-GBDT提出的多种优化方法的有效性;然后比较了FP-GBDT与XGBoost的性能,在多个数据集上验证了FP-GBDT在高维特征和多分类场景下的有效性,取得了最高6倍的性能提升.     

改进的决策树SVM在脑电识别中的应用

为了识别3类意识任务,提出了一种改进的决策树支持向量机(SVM)算法.该方法将决策树与支持向量机结合构造多类SVM分类器,为了降低由决策树引起的"误差累积"效应,用基于类分布的可分离性测度来决定决策树走向.通过对2005国际脑机接口(BCI)竞赛中IDIAP研究协会提供的一组数据进行分析,分类最高准确率达到了80.8%,明显高于传统多类SVMs,表明了该算法的有效性.     

混合动力电动汽车中利用决策树CART算法的能源管理方案

针对混合动力电动汽车(HEV)氮氧化物( )排放的问题,提出了一种基于决策树CART算法的柴油混合动力能源管理策略。首先,提出了一种结合决策树与回归树的分类算法(Classification and Regression Tress,CART),针对类别和变量特征,从一个或多个预测变量中预测出个例的趋势变化关系;然后,通过控制发动机和电动机之间的扭矩分配,引入了额外的自由度以调整从纯燃料经济性情况到纯 限制情况的优化权衡;最后,采用基于软件在环路和硬件在环仿真的方法,从而根据动力系统配置了解系统性能,并调整所提出的能源管理策略。实验结果表明,提出的柴油混合动力能源管理策略中, 的减少对燃料消耗的影响,且可以通过选择最佳工作点和限制发动机动力来限制 排放的潜力。相比其他几种较新的同类方案,提出的方案在同等燃料消耗的情况下 排放量更小,在燃料消耗略有下降的情况下,可以显着降低 。     

基于遗传算法的SVM多分类决策树优化算法研究

设计一种基于遗传算法(GA)的支持向量机(SVM)多分类决策树优化算法,以克服因传统SVM多分类决策树结构固定,单个SVM节点在树中位置随意而引起"误差积累"现象严重的缺陷.采用了SVM分类间隔作为GA适应度函数.利用GA在每一决策节点自动选择最优或近优的分类决策,最终自适应地实现了对决策树的优化.仿真实验表明,与传统方法相比,所提出的方法可使"误差积累"现象明显降低,分类质量大大提高.