动态决策树算法研究

该文在增量决策树算法的基础上,提出一种能够处理变化数据集的减量决策树算法,提出并证明了减量决策树算法中的三个基本定理,保证了减量决策树算法的可靠性。同时将传统的增量决策树算法与该文所提出的减量决策树算法相结合,构造出一种动态决策树算法,该算法很好地解决了发生增减变化的动态数据集构造决策树的问题,另外动态决策树算法的提出也促进了在线规则提取的发展与完善。     

数据挖掘中分类技术的研究

首先介绍了分类的概念,讨论了分类分析的步骤,阐述了用于构造模型的决策树算法,进一步讨论了决策树学习中出现的常见问题的解决方法。层层细化地展示了应用分类方法挖掘数据的方法,为实际应用提供了依据。     

面向多维时间序列的过程决策树模型

为解决多维时间序列的分类并获取易于理解的分类规则,引入了时序熵的概念及构造时序熵的方法,基于属性选择和属性值划分两方面扩展了决策树模型。并给出了两种构造多维时间序列分类的决策树模型算法。最后,采用移动客户流失的真实数据,对过程决策树进行测试,展示了方法的可行性。     

增量决策树算法研究

文中主要解决传统的ID3算法不能处理增量数据集构造决策树的问题。在传统ID3决策树算法和原有增量算法的基础上,利用信息论中熵变原理的特点,对与增量决策树算法相关的三个定理进行相应的改进,在理论上证明了改进的增量决策树算法的有效性和可靠性。同时对增量决策树算法和ID3算法的复杂度进行了对比分析,得出增量决策树算法的实例费用和信息熵费用都高于ID3算法的结论。最后通过一个实验证明,改进的增量决策树算法能够构造出与ID3算法形态基本相同的决策树。     

增量决策树算法研究

文中主要解决传统的ID3算法不能处理增量数据集构造决策树的问题.在传统ID3决策树算法和原有增量算法的基础上,利用信息论中熵变原理的特点,对与增量决策树算法相关的三个定理进行相应的改进,在理论上证明了改进的增量决策树算法的有效性和可靠性.同时对增量决策树算法和ID3算法的复杂度进行了对比分析,得出增量决策树算法的实例费用和信息熵费用都高于ID3算法的结论.最后通过一个实验证明,改进的增量决策树算法能够构造出与ID3算法形态基本相同的决策树.     

决策树算法在蛋白质二级结构预测问题中的应用研究

论文将决策树算法应用于蛋白质二级结构预测中,在蛋白质二级结构预测应用研究中,我们指出了在蛋白质二级结构预测问题中决策树分类属性的选择方法和决策树分类方法和决策树剪枝方法,并且比较了改进后的决策树算法和c45决策树算法在蛋白质二级结构预测问题中的应用效果。     

自适应模糊决策树算法

为改善模糊决策树算法凭经验设定参数值的不准确问题,在分析模糊决策树算法的主要参数特征后,提出使用粒子群算法智能设定参数值的自适应模糊决策树算法.实验表明,与经验设定参数值的模糊决策树算法相比,自适应模糊决策树算法生成的模糊决策树的性能明显提高;最后,通过实验数据分析了关键参数之间存在的交互影响关系.     

决策树模型组合之随机森林研究

在机器学习中,我们经常会使用决策树算法,主要是基于决策树有很多良好的特性:较低的训练时间复杂度,快速的预测过程,容易展示的模型等等.由于这些优良的特性,更多的学者和研究员将更多的精力放在决策树的研究上.但是,同这些优点形成鲜明对比的是缺点,比如说easy over-fitting,虽然在很多技术文章中对于这个问题有了很多改进的方法,比如说剪枝方法,但是对于庞大的算法来说基本上效果是不明显的.     

决策树算法的研究及其改进

该文主要探讨了基于数据仓库的数据挖掘技术中分类算法的决策树算法的基础理论和实施方法,分析并改进了分类方法中决策树算法;并在决策树预剪枝算法中,利用父结点与当前结点信息嫡的比值来作为是否停止决策树扩张的评判标准。     

基于SPMD的C4.5并行决策树加速分析

决策树分类方法是解决数据挖掘、模式识别中分类任务的有效方法,然而,在大规模的数据集上运行时,其运行效率受到严重影响。文中选取决策树的代表算法C4.5算法为研究对象,利用算法固有的并行性对其进行优化研究。文中利用MATLAB实现串行的C4.5决策树,并对构成该决策树的子函数进行运行时间分析,从而确定信息增益率计算的复杂性为限制算法速度的关键因素。针对此计算瓶颈,结合决策树算法在子节点分割以及最优分裂属性选择等方面的并行性,纵向划分数据,构建了并行的C4.5决策树,并利用MATLAB并行计算池功能以及SPMD设计实现。对并行后决策树运行时间验证结果表明,将C4.5决策树并行化后,并行决策树的构建时间显著缩短,实现了算法的加速。     

规则简化与模糊决策树剪枝的比较

决策树归纳学习算法是机器学习领域中解决分类问题的最有效工具之一。由于决策树算法自身的缺陷了，因此需要进行相应的简化来提高预测精度。模糊决策树算法是对决策树算法的一种改进，它更加接近人的思维方式。文章通过实验分析了模糊决策树、规则简化与模糊规则简化；模糊决策树与模糊预剪枝算法的异同，对决策树的大小、算法的训练准确率与测试准确率进行比较，分析了模糊决策树的性能，为改进该算法提供了一些有益的线索。     

基于主成分分析的多变量决策树构造方法

大多数决策树构造方法在每个节点上只检验单个属性,这种单变量决策树忽视了信息系统中广泛存在的属性间的关联作用,而且修剪时往往代价很大。针对以上两点,提出了一种基于主成分分薪的多变量决策树构造方法,提取信息系统中的若干主成分来构造决策树。实验结果表明,这是一种操作简单,效率很高的决策树生成方法。     

决策树技术及其当前研究方向

介绍了决策树归纳技术及其发展过程,阐述了目前最流行的决策树技术的基本方法及简化决策树的主要方法。同时介绍了决策树技术面临的挑战,目前在与其他技术结合,寻找新的构造方法,简化方法,训练与检验数据的大小及特性与其本身特性的关系,不确定环境下决策,时间复杂度与准确性之间的关系,软件实现等方面的研究,以及它在工程上的应用,展望了它的未来发展前景。     

基于度量的决策树

决策树是一种采用分治策略的聚类分析方法，构建决策树的关键是选择合适的属性。传统的决策树通常从最大化信息熵的角度来构造，不能对属性的分类能力进行足够好的区分。对传统的决策树生成算法的不足，本文提出了一种基于马氏距离的决策树生成算法。算法使用马氏距离来区分不同特征属性子集的分类能力。试验结果表明，基于度量的决策树的性能优于传统的决策树。     

基于信息熵和几何轮廓相似度的多变量决策树

现有的多变量决策树在分类准确性与树结构复杂性两方面优于单变量决策树,但其训练时间却高于单变量决策树,使得现有的多变量决策树不适用于快速响应的分类任务.针对现有多变量决策树训练时间高的问题,提出了基于信息熵和几何轮廓相似度的多变量决策树(IEMDT).该算法利用几何轮廓相似度函数的一对一映射特性,将n维空间样本点投影到一维空间的数轴上,进而形成有序的投影点集合,然后通过类别边界和信息增益计算最优分割点集将有序投影点集合划分为多个子集,接着分别对每个子集继续投影分割,最终生成决策树.在8个数据集上的实验结果表明：IEMDT具有较低的训练时间,并且具有较高的分类准确性.     

基于神经网络的模糊决策树改进算法

传统决策树通过对特征空间的递归划分寻找决策边界,给出特征空间的“硬”划分。但对于处理大数据和复杂模式问题时,这种精确决策边界降低了决策树的泛化能力。为了让决策树算法获得对不精确知识的自动获取,把模糊理论引进了决策树,并在建树过程中,引入神经网络作为决策树叶节点,提出了一种基于神经网络的模糊决策树改进算法。在神经网络模糊决策树中,分类器学习包含两个阶段：第一阶段采用不确定性降低的启发式算法对大数据进行划分,直到节点划分能力低于真实度阈值[ε]停止模糊决策树的增长;第二阶段对该模糊决策树叶节点利用神经网络做具有泛化能力的分类。实验结果表明,相较于传统的分类学习算法,该算法准确率高,对识别大数据和复杂模式的分类问题能够通过结构自适应确定决策树规模。     

基于决策支持度的决策树生成算法

从条件属性对决策支持程度不同的角度出发,引入了决策支持度的概念,提出了一种以其为启发式信息的决策树生成算法。实验分析表明,相对于传统的决策树生成算法,此算法改善了决策树的结构,有效提高了决策分类的精度。     

一种与神经元网络杂交的决策树算法

神经元网络在多数情况下获得的精度要比决策树和回归算法精度高,这是因为它能适应更复杂的模型,同时由于决策树通常每次只使用一个变量来分支,它所对应的识别空间只能是超矩形,这也就比神经元网络简单,粗度不能与神经元网络相比,然而神经元网络需要相对多的学习时间,并且其模型的可理解性不如决策树、Naive-Bayes等方法直观,本文在进行两种算法对复杂模型的识别对比后,提出了一个新的算法NNTree,这是一个决策树和神经元网络杂交的算法,决策树节点包含单变量的分支就象正常的决策树,但是叶子节点包含神经元网络分类器,这个方法针对决策树处理大型数据的效能,保留了决策树的可理解性,改善了神经元网络的学习性能,同时可使这个分类器的精度大大超过这两种算法,尤其在测试更大的数据集复杂模型时更为明显。     

一种懒惰式决策树和普通决策树结合的分类模型——半懒惰式决策树

懒惰式决策树分类是一种非常有效的分类方法。它从概念上为每一个测试实例建立一棵“最优”的决策树。但是,大多数的研究是基于小的数据集合之上。在大的数据集合上,它的分类速度慢、内存消耗大、易被噪声误导等缺点,影响了其分类性能。通过分析懒惰式决策树和普通决策树的分类原则,提出了一种新的决策树分类模型,Semi—LDtree。它生成的决策树的节点,如普通决策树一样,包含单变量分裂,但是叶子节点相当于一个懒惰式决策树分类器。这种分类模型保留了普通决策树良好的可解释性,实验结果表明它提高了分类速度和分类精确度,在某些分类任务上它的分类性能经常性地胜过两者,特别是在大的数据集合上。     

基于层次分解的决策树

目前人们经常使用决策树推理技术进行知识挖掘。以Quinlan1986年提出的ID3为代表的传统的决策树能较好地解决分类问题,但当类的个数增多时,所产生的单一决策树就会变得复杂,同时概括能力降低。该文采用基于层次分解的方法通过产生多层决策树来处理多类问题。与传统的单一决策树比较,基于层次分解的决策树在处理多类问题时有许多的优势。