基于粗集的决策树构建的探讨

决策树是对未知数据进行分类预测的一种方法。自顶向下的决策树生成算法关键是对结点属性值的选择。近似精度是RS中描述信息系统模糊程度的参量,能够准确地刻画粗集。文中在典型的ID3算法的基础上提出了基于RS的算法。该算法基于近似精度大的属性选择根结点,分支由分类产生。该算法计算简单,且分类使决策树和粗集更易理解。     

模型决策树:一种决策树加速算法

决策树算法采用递归方法构建,训练效率较低,过度分类的决策树可能产生过拟合现象.因此,文中提出模型决策树算法.首先在训练数据集上采用基尼指数递归生成一棵不完全决策树,然后使用一个简单分类模型对其中的非纯伪叶结点(非叶结点且结点包含的样本不属于同一类)进行分类,生成最终的决策树.相比原始的决策树算法,这样产生的模型决策树能在算法精度不损失或损失很小的情况下,提高决策树的训练效率.在标准数据集上的实验表明,文中提出的模型决策树在速度上明显优于决策树算法,具备一定的抗过拟合能力.     

一种新的决策树分裂属性选择方法

分类问题是数据挖掘和机器学习中的一个核心问题.为了得到最大程度的分类准确率,决策树分类过程中,非常关键的是结点分裂属性的选择.常见的分裂结点属性选择方法可以分为信息熵方法、GINI系数方法等.分析了目前常见的选择分裂属性方法--基于信息熵方法的优、缺点,提出了基于卡方检验的决策树分裂属性的选择方法,用真实例子和设置模拟实验说明了文中算法的优越性.实验结果显示文中算法在分类错误率方面好于以信息熵为基础的方法.     

一种新的决策树分裂属性选择方法

分类问题是数据挖掘和机器学习中的一个核心问题。为了得到最大程度的分类准确率,决策树分类过程中,非常关键的是结点分裂属性的选择。常见的分裂结点属性选择方法可以分为信息熵方法、GINI系数方法等。分析了目前常见的选择分裂属性方法——基于信息熵方法的优、缺点,提出了基于卡方检验的决策树分裂属性的选择方法,用真实例子和设置模拟实验说明了文中算法的优越性。实验结果显示文中算法在分类错误率方面好于以信息熵为基础的方法。     

基于知识粗糙度的决策树生成方法

决策树是一种重要的数据分类方法,测试属性的选择直接影响到决策树中结点的个数和深度,本文提出了一种基于知识粗糙度的方法.通过比较我们发现:在决策树的构造上,粗集理论中知识粗糙度的方法计算量较小,构造的决策树比经典ID3算法简洁,并且具有较高的分类精度.     

基于SVM决策树的文本分类器

研究了SVM决策树分类器在文本分类中的应用,提出了一种有效的SVM决策树分类器的优化构建方 法.该方法利用类间距离衡量两类间的可分性,并进一步用来描述各结点分类器类集合间的可分性.基于综合考虑结点分类器的类集合可分性,该方法能够获得优化的结点分类器类划分算法,由此构建的SVM决策树分类器在整体性能上得到优化,在文本分类中获得良好效果.     

基于相对熵的决策树生成方法

决策树是一种重要的数据分类方法,在构造决策树的过程中,测试属性的选择直接影响到决策树中结点的个数和深度,基于相对熵的概念提出了一种新的决策树构造方法。实例分析的结果表明:在决策树的构造上,粗糙集理论中相对熵的方法计算量较小,构造的决策树比经典ID3,C4.5算法简洁,并且具有较高的分类精度。     

基于知识粗糙度的决策树生成方法

决策树是一种重要的数据分类方法,测试属性的选择直接影响到决策树中结点的个数和深度,本文提出了一种基于知识粗糙度的方法。通过比较我们发现：在决策树的构造上,粗集理论中知识粗糙度的方法计算量较小,构造的决策树比经典ID3算法简洁,并且具有较高的分类精度。     

基于粗集的决策树构建的探讨

决策树是对未知数据进行分类预测的一种方法。自顶向下的决策树生成算法关键是对结点属性值的选择。近似精度是RS中描述信息系统模糊程度的参量，能够准确地刻画粗集。文中在典型的ID3算法的基础上提出了基于RS的算法。该算法基于近似精度大的属性选择根结点，分支由分类产生。该算法计算简单，且分类使决策树和粗集更易理解。     

一种多值属性和多类标数据的决策树算法

提出了一种多值属性和多类标数据的决策树算法(SSC),在MMC算法中,对用孩子结点的类标集相似度来评定结点属性分类效果的计算方法进行了改进,综合考虑集合的同一性和一致性,提出了相似度评定方法,使类标集相似度的计算更加全面和准确。实验证明该算法的分类效果优于MMC算法。     

基于神经网络的模糊决策树改进算法

传统决策树通过对特征空间的递归划分寻找决策边界,给出特征空间的“硬”划分。但对于处理大数据和复杂模式问题时,这种精确决策边界降低了决策树的泛化能力。为了让决策树算法获得对不精确知识的自动获取,把模糊理论引进了决策树,并在建树过程中,引入神经网络作为决策树叶节点,提出了一种基于神经网络的模糊决策树改进算法。在神经网络模糊决策树中,分类器学习包含两个阶段：第一阶段采用不确定性降低的启发式算法对大数据进行划分,直到节点划分能力低于真实度阈值[ε]停止模糊决策树的增长;第二阶段对该模糊决策树叶节点利用神经网络做具有泛化能力的分类。实验结果表明,相较于传统的分类学习算法,该算法准确率高,对识别大数据和复杂模式的分类问题能够通过结构自适应确定决策树规模。     

熵在决策树构建中的应用

决策树是对未知数据进行分类预测的一种方法。本文阐述熵理论和典型的ID3算法,并举例构建决策树。讨论选择具有最高信息增益的属性构建决策树,即选定具有最高区分度的属性作为当前节点。利用熵理论构建决策树,方法简单,结构清晰,容易转换成分类规则,并且不需要先验领域知识。     

用遗传算法构造二元决策树

决策树的方法是一种优化的过程,遗传算法是模拟自然进化的通用全局搜索算法,文中将遗传算法应用到做到决策树,提出了采用遗传算法求解二元决策树的非叶结点的权值矢量,进而构造二元决策松的方法,并讨论了遗传算法的评介函数构造和编码方法,重点说明了如何对遗传算法进行改进,提高算法效率,然后分析了影响二元决策树错误分类率的因素,并用实例验证该方法构造的二元决策树对样本分类具有很高的辨识率。     

决策树分类器在分析基因微阵列数据中的应用

近年来，需要深入研究癌症细胞的基因表达技术正在不断增多。机器学习算法已经被广泛用于当今世界的许多领域，但是却很少应用于生物信息领域。系统研究了决策树的生成、修剪的原理和算法以及其它与决策树相关的问题；并且根据CAMDA2000（critical assessment of mieroarray data analysis）提供的急性淋巴白血病（ALL）和急性骨髓白血病（AML）数据集，设计并实现了一个基于ID3算法的决策树分类器，并利用后剪枝算法简化决策树。最后通过实验验证算法的有效性，实验结果表明利用该决策树分类器对白血病微阵列实验数据进行判别分析，分类准确率很高，证明了决策树算法在医学数据挖掘领域有着广泛的应用前景。     

基于物联网的智能灌溉系统

现代农业领域中,通过使用各种传感器和不同的算法实现灌溉系统的自动化,使灌溉过程完全自主。设计了基 于物联网的智能灌溉系统,利用传感器获取温度、湿度等数据,通过节点MCU处理并上传云端服务器进行储存,使用应用程 序Blynk来实时监测数据,应用机器学习算法对实时传感器数据进行分类,通过决策树算法在脚本中实现。     

基于关联规则的决策树算法

通过将关联规则与决策树算法相结合,形成一种基于关联规则的决策树算法。该算法对不同时期同一事务的异种数据结构进行处理,得到一种可扩展的多分支分类决策树,使得改进后的决策树算法具有良好的可扩展性。该算法解决了传统分类算法在数据集维度发生变化时分类过程无法持续进行的问题。     

两种决策树的事前修剪算法

修剪决策树可以在决策树生成时或生成后,前者称为事前修剪。决策树上的每一个节点对应着一个样例集,通过分析样例集中样例的个数或者样例集的纯度,提出了基于节点支持度的事前修剪算法PDTBS和基于节点纯度的事前修剪算法PDTBP。为了达到修剪的目的,PDTBS阻止小样例集节点的扩展,PDTBP阻止高纯度样例集节点的扩展。分析表明这两个算法的时间复杂度均呈线性,最后使用UCI的数据实验表明：算法PDTBS,PDTBP可以在保证分类精度损失极小的条件下大幅度地修剪决策树。     

基于类决策树分类的特征层融合识别算法

针对雷达组网量测数据不确定性大、信息不完备等特点, 基于决策树分类算法的思想, 创建类决策树的概念, 提出一种基于类决策树分类的特征层融合识别算法. 所给出的算法无需训练样本, 采用边构造边分类的方式, 选取信 息增益最大的属性作为分类属性对量测数据进行分类, 实现了对目标的识别. 该算法能够处理含有空缺值的量测数据, 充分利用量测数据的特征信息. 仿真实验结果表明, 类决策树分类算法是一种简单有效的特征层融合识别算法.

     

Geometric decision tree

In this paper, we present a new algorithm for learning oblique decision trees. Most of the current decision tree algorithms rely on impurity measures to assess the goodness of hyperplanes at each node while learning a decision tree in top-down fashion. These impurity measures do not properly capture the geometric structures in the data. Motivated by this, our algorithm uses a strategy for assessing the hyperplanes in such a way that the geometric structure in the data is taken into account. At each node of the decision tree, we find the clustering hyperplanes for both the classes and use their angle bisectors as the split rule at that node. We show through empirical studies that this idea leads to small decision trees and better performance. We also present some analysis to show that the angle bisectors of clustering hyperplanes that we use as the split rules at each node are solutions of an interesting optimization problem and hence argue that this is a principled method of learning a decision tree.     

Inducing NNC-Trees with the R4-rule.

An NNC-Tree is a decision tree (DT) with each non-terminal node containing a nearest neighbor classifier (NNC). Compared with the conventional axis-parallel DTs (APDTs), the NNC-Trees can be more efficient, because the decision boundary made by an NNC is more complex than an axis-parallel hyperplane. Compared with single-layer NNCs, the NNC-Trees can classify given data in a hierarchical structure that is often useful for many applications. This paper proposes an algorithm for inducing NNC-Trees based on the R4-rule, which was proposed by the author for finding the smallest nearest neighbor based multilayer perceptrons (NN-MLPs). There are mainly two contributions here. 1) A heuristic but effective method is given to define the teacher signals (group labels) for the data assigned to each nonterminal node. 2) The R4-rule is modified so that an NNC with proper size can be designed automatically in each nonterminal node. Experiments with several public databases show that the proposed algorithm can produce NNC-Trees effectively and efficiently.