关于ID3算法的最优性证明

研究了一个属性的某几个属性值并的权熵之和与该属性单个属性值的权熵之和的关系.通过构建模型,从理论上证明了以信息熵作为度量标准,ID3算法是最优的,生成的树是最小的,产生的规则数是最少的.     

一种改进的决策树分类算法研究

传统的ID3决策树算法存在诸多不足,如计算效率低、多值偏向等,对此,提出了属性值空缺、多值属性的选择以及属性选择标准方面的改进方案,并将加权熵和简化熵引入决策树算法以改进传统ID3算法.实验结果表明,改进后的算法在整体性能方面较目前广泛应用的ID3算法有更优秀的性能表现.     

基于贡献因子的改进决策树属性选择方法

对传统ID3算法的信息熵作近似变换达到简化计算的目的,并针对ID3算法倾向于选择取值较多的属性和排斥属性值分布均匀的属性两个缺点,引入贡献因子来改进ID3算法,使属性选择方法平衡的选择划分属性.实验表明,优化后的属性选择方法降低了分类时间,优化了分类结果并能很好地反映实际情况.     

基于属性-值对的信息增益优化算法

偏向于取值较多的属性是ID3算法的一个缺陷,目前已提出的决策树的优化算法对ID3算法的改进,部分解决了该缺陷,但仅适用于两值属性的样例集,对于多值属性效果并不明显.针对该优化算法的不足,通过将属性和属性值对应成一个属性,提出了属性-值对的信息增益优化算法GBT.通过理论和实验分析,表明该算法不仅克服了ID3算法偏向于取值多属性的缺陷,同时解决了优化算法对多值属性效果不明显的不足.     

不确定性多属性决策中确定属性熵权的一种方法

针对属性值以区间数形式给出的不确定性多属性决策中确定属性权重的问题,提出了一种区间数熵权的确定方法·依据多属性决策中传统熵权确定方法的思路,首先,通过构建两个最优化模型,求得区间熵;然后根据传统熵权确定公式及区间数运算法则得到以区间数形式表示的属性熵权·该方法具有概念清晰、实用的特点,得出的属性熵权能够较好地反映各属性信息的差异程度·最后通过一个算例说明了该方法的实用性和有效性·     

决策树中ID3算法的研究

ID3算法是决策树分类方法的核心算法,文章论述了ID3算法的基本思想和实现方法,并对ID3算法的性能进行分析,发现该算法存在不足之处.针对ID3算法倾向于多属性值的缺点,引入了权值对算法进行改进,并通过试验对改进前后的算法进行比较,结果表明改进后的算法是有效的.     

一种基于SQL语句的ID3改进算法

ID3算法沿用的是机器学习算法,与数据库集成性差。提出一种基于SQL语句的ID3改进算法。通过SQL语句直接对保存在数据库中的数据表进行分组查询,计算测试属性的条件熵,并给出深度优先和广度优先生成子树的递归算法。实验证明,改进的ID3算法充分利用了SQL的高效性和C++语言的灵活性,降低了算法实现难度,高效实现大量数据的分类。     

基于新区间直觉Vague熵的皖江承接转移决策模型

给出了一个新的Vague熵,并以此确定了新的指标权值定义法,从而给出了基于新Vague熵的区间直觉模糊多属性决策模型;构建了工业承接能力评价指标体系,并利用新的多属性决策模型,对皖江城市带九市工业承接能力进行评估,计算各市的综合属性值,从而确定工业优先转移方向.     

基于用户领域知识优化ID3算法的研究与应用

本文在ID3算法的基础上引入属性重要度因子和均衡化函数,对ID3算法进行优化,改进了经典ID3算法要求每个属性对类别属性的贡献一样的缺点,可以适用于不同属性对类别属性的贡献不同的情况,同时也弥补ID3算法偏向多值属性的不足。最后给出具体一个实例说明其构造决策树的过程,并将优化算法与经典ID3算法构造的决策树进行了比较,从而得出优化后的算法具有更大的适应范围,且更符合用户实际情况的需要。     

基于区间属性值补缺的知识管理自学习案例检索机制

针对知识管理自学习案例检索中存在区间属性以及属性值缺失的情况,提出了基于区间属性值补缺的案例检索机制.首先,运用粗集方法对知识管理自学习案例进行分类,完成初步检索并在分类基础上插补缺失的属性值;而后,利用客观性较强的熵权法完成对确定值和区间属性的权重配置;最后,应用区间灰关联方法实现对知识管理自学习案例的检索功能.算例分析表明,所提出的案例检索方法操作简便、合理有效.     

基于信息熵和偏差的加权概念格内涵权值获取

为有效反映数据本身隐含的客观信息,快速提取用户需求的具有一定偏差程度的重要知识,提出了一种基于信息熵和偏差分析的加权概念格的内涵权值获取方法.在缺乏先验知识时,由数据集中属性特征的信息熵来刻画加权概念格的单属性内涵权值,采用均值计算多属性内涵权值,并用标准差计算多属性内涵重要性偏差值;由用户设立加权概念格内涵的重要性阈值和内涵重要性偏差阈值,构造出一种强加权概念格.通过实例描述了该方法可有效指导正确决策,进一步拓广了概念格的理论与应用.     

基于属性熵和加权余弦相似度的离群算法

离群点检测是数据挖掘的一个重要研究方向,大多数离群数据挖掘算法在应用到高维数据集时效率较低。给出了一种基于属性熵和加权余弦相似度的离群数据挖掘算法LEAWCD.该算法首先根据局部属性熵分析每个对象在其k-邻域内的局部离群属性,并依据各离群属性的属性偏离度自动设置属性权向量;其次使用对高维数据有效的余弦相似度经加权后度量各对象在k-邻域内的离群程度,实现高维局部离群点检测;最后采用国家天文台提供的天体光谱数据作为数据集,实验验证了LEAWCD算法具有伸缩性强和检测精度高等优点。     

一种基于属性加权综合直觉梯形模糊数多属性决策方法

在解决属性值为直觉模糊数的多属性决策问题中,其权重信息未知.先采用熵值法来求其权重,并用直觉梯形模糊数权重平均算子求出各指标的平均属性值,给出了直觉梯形模糊数得分函数公式,期望函数公式.并提出了解决此类问题的方法与步骤,根据得分函数值大小进行排序,选择出最优方案.通过一个实例对此方法进行验证.     

属性值为区问数的多属性决策OWA算法

针对属性值为区间数的多属性决策问题,提出了一种简洁实用的决策分析方法。首先论证决策对象的优势关系与其属性值区间数的两端点数值平均值（区间中值）存在等价关系,然后将区问数的多属性决策问题转化为以区间中值为属性值的决策问题,应用有序加权平均算法（OWA算法）进行方案的排序与择优,最后通过一个实例验证了该方法的可行性和有效性。     

基于ITFOWA算子的多属性决策方法研究

将梯形模糊有序加权平均算子（TFOWA）扩充至诱导的梯形模糊有序加权平均（ITFOWA）算子情形．提出两梯形模糊数接近度概念,用其度量属性本身的重要性程度、并以属性值的接近度作为诱导变量,采用ITFOWA算子进行信息集结,得到一种新的基于诱导梯形模糊有序加权平均算子的多属性决策方法．     

一种改进的决策树算法

为解决决策树算法ID3的多值偏向的缺点,利用属性相似度偏向少值属性的特点,提出一种将属性相似度作为信息熵的系数的属性选择标准,从而提出相应的决策树生成算法.实验结果表明,新算法既避免了以信息熵作为属性选择标准的决策树算法的多值偏向,也避免了以属性相似度作为属性选择标准的决策树算法的少值偏向.     

一种新的模糊决策树算法 ——基于加权毕达哥拉斯模糊熵

传统的模糊决策树虽然可以从模糊数据中抽取模糊分类规则,但只能获取节点的隶属度信息,无法得出样本数据对于节点的非隶属度和犹豫度信息,导致数据分类的准确率不高。针对此,基于毕达哥拉斯模糊集理论,提出了一种新的加权毕达哥拉斯模糊决策树算法（Weighted Pythagorean Fuzzy Decision Tree,WPFDT）。首先,通过改进的K-means聚类算法得到连续属性数据的聚类中心,并结合三角模糊数对连续数据进行模糊处理;其次,定义并计算每一个属性的加权毕达哥拉斯模糊熵,选择加权毕达哥拉斯模糊熵最小的属性作为决策树根节点,在根节点下递归选择模糊熵最小的属性作为分裂节点,同时通过阈值控制树的规模,得到从根节点到叶子节点路径的模糊规则以及模糊规则的隶属度、非隶属度以及犹豫度,并完成预测分类,直至生成WPFDT模型;最后,选取UCI上的3个医学数据集（Haberman、Breast Cancer、Parkinson）进行实验,在分类准确率和得出模糊规则的数量与3种传统决策树算法（模糊ID3算法、C4.5算法、CART算法）比较,实验结果表明：WPFDT在分类精度和树大小上都优于其他传统决策树算法,并且有较高的召回率和精确率。     

Attribute reduction based on background knowledge and its application in classification of astronomical spectra data

To improve the efficiency of the attribute reduction,we present an attribute reduction algorithm based on background knowledge and information entropy by making use of background knowledge from research fields.Under the condition of known background knowledge,the algorithm Can not only greatly improve the efficiency of attribute reduction,but also avoid the defection of information entropy partial to attribute with much value.The experimental result verifies that the algorithm is effective.In the end,the algorithm produces better results when applied in the classification of the star spectra data.