基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

Approaches to knowledge reduction of covering decision systems based on information theory

In this paper, we propose some new approaches for attribute reduction in covering decision systems from the viewpoint of information theory. Firstly, we introduce information entropy and conditional entropy of the covering and define attribute reduction by means of conditional entropy in consistent covering decision systems. Secondly, in inconsistent covering decision systems, the limitary conditional entropy of the covering is proposed and attribute reductions are defined. And finally, by the significance of the covering, some algorithms are designed to compute all the reducts of consistent and inconsistent covering decision systems. We prove that their computational complexity are polynomial. Numerical tests show that the proposed attribute reductions accomplish better classification performance than those of traditional rough sets. In addition, in traditional rough set theory, MIBARK-algorithm [G.Y. Wang, H. Hu, D. Yang, Decision table reduction based on conditional information entropy, Chinese J. Comput., 25 (2002) 1-8] cannot ensure the reduct is the minimal attribute subset which keeps the decision rule invariant in inconsistent decision systems. Here, we solve this problem in inconsistent covering decision systems.     

Information entropy for ordinal classification

Ordinal classification plays an important role in various decision making tasks.However, little attention is paid to this type of learning tasks compared with general classification learning.Shannon information entropy and the derived measure of mutual information play a fundamental role in a number of learning algorithms including feature evaluation, selection and decision tree construction.These measures are not applicable to ordinal classification for they cannot characterize the consistency of monotonic...     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

基于相对决策嫡的决策树算法及其在入侵检测中的应用

为了弥补传统决策树算法的不足,提出一种基于相对决策熵的决策树算法DTRDE。首先,将Shannon提出的信息熵引入到粗糙集理论中,定义一个相对决策熵的概念,并利用相对决策熵来度量属性的重要性;其次,在算法DTRDE中,采用基于相对决策熵的属性重要性以及粗糙集中的属性依赖性来选择分离属性,并且利用粗糙集中的属性约简技术来删除冗余的属性,旨在降低算法的计算复杂性;最后,将该算法应用于网络入侵检测。在KDD Cup99数据集上的实验表明,DTRDE算法比传统的基于信息熵的算法具有更高的检测率,而其计算开销则与传统方法接近。     

信息熵在粗糙集中衍生的几个概念

随着对粗糙集理论研究的的深入,基于信息论的信息熵陆续被引入到粗糙集研究中,陆续产生了一些如条件熵、联合熵、知识熵、决策熵、知识粗糙熵、粗集粗糙熵等新的概念,尽管丰富了粗糙集理论和应用,但使用中存在语义不统一的地方,甚至缺乏必要的说明和证明。对这些有价值的新概念作了系统的、严格的、规范的定义及阐述,给出了它们的公式表示,同时,通过相关熵的运算揭示彼此间的关系,最后指出这些熵的应用范畴,以便研究人员在清楚概念的基础上作进一步研究。     

基于粗糙集与属性值聚类的决策树改进算法

采用粗糙集理论和属性值聚类相结合的方法,从决策树最优化的三个原则对其进行优化。首先,采用粗糙集理论的约简功能求出相对核,并利用信息熵作为启发信息求出相对约简,以此来保证生成决策树的路径最短和减少决策树的节点数。其次,在选择特征属性时,在信息熵增益最大的前提下,根据属性值间的相异性距离来对属性值聚类使其能够接近单峰分布。通过对UCI数据实验分析,结果表明很大程度上减少了决策树的节点数和决策树的深度。     

基于信息熵的模糊多属性决策供应商选择方法

提出了一种针对供应商选择最优决策问题的基于信息熵的模糊多属性决策方法。针对供应商的多属性决策问题,确定属性集,利用信息熵求出各属性权重,运用模糊数排序方法对方案的模糊效用值进行排序,以确定最优方案。最后以某企业为例做了实例分析,将此方法应用于对这五个供应商进行评分排序,并从中选择出最为合适的供应商,表明此方法行之有效。     

关于决策表约简的CEBARKNC算法改进

CEBARKNC算法是基于条件信息熵的决策表约简算法，但是该算法对于某些决策表的约简是不完全的。通过对CEBARKNC算法的分析，找出该算法的约简不完全的原因，并讨论了启发信息的构造，进而在此基础上提出了以粗糙集的代数理论为基础，以条件信息熵为属性约简的启发式信息的改进算法。     

决策表知识约简及其条件熵特征刻画

建立决策表中知识与粗糙熵之间的关系,由此提出决策概念集的条件粗糙熵概念,进而推广为知识的条件熵,并证明知识的条件熵随信息粒度的变小而单调减少的规律,在此基础上给出以不等式为条件的约简判定定理.以此得到知识约简过程中启发式搜索的条件,结合分层递减的思想,设计基于条件熵的决策表知识约简算法.应用实例分析的结果表明,该算法是有效的.