基于模糊工具箱和ROSETTA的粗糙集数据挖掘

针对大量连续属性值的数据挖掘,提出了一种基于模糊工具箱和ROSETTA软件的粗糙集数据挖掘方法.在粗糙集理论的基础上,应用模糊工具箱中的模糊聚类方法离散分类连续属性值,并将其转化为粗糙集易于处理的知识表格.应用粗糙集数据挖掘软件ROSETTA对这些知识表格进行知识约简处理.通过约简知识属性和属性值,得到连续属性值的核心知识规则,并以实测数据为例,说明了该方法的实现过程和有效性.     

粒矩阵及其在知识约简中的应用

知识约简是粗糙集理论精髓之一,目前有多种基于粗糙集理论的知识约简算法,相关研究基本集中在属性约简,对属性值的约简研究相对较少。在定义粒矩阵和矩阵运算的基础上,提出了基于粒矩阵的知识约简方法。它既能进行属性约简也能进行属性值约简,旨在把对属性值的逐行约简转化为对范畴的直接简化。算例表明了基于粒矩阵的知识约简方法的基本思想。     

粗糙集和信息熵的属性约简算法及其应用

阐述粗糙集理论和信息熵的基本概念,并为寻找属性约简的有效方法,提出一种基于粗糙集和信息熵的属性约简算法。在决策表中添加某个属性引起的互信息变化的大小,以反映该属性的重要性,并求相对约简。研究表明,该算法不仅能得到最优的决策规则,而且能够减少信息系统所需的搜索空间,得到更优的属性约简效果。     

基于FCM的相似关系粗糙集属性约简方法

对具有连续属性值的信息系统的属性约简是粗糙集理论的研究热点之一。区别于传统通过连续属性离散化方法定义的等价关系,提出利用自适应的模糊C均值聚类的初步划分能力定义一种相似关系以及其自适应形式。基于该相似关系定义的粗糙集模型较好地排除噪声数据。提出正域与非正域定义以及从中导出的一种重要度以指导属性约简。与现有方法的比较实验表明该方法在属性约简上具有有效性和稳定性以及约简结果的合理性。     

基于k-原型聚类和粗糙集的属性约简方法

基于k-原型聚类和等价关系下的粗糙集理论,对含有连续值和符号值的目标信息系统提出了一种新的适用于混合数据的属性约简方法.首先,k-原型聚类可以通过定义混合数据的距离而得到信息系统的类簇,形成对论域的划分.将所得到的类簇代替粗糙集理论中的等价类,提出基于聚类的近似集、正域以及正域约简的概念,并根据信息熵定义属性重要性度量,建立了变精度正域约简方法.这种属性约简可以同时处理数值型和符号型数据,去除其中的冗余属性,提高分类性能,降低存储和算法运行时间耗费,并通过调节聚类参数k得到对论域不同粒度的划分,对所得到的约简进行优化.最后在UCI数据集上进行了大量的实验,针对分类问题采用了常见的4种分类算法,比较了约简前后的分类精度,详细分析了参数对结果的影响,验证了约简方法的有效性.     

基于相对决策嫡的决策树算法及其在入侵检测中的应用

为了弥补传统决策树算法的不足,提出一种基于相对决策熵的决策树算法DTRDE。首先,将Shannon提出的信息熵引入到粗糙集理论中,定义一个相对决策熵的概念,并利用相对决策熵来度量属性的重要性;其次,在算法DTRDE中,采用基于相对决策熵的属性重要性以及粗糙集中的属性依赖性来选择分离属性,并且利用粗糙集中的属性约简技术来删除冗余的属性,旨在降低算法的计算复杂性;最后,将该算法应用于网络入侵检测。在KDD Cup99数据集上的实验表明,DTRDE算法比传统的基于信息熵的算法具有更高的检测率,而其计算开销则与传统方法接近。     

基于相对可辨识矩阵的决策表属性约简算法

针对现有属性约简算法存在的问题,利用信息论和粗糙集理论,提出一种基于相对可辨识矩阵的决策表属性约简算法.该算法以核属性为基础,通过建立相对可辨识矩阵,利用条件信息熵作为启发式信息,减少属性约简过程中的搜索空间,逐个添加条件信息熵最大的属性,直到找出最小约简为止,并分析了该算法的时间复杂度.实例分析结果表明,该算法能有效地对决策表属性进行约简.     

粗糙集理论和DT_SVM在Web信息过滤中的应用

针对Web信息过滤问题,提出一种将粗糙集理论和决策树SVM(DT_SVM)相结合进行数据分类、过滤的新方法。该方法运用改进的启发式相对属性约简算法消除冗余、降低样本空间维数,通过聚类和DT_SVM相结合来训练SVM,将多分类问题转化为二值分类问题,提高了训练速度及过滤精度。实验表明,该算法得到了较高的查全率、查准率,体现了将粗糙集理论与DT_SVM算法结合的优越性。     

基于粗糙集的柴油机故障诊断系统设计

利用基于粗糙集的知识约简和决策规则提取算法,将柴油机故障信息值进行约简,求出其决策规则,完成柴油机的故障信息条件属性值约简和决策规则提取程序设计.采用正向推理及相关控制策略实现推理机,完成故障诊断系统的诊断推理操作.基于粗糙集的属性约简和决策规则提取十分有效,大大减少了推理的时间,提高了系统的工作效率.     

基于决策协调度的最简决策树生成算法

在构造决策树的过程中,分离属性的选择方法直接影响着分类效果.采用粗糙集理论中决策协调度为分离属性的标准,提出条件确定度概念,并以此来控制树的增长.实例表明,与基于信息熵的ID3算法相比,该方法无需进行属性约简就可以得到复杂性较低的决策树,且能有效提高分类效果.     

基于信息熵的粗糙集属性应急数据去重挖掘算法研究

粗糙集属性应急数据存在冗余特征,降低挖掘效率,提出基于信息熵的粗糙集属性应急数据去重挖掘算法.将粗糙集理论和信息熵相结合,离散化处理应急数据,离散化完成后,约简对于决策表的条件信息熵大小不产生任何影响的属性,设定决策属性集合和条件属性集合,选取将同约简属性集合B的属性组合数目最小的熵值实现约简,去除冗余特征,完成应急数据去重挖掘.以大型船舶应急数据为研究对象展开数据去重挖掘,结果表明:可有效去重挖掘到船舶旋回性相关应急数据,利用数据增比特征能够分析到各因素对船舶旋回性的影响,并且所研究算法的挖掘效率较高,在数据量为1400条时,耗时仅为0.33 s.     

互信息的序决策信息系统属性约简研究

优势关系粗糙集理论是粗糙集理论有意义的推广,决策信息系统知识约简是粗糙集理论的核心内容之一.通过在协调序决策信息系统中引入条件熵、互信息概念,给出了基于条件熵、互信息的协调序决策信息系统属性约简算法,并通过学生评价决策信息系统验证了该算法的有效性,使协调序决策信息系统的属性约简得到了扩展.在不协调序决策信息系统中引入限定条件熵、限定互信息概念,并给出基于限定互信息的不协调序决策信息系统属性约简算法,为不协调序决策信息系统的属性约简的应用提供了可行的解决方法.     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

决策属性未知下的学生评教粗糙集分析

为实现更为客观合理的学生评教,基于粗糙集方法进行智能化分析。粗糙集方法必然涉及到分析含有决策属性的决策表,而实际学生评教中由于缺乏客观的尺度评定教师的教学质量,造成相应决策属性的未知性。借鉴督导专家评价的优势,基于Kruskal最大树模糊聚类方法对专家评价数据予以划分来获取决策属性,与学生评教数据集组合,构造完整的决策表。基于粗糙集方法从信息熵的角度来客观求取各评教指标的权重值,完成对待评教教师的决策评价分析。实例分析及对比实验证明了方法的有效性和优越性。     

Decision-relative discernibility matrices in the sense of entropies

Abstract

In rough set theory, attribute reduction is a basic issue, which aims to hold the discernibility of the attribute set. To obtain all of the reducts of an information system or a decision table, researchers have introduced many discernibility matrices based reduction methods. However, the reducts in the sense of positive region can only be obtained by using the existing discernibility matrices. In this paper, we introduce two discernibility matrices in the sense of entropies (Shannon’s entropy and complement entropy). By means of the two discernibility matrices, we can achieve all of the reducts in the sense of Shannon’s entropy and all of the reducts in the sense of complement entropy, respectively. Furthermore, we discover the relationships among the reducts in the sense of preserving positive region, Shannon’s entropy and complement entorpy. The experimental studies show that by the proposed decision-relative discernibility matrices based reduction methods, all the reducts of a decision table in sense of entropies can be obtained.     

Approaches to knowledge reduction of covering decision systems based on information theory

In this paper, we propose some new approaches for attribute reduction in covering decision systems from the viewpoint of information theory. Firstly, we introduce information entropy and conditional entropy of the covering and define attribute reduction by means of conditional entropy in consistent covering decision systems. Secondly, in inconsistent covering decision systems, the limitary conditional entropy of the covering is proposed and attribute reductions are defined. And finally, by the significance of the covering, some algorithms are designed to compute all the reducts of consistent and inconsistent covering decision systems. We prove that their computational complexity are polynomial. Numerical tests show that the proposed attribute reductions accomplish better classification performance than those of traditional rough sets. In addition, in traditional rough set theory, MIBARK-algorithm [G.Y. Wang, H. Hu, D. Yang, Decision table reduction based on conditional information entropy, Chinese J. Comput., 25 (2002) 1-8] cannot ensure the reduct is the minimal attribute subset which keeps the decision rule invariant in inconsistent decision systems. Here, we solve this problem in inconsistent covering decision systems.     

A Distribution-Index-Based Discretizer for Decision-Making with Symbolic AI Approaches

When symbolic AI approaches are applied to handle continuous valued attributes, there is a requirement to transform the continuous attribute values to symbolic data. In this paper, a novel distribution-index-based discretizer is proposed for such a transformation. Based on definitions of dichotomic entropy and a compound distributional index, a simple criterion is applied to discretize continuous attributes adaptively. The dichotomic entropy indicates the homogeneity degree of the decision value distribution, and is applied to determine the best splitting point. The compound distributional index combines both the homogeneity degrees of attribute value distributions and the decision value distribution, and is applied to determine which interval should be split further; thus, a potentially improved solution of the discretization problem can be found efficiently. Based on multiple reducts in rough set theory, a multiknowledge approach can attain high decision accuracy for information systems with a large number of attributes and missing values. In this paper, our discretizer is combined with the multiknowledge approach to further improve decision accuracy for information systems with continuous attributes. Experimental results on benchmark data sets show that the new discretizer can improve not only the multiknowledge approach, but also the naive Bayes classifier and the C5.0 tree     

基于粗糙集理论与CAIM准则的C4.5改进算法

C4.5算法是一种非常有影响力的决策树生成算法,但该方法生成的决策树分类精度不高,分支较多,规模较大.针对C4.5算法存在的上述问题,本文提出了一种基于粗糙集理论与CAIM准则的C4.5改进算法.该算法采用基于CAIM准则的离散化方法对连续属性进行处理,使离散化过程中的信息丢失程度降低,提高分类精度.对离散化后的样本用基于粗糙集理论的属性约简方法进行属性约简,剔除冗余属性,减小生成的决策树规模.通过实验验证,该算法可以有效提高C4.5算法生成的决策树分类精度,降低决策树的规模.