基于多尺度属性粒策略的快速正域约简算法

传统启发式正域属性约简算法在每次迭代的过程中需要添加当前正域依赖度最大的属性进入已选定的特征属性子集,算法迭代次数多且效率低,难以应用于高维大规模数据集的特征选择中。针对上述问题,研究决策系统中正域之间的单调关系,给出了多尺度属性粒（MSAG）的形式化描述,提出了一种基于多尺度属性粒的快速正域约简算法（MAG-QPR）。由于多尺度属性粒包含多个属性,可以对已选定的特征属性子集提供较大的正域,因此,通过每次迭代添加MSAG,可以达到减少迭代次数和使选定的特征属性子集能更快地趋近于条件属性全集的正域分辨能力的目的,从而提高了启发式正域约简算法的效率。在实验部分,选取8组UCI数据进行实验,对于数据集Lung Cancer、Flag和German,MAG-QPR与基于正向近似的正域保持属性约简算法（FSPA-PR）、基于正向近似的条件熵属性约简算法（FSPA-SCE）、后向贪婪正域保持属性约简算法（BGRAP）和后向贪婪启发式广义决策保持属性约简算法（BGRAG）的运行时间加速比分别为9.64、15.70、5.03、2.50;3.93、7.55、1.69、4.57;3.61、6.49、1.30、9.51。实验结果表明,所提算法MAG-QPR提高了算法效率,具有更好的分类精度。     

新的基于区分对象集的邻域粗糙集属性约简算法

基于正域的属性约简算法是利用"下近似"思想,仅考虑被正确区分样本数的约简算法。借鉴"上近似"的思想,利用"邻域信息粒"的概念定义了区分对象集,探讨了其基本性质,并提出了基于区分对象集的属性重要度度量及启发式属性约简算法。该约简算法既考虑信息决策表的相对正域,也考虑以核属性为启发信息逐个增加条件属性时对边界域样本的影响。通过实例分析,说明了所提算法的可行性,并且以6个UCI标准数据集为实验对象,与基于正域的属性约简算法进行对比实验。实验结果说明,采用提出的约简算法得到的约简属性集,与基于正域的属性约简算法相比,在进行分类任务时的分类精度能够保持不变或有所提高。     

基于新的条件熵的决策表约简方法

分析了在知识约简过程中现有条件熵的不足,在一致和不一致对象分开的基础上,定义了一种新的条件熵概念,以弥补现有信息熵的不足,在此基础上给出了以不等式为条件的约简判定定理;然后以条件属性子集的条件熵来度量其对决策分类的重要性,提出了一种新的知识约简启发式方法.应用实例分析的结果表明,基于新的条件熵的属性重要性是一种更准确、更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优知识约简.     

基于容差关系的不完备决策系统属性约简算法

给出容差关系下不完备决策系统中属性相对约简的定义,提出一种基于决策属性相对条件属性正域的求取属性约简算法。该算法以相对正域为迭代准则,以所有条件属性为初始约简集合,通过逐步缩减来求取约简,保证了所求取的约简对问题的分类能力不会减弱。同时给出该算法的时间复杂度分析,并举例验证了该算法的有效性和实用性。     

基于容差关系的不完备决策系统属性约简算法

给出容差关系下不完备决策系统中属性相对约简的定义，提出一种基于决策属性相对条件属性正域的求取属性约简算法。该算法以相对正域为迭代准则，以所有条件属性为初始约简集合，通过逐步缩减来求取约简，保证了所求取的约简对问题的分类能力不会减弱。同时给出该算法的时间复杂度分析，并举例验证了该算法的有效性和实用性。     

Spark下的分布式粗糙集属性约简算法

属性约简（特征选择）作为数据预处理的重要环节,大多以属性依赖作为筛选属性子集的标准。设计了一种快速依赖计算方法FDC,通过直接寻找基于相对正域的对象来计算依赖度,而不需要预先求出相对正域,相比传统方法在速度上有明显的性能提升。另外,改进鲸鱼优化算法（WOA）使其能够有效应用于粗糙集属性约简。结合上述两个方法,提出一种基于Spark的分布式粗糙集属性约简算法SP-WOFRST,并在两组人工合成的大数据集上与另一种基于Spark的粗糙集属性约简算法SP-RST进行对比实验。实验结果表明所提出的SP-WOFRST算法在精度和速度上均优于SP-RST。     

一种基于属性重要性的启发式约简算法

属性约简是知识发现中的关键问题之一.为了能够有效地获取决策表中条件属性集的最小相对约简,本文首先利用代数方法描述决策表中的属性的重要性,提出了限制正域的概念,得到了关于限制正域的若干结果,并据此提出一种改进的属性约简算法,即以属性核为起点并结合算子,通过向属性核不断添加重要程度最大的属性,并利用已求得的正区域和限制正域使处理数据的范围不断缩小从而减少求约简的时间. 该算法能够节省得到决策表的最小约简的时间并能得到所有相对约简.实例分析也验证了该算法的有效性.     

基于多决策值等价类的属性约简

针对决策信息系统属性约简问题,引入条件属性的多决策值等价类概念,给出实现属性约简的必要条件,提出一种基于多决策值等价类的属性约简算法.该算法以单个条件属性的等价类的基为升序,对条件属性进行排序,逐一选择排序后的条件属性合并,直至合并后的条件属性子集的正域为全域,进一步判断其是否独立且不可区分关系与原信息系统的不可区分关系是否相同.当条件满足时,该条件属性子集即为决策信息系统的属性约简.通过实例验证了该算法求解属性约简的有效性.     

基于边界域的条件信息熵和属性约简

为了建立边界域条件信息熵与属性约简之间的关系,证明了边界域和整个论域上的条件信息熵相等,得到信息熵约简的边界域条件信息熵表示。利用严凸函数和Jensen不等式,讨论了边界域条件信息熵的若干性质,给出保持边界域条件信息熵不变的充要条件。为了得到正域约简的边界域条件信息熵表示,给出了保持正域不变的边界域条件信息熵充要条件,从而得到正域约简的边界域条件熵判定方法,它是一致决策表正域约简判定方法的推广形式。最后设计一个数值算例阐述如何应用边界域条件信息熵计算正域约简和信息熵约简。     

基于双重粒化准则的邻域多粒度粗集快速约简算法

由于可以从多粒度、多层次的角度对名词型和数值型属性并存的混合数据进行有效处理,邻域多粒度粗糙集模型受到了广泛关注.为了有效降低属性约简计算过程中的迭代次数,实现邻域多粒度粗糙集模型的快速属性约简算法,基于双重粒化准则,深入分析不同属性子集序列和邻域半径对正域的影响,结合正域在属性子集和邻域半径共同作用下的单调性,提出一种基于双重粒化准则的邻域多粒度粗集快速约简算法,并通过理论分析与实例对比验证了算法的有效性和优越性.     

粗糙集和信息熵的属性约简算法及其应用

阐述粗糙集理论和信息熵的基本概念,并为寻找属性约简的有效方法,提出一种基于粗糙集和信息熵的属性约简算法。在决策表中添加某个属性引起的互信息变化的大小,以反映该属性的重要性,并求相对约简。研究表明,该算法不仅能得到最优的决策规则,而且能够减少信息系统所需的搜索空间,得到更优的属性约简效果。     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

邻域互补信息度量及其启发式属性约简

信息熵体系是进行不确定刻画与近似推理的重要理论,已经被引入粗糙集进行数据分析与智能处理。经典的互补熵、互补条件熵和互补互信息能够刻画粗糙性与模糊性,该信息体系的拓展具有应用意义。本文基于邻域粗糙集,扩张构建邻域互补信息度量并研究其启发式属性约简。通过解析式模拟与信息粒替换,定义邻域互补熵、邻域互补条件熵和邻域互补互信息,得到系统方程、双界刻画和粒化非单调性;基于邻域互补互信息,提出非单调属性约简并设计启发式约简算法;采用决策表实例与UCI数据实验有效验证性质与算法。基于邻域扩张,相关信息度量与属性约简具有应用前景。     

信息观下基于不一致邻域矩阵的属性约简

信息观下研究邻域决策系统的属性约简是一种新颖的思路. 通过分析论域下某样本邻域中其他样本与该样本决策属性值的异同, 定义不一致邻域矩阵. 在计算属性重要度时, 利用不一致邻域减少在原条件属性基础上增加一个属性后条件熵的计算时间. 分析得到邻域系统下条件熵与正域的关系, 提出一种信息观下基于不一致邻域矩阵的属性约简算法, 并分析该算法与其他算法的内在联系. 实验结果验证了所提出算法的有效性.

     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

互信息的序决策信息系统属性约简研究

优势关系粗糙集理论是粗糙集理论有意义的推广,决策信息系统知识约简是粗糙集理论的核心内容之一.通过在协调序决策信息系统中引入条件熵、互信息概念,给出了基于条件熵、互信息的协调序决策信息系统属性约简算法,并通过学生评价决策信息系统验证了该算法的有效性,使协调序决策信息系统的属性约简得到了扩展.在不协调序决策信息系统中引入限定条件熵、限定互信息概念,并给出基于限定互信息的不协调序决策信息系统属性约简算法,为不协调序决策信息系统的属性约简的应用提供了可行的解决方法.     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。     

基于邻域粗糙互信息熵的非单调性属性约简

属性约简是粗糙集理论一项重要的应用,目前已广泛运用于机器学习和数据挖掘等领域,邻域粗糙集是粗糙集理论中处理连续型数据的一种重要方法.针对目前邻域粗糙集模型中属性约简存在的缺陷,构造一种基于邻域粗糙集的邻域粗糙熵模型,并基于此给出邻域粗糙联合熵、邻域粗糙条件熵和邻域粗糙互信息熵等概念.邻域粗糙互信息熵是评估属性集相关性的一种重要的方法,具有非单调性变化的特性,对此,提出一种基于邻域粗糙互信息熵的非单调性属性约简算法.实验分析表明,所提出算法不仅比目前已有的单调性属性约简算法具有更优越的属性约简结果,而且具有更高的约简效率.     

Conditional entropy for incomplete decision systems and its application in data mining

Rough set theory is a useful mathematic tool for dealing with vague and uncertain information. Shannon's entropy and its variants have been applied to measure uncertainty in rough set theory from the viewpoint of information theory. However, few studies have been carried out on information-theoretical measure of attribute importance in incomplete decision system (IDS) considering the relation between decision attribute and condition attributes. In this paper, we introduce the concept of conditional entropy together with entropy and joint entropy in IDSs. By using the new conditional entropy, we propose a measure for attribute importance. Based on the measure, a heuristic attribute reduction algorithm is presented. Some test experiments on real-lift data-sets show the effectiveness of the algorithm. The attribute importance measure and the attribute reduction algorithm can be used in data mining or machine learning for handling incomplete data.