基于系统熵的粗糙集属性约简新方法

在系统熵的基础上,定义了一种新的属性重要度并提出了一种基于改进系统熵的粗糙集属性约简算法,实验分析表明,该属性重要度为启发式信息进行的属性约简,取得了理想效果。     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。     

基于知识粗糙熵的快速属性约简算法

针对基于正域的属性约简算法在约简过程中存在重复计算属性相对重要度从而导致算法效率低的问题,从属性度量和搜索策略的角度提出基于知识粗糙熵的快速属性约简算法。首先,在决策信息系统中通过引入知识距离提出知识粗糙熵以度量知识的粗糙程度;其次,利用知识粗糙熵作为属性显著度的评价标准来评估单个属性的重要程度;最后,利用属性重要度对所有条件属性进行排序,且通过属性依赖度删除冗余属性,从而实现快速约简。在六个公开数据集上将所提算法与其他三种算法在运行效率和分类精度上进行对比实验。结果表明,该算法的运行效率比其他三种算法分别提高了83.24%、28.77%和59.92%;在三种分类器中,分类精度分别平均提高了0.83%、0.63%和1.37%。因此,所提算法在保证分类性能的同时,能以更快的速度获得约简。     

基于属性重要性的逐步约简算法

粗糙集理论研究的重要内容之一是知识约简的有效性计算问题，目前求解知识约简的算法主要有两种：一种是利用辨识矩阵构造区分函数，另外一种是基于属性重要性的启发式算法．这两种算法均能求得决策系统的最小或次小约简，但由于计算的复杂度高，所以当数据量增大时这些算法的计算性能是不能令人满意的．本文在对后一种算法充分研究的基础上设计了基于属性重要性的逐步约简算法，利用在决策系统中己获得的正区域逐步缩小数据处理范围，减少求解时间．本文将该算法与基于属性重要性的算法进行了实验比较并对结果进行了分析．     

决策表知识约简及其条件熵特征刻画

建立决策表中知识与粗糙熵之间的关系,由此提出决策概念集的条件粗糙熵概念,进而推广为知识的条件熵,并证明知识的条件熵随信息粒度的变小而单调减少的规律,在此基础上给出以不等式为条件的约简判定定理.以此得到知识约简过程中启发式搜索的条件,结合分层递减的思想,设计基于条件熵的决策表知识约简算法.应用实例分析的结果表明,该算法是有效的.     

一种基于粗糙熵的知识约简算法

描述了知识的粗糙性,提出了知识的粗糙熵概念,建立了信息系统中知识与粗糙熵之间的关系,并通过知识的粗糙熵对属性的重要性进行了定义。在此基础上,提出了基于粗糙熵的知识约简算法,该算法的时间复杂性为O(｜R｜3｜U｜2)。通过例子分析,表明该算法是有效的。     

基于近似决策熵的属性约简

粗糙集理论已被证明是一种有效的属性约简方法. 目前有许多启发式属性约简算法已被提出, 其中基于信息熵的属性约简算法受到了广泛的关注. 为此, 针对现有的基于信息熵的属性约简算法问题, 定义一种新的信息熵模型—–近似决策熵, 并提出一种基于近似决策熵的属性约简(ADEAR) 算法. 通过在多个UCI 数据集上的实验表明, 与现有算法相比, ADEAR算法能够获得较小的约简和较高的分类精度, 具有相对较低的计算开销.     

HU的属性约简方法与相对熵约简的等价性

出于不同的应用目的,许多学者提出了各种不同的属性约简概念.给出相对熵保持不变的条件,利用相对熵定义了决策表的相对熵约简,证明相对熵约简与HU的差别矩阵和差别函数的约简方法是等价的.     

带权重条件嫡的属性约简算法

粗糙集理论中最重要的内容之一就是属性约简问题,现有的许多属性约简算法往往是基于属性对分类的重要性,如果属性约简的结果能满足用户实际需要的信息,如成本、用户的偏好等,那么约简理论将会有更高的实用价值。基于此,从信息熵的角度定义了带权重的属性重要性,然后重新定义了基于带权重的属性重要性的熵约简算法。最后通过实际例子说明,与基于属性重要性的嫡约简算法相比,考虑权重的算法更加符合用户的实际需求。     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

基于信息熵的决策表约简

从信息论的角度,对决策表中属性重要性的大小进行度量,并在此基础上,提出了一种基于互信息大小的知识约简算法,实例表明能够有效得到决策表的近似最小约简。     

一种综合信息熵和遗传算法的知识约简方法

针对粗糙集理论核心内容之一的知识约简问题,本文结合信息论有关知识,给出了粗糙集理论中一些概念和运算的信息表示,并利用遗传算法作为约简工具,提出了一种知识相对约简的方法．为使所得约简相对最优,将条件信息熵的重要性定义融入了适值函数中．同时,在适值函数的选取上引入了惩罚函数和罚系数,从而保证所求的约简在包含最少而又非零个属性的基础上保持原有的分类能力．通过实例分析可看出,该算法对求解约简问题是快速有效的．     

一种基于信息熵加权的属性约简算法

针对现有邻域粗糙集模型中存在属性权重都相同,无法保证关键属性在属性约简时能够被保留的问题,提出了一种基于信息熵加权的属性约简算法。首先,采用了类间熵、类内熵策略,以最大化类间熵最小化类内熵为原则给属性赋予权重;其次,构造了基于加权邻域关系的加权邻域粗糙集模型;最后,基于依赖关系评估属性子集的重要性,从而实现属性约简。在基于UCI数据集上与其他三种属性约简算法进行对比实验,结果表明,该算法能够有效去除冗余,提高分类精度。     

基于新的条件熵的决策表约简方法

分析了在知识约简过程中现有条件熵的不足,在一致和不一致对象分开的基础上,定义了一种新的条件熵概念,以弥补现有信息熵的不足,在此基础上给出了以不等式为条件的约简判定定理;然后以条件属性子集的条件熵来度量其对决策分类的重要性,提出了一种新的知识约简启发式方法.应用实例分析的结果表明,基于新的条件熵的属性重要性是一种更准确、更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优知识约简.     

基于信息熵的粗糙集属性约简及其应用

粗集约简对噪声非常敏感,因此寻求噪声干扰下,属性间的准确关系和不确定性关系的表达显得十分重要。将粗糙集理论与信息论理论结合起来,发挥各自优势,取长补短,提出了一种改进的属性约简算法,且在此基础上进行了值约简并应用于超大型船舶的旋回性分析。给出了各因素之间的依赖关系,增比特征,及规则分析。取得了很好效果,对船舶操纵和技术研究有良好的实用价值。     

一种优化的不完备信息系统知识约简算法

以不完备信息系统为研究对象,对传统粗糙熵及相应知识约简算法的局限性进行了分析;通过引入概率计算公式,重新定义了不完备熵概念,能够更加精确地度量知识的不确定性;利用粗糙熵和不完备熵联合对属性重要性进行了定义.在此基础上提出了优化的知识约简算法,该算法的时间复杂度是多项式的.通过实例说明,该算法比传统的基于粗糙熵的算法能得到更优的最小约简.     

基于覆盖算法的条件信息熵表示及属性约简

利用覆盖算法对数据进行处理,得到论域U的一个划分,定义一种基于覆盖的条件信息熵,由新的条件信息熵定义新的属性重要性,并证明了对于一致决策表,它与代数定义下的重要性是等价的。以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的算法。实验结果表明该约简算法能快速搜索到最优或次优约简。     

基于包含度的不一致决策表约简新方法

在不一致决策表中,以知识的包含度为基础,将一致和不一致对象分开,定义了一种新的属性重要性;为克服区分矩阵法时间复杂度随系统大小增加而指数增长的缺陷,给出分布约简的数学判定定理,提出了一种求分布约简的启发式方法。实例验证分析表明,新的属性重要性是一种更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优约简。