基于邻域信息熵度量数值属性快速约简算法

阐述邻域粗糙集和邻域信息熵的基本定义及性质,为避免数值属性信息系统属性约简过程中,属性离散化造成特征信息的丢失,提出一种新的基于邻域信息熵度量数值属性约简算法。扩展邻域信息系统核属性集生成约简属性集,邻域信息熵度量不仅关注约简属性集正域变化,而且考察负域样本空间约简属性邻域等价类在决策属性划分的分布,具备更好的邻域关系度量细粒度。实验表明,对比邻域粗糙集近似度量、邻域有效信息率度量、邻域软间隔度量的属性约简方法,该算法能有效进行邻域信息系统属性约简的同时,也保持了约简属性集更好的分类精度。     

不完备决策表属性约简的CIEARAWCC算法

不完备信息系统中的属性约简是粗集理论应用的难点。通过引入信息熵和条件信息熵,对信息系统中属性的必要性进行了定义,提出了一种基于条件信息熵的属性约简启发式算法。通过引入相对正域,有效地解决了不一致系统属性约简过程中产生的冗余属性问题,并分析了该算法的时间复杂度。最后,通过实例说明该算法能得到不完备决策表的最小相对约简。     

随机信息系统属性相关性及在知识约简中的应用

引入随机信息系统的属性的信息熵,利用属性的信息熵来刻画随机信息系统的属性之间的相关性。提出一种利用属性相关性来进行随机信息系统知识约简的方法并给出基于该方法进行知识约简的算法。     

基于条件信息熵的多值信息系统的属性约简

从信息论的角度提出了多值决策信息系统的信息熵和条件信息熵的概念,在此基础上提出了一种属性约简算法,以一种新的形式的属性重要性为启发式信息,减小了知识约简过程中的搜索空间,实验分析表明,该算法能得到多值信息系统的最小约简。     

基于MapReduce的高效粗糙集属性约简算法

针对粗糙集理论中传统的基于正域的属性约简算法和基于信息熵的属性约简算法无法得到最小约简集的问题,给出基于信息熵改进的属性约简算法,即先使用条件熵识别出重要度值最大的属性,使用正域进行约简判断。在此基础上,设计了高效的基于MapReduce的信息熵改进属性约简算法。以真实海量气象数据为基础,在Hadoop集群上实现上述算法,验证了该算法的有效性和效率。     

应用近似模糊熵的不完备信息系统属性约简

属性约简是Rough集理论的重要研究内容,基于信息熵的属性约简是一种有效的属性约简方法。在实际应用中,获取的信息系统通常是不完备的。针对这种问题,在容差关系下对个体进行分类时,基于属性子集redu与CAttr(属性全集)-redu之间的内在联系,定义了一种新的知识熵,提出了一种新的应用近似模糊熵的不完备信息系统属性约简算法(newS算法),其时间复杂度是O(｜C｜²∑mi=1(k^p_i)²)。最后,在ROSE和UCI data中的6个数据集上进行了实验仿真,结果表明newS算法是可行的,并且在同等约简效果下与其他算法相比具有更高的属性约简效率。     

粗糙集和信息熵的属性约简算法及其应用

阐述粗糙集理论和信息熵的基本概念,并为寻找属性约简的有效方法,提出一种基于粗糙集和信息熵的属性约简算法。在决策表中添加某个属性引起的互信息变化的大小,以反映该属性的重要性,并求相对约简。研究表明,该算法不仅能得到最优的决策规则,而且能够减少信息系统所需的搜索空间,得到更优的属性约简效果。     

一种基于粗集理论的增量式属性约简算法

增量式学习中,当信息系统的对象和决策属性不变而不断增加条件属性时,为了获得该系统的约简属性,一般方法是对决策表中的所有数据重新计算,但这种方法显然效率很低且不必要.在粗集理论的基础上,给出相对区分矩阵和绝对区分矩阵的定义,提出一种新的增量式属性约简算法.通过实例得知:由该算法得到的属性约简与传统算法得到的属性约简结果相同,但该算法不仅降低了时间复杂度而且其分类质量一般要优于原来的分类质量,所以该属性约简具有一定的实用价值.     

基于分类质量的决策系统属性约简新算法

首先简要介绍几种决策表的属性约简算法,分析各种算法的优缺点,然后在此基础上提出一种新的属性约简算法——基于分类质量的决策系统属性约简算法。该算法对完备信息系统和不完备信息系统都是通用的,从其得到满意的属性约简,最后通过实例验证该算法的正确性和有效性。     

一种基于粗糙集文本自动分类的改进算法

自动文本分类的效果在很大程度上依赖于属性特征的选择。针对传统基于频率阈值过滤的特征选择方法会导致有效信息丢失,影响分类精度的不足,提出了一种基于粗糙集的文本自动分类算法。该方法对加权后的特征属性进行离散化,建立一个决策表;根据基于依赖度的属性重要度对决策表中条件属性进行适当的筛选;采用基于条件信息熵的启发式算法实现文本属性特征的约简。实验结果表明,该方法能约简大量冗余的特征属性,在不降低分类精度的同时,提高文本分类的运行效率。     

一种基于条件熵的决策表属性约简并行算法*

本文以分类为基础提出了一种基于条件熵的决策表属性并行约简算法。该算法通过条件熵的计算在属性约简的同时将原决策表逐层分解为相对于决策属性来说尽量均匀的子决策表,从而实现了属性约简的并行计算。本文随后对该算法的时间复杂度进行了分析,实验表明,该算法在效率方面优于传统算法。     

基于知识粗糙熵的快速属性约简算法

针对基于正域的属性约简算法在约简过程中存在重复计算属性相对重要度从而导致算法效率低的问题,从属性度量和搜索策略的角度提出基于知识粗糙熵的快速属性约简算法。首先,在决策信息系统中通过引入知识距离提出知识粗糙熵以度量知识的粗糙程度;其次,利用知识粗糙熵作为属性显著度的评价标准来评估单个属性的重要程度;最后,利用属性重要度对所有条件属性进行排序,且通过属性依赖度删除冗余属性,从而实现快速约简。在六个公开数据集上将所提算法与其他三种算法在运行效率和分类精度上进行对比实验。结果表明,该算法的运行效率比其他三种算法分别提高了83.24%、28.77%和59.92%;在三种分类器中,分类精度分别平均提高了0.83%、0.63%和1.37%。因此,所提算法在保证分类性能的同时,能以更快的速度获得约简。     

基于粒化单调的不完备混合型数据增量式属性约简算法

增量式属性约简是一种针对动态数据集的新型属性约简方法。然而目前的增量式属性约简很少有对不完备混合型的信息系统进行研究。针对这类问题提出一种属性增加时的增量式属性约简算法。在不完备混合型信息系统下引入邻域容差关系。基于邻域容差关系的粒化单调性,提出信息系统属性增加时邻域容差条件熵的增量式更新方法,并提出了不完备混合型信息系统下的邻域容差条件熵增量式属性约简算法。实验分析表明了该算法的有效性。     

基于粗糙集的启发式属性约简算法

对现有启发式属性约简算法进行分析,通过实例说明一般启发式算法求得的相对约简有冗余属性存在的问题.针对这一不足,利用粗糙集理论中的条件熵作为启发信息,来缩小搜索空间,并在算法中加入消除冗余属性的二次约简过程,得到一种改进的启发式属性约简算法.提供了实例分析,验证了该改进算法具有较好的约简效果.     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。     

证据理论与熵值融合的知识约简新方法

求解决策表的最小约简已被证明是NP-hard问题,在粗糙集和证据理论的基础上提出了一种知识约简的启发式算法。利用粗糙集等价划分的概念给出属性的信息熵,定义每个属性的熵值重要性并由此确定知识的核。引入二分mass函数对每个属性建立一个证据函数,证据融合得到每个属性的证据重要性。以核为起点,以证据重要性为启发,依次加入属性直至满足约简条件。实例表明,该方法能够快速找到核和相对约简,并且该约简运用到分类上正确率也是较高的。     

一种基于信息熵加权的属性约简算法

针对现有邻域粗糙集模型中存在属性权重都相同,无法保证关键属性在属性约简时能够被保留的问题,提出了一种基于信息熵加权的属性约简算法。首先,采用了类间熵、类内熵策略,以最大化类间熵最小化类内熵为原则给属性赋予权重;其次,构造了基于加权邻域关系的加权邻域粗糙集模型;最后,基于依赖关系评估属性子集的重要性,从而实现属性约简。在基于UCI数据集上与其他三种属性约简算法进行对比实验,结果表明,该算法能够有效去除冗余,提高分类精度。     

一种无决策属性的信息系统的属性约简算法

经典属性约简及其延伸算法是基于有决策属性的信息系统的属性约简算法,它们对无决策属性的信息系统的属性约简无能为力.为此,本文以粗集理论为基础,对无决策属性的信息系统从集合论的论域划分方面进行研究,提出了一种适用于无决策属性的信息系统的启发式属性约简算法.该算法在一定程度上能够解决无决策属性的信息系统属性约简问题,进一步扩展了粗集理论的应用范围.实例表明该算法是有效可行的.