一种基于粗糙熵的信息系统属性约简算法

在信息系统中,研究了知识的粗糙性,定义了一种粗糙熵度量方法,并证明了知识的粗糙熵随着划分的增大而单调增加的结论,给出了属性的重要性度量方法,在此基础上提出了一种基于粗糙熵的启发式属性约简算法。实例验证表明,该算法能有效地从信息系统中获取最优属性约简。     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

一种基于知识粒度的启发式属性约简算法

属性约简是粗糙集理论进行知识获取的核心问题之一。根据属性相似度与知识粒度的一致性,通过条件属性与决策属性以及条件属性之间的相似度度量,提出了一种基于知识粒度的启发式属性约简算法。根据条件属性与决策属性的相似度对条件属性进行降序排列,根据条件属性之间的相似度度量选择重要的属性,从而得到约简集合。理论分析与实验结果表明,该算法具有较高的运行效率和较好的约简效果。     

不完备邻域粗糙集的不确定性度量和属性约简

针对现有的属性约简算法不适合处理数值型属性和符号型属性共同存在的不完备数据,提出了一种拓展不完备邻域粗糙集模型。首先,通过考虑属性值的概率分布来定义缺失属性值之间的距离,可以度量具有混合属性的不完备数据;其次,定义了邻域混合熵来评价属性约简的质量,分析证明了相关的性质定理,并构造了一种基于邻域混合熵的不完备邻域粗糙集属性约简算法;最后从UCI数据集中选取了7组数据进行实验,并分别与基于依赖度的属性约简（ARD）、基于邻域条件熵的属性约简（ARCE）、基于邻域组合测度的属性约简（ARNCM）算法进行了比较。理论分析和实验结果表明,所提算法约简属性比ARD、ARCE、ARNCM分别减少了约1,7,0个,所提算法的分类精度比ARD、ARCE、ARNCM分别提高了约2.5,2.1,0.8个百分点。所提算法不仅能够获得较少的约简属性,同时具有较高的分类精度。     

一种基于信息熵加权的属性约简算法

针对现有邻域粗糙集模型中存在属性权重都相同,无法保证关键属性在属性约简时能够被保留的问题,提出了一种基于信息熵加权的属性约简算法。首先,采用了类间熵、类内熵策略,以最大化类间熵最小化类内熵为原则给属性赋予权重;其次,构造了基于加权邻域关系的加权邻域粗糙集模型;最后,基于依赖关系评估属性子集的重要性,从而实现属性约简。在基于UCI数据集上与其他三种属性约简算法进行对比实验,结果表明,该算法能够有效去除冗余,提高分类精度。     

一种基于变精度阈值的可拓熵不完备系统属性约简算法

针对变精度粗糙集要依据先验领域知识来确定变精度闲值,大大影响属性约简和分类效率等问题,本文将可拓学和粗糙集应用到熵理论中,并结合不完备知识系统属性约简特征,提出一种变精度闲值的可拓熵属性约简算法(RAEE),该算法充分利用可拓熵在处理动态变化数据方面优势,能动态确定因先验知识不足的变精度阈值β,并选取最优阁值区间确定属性间近似依赖为启发式标准来进行可拓熵β-近似属性约简.仿真实验结果表明,RAEE算法在不完备系统中属性约简效率较高且对噪音具有较好抗干扰性.     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

一种基于并行遗传算法的粗糙集属性约简

指出现有粗糙集属性约简算法的不足,考虑并行遗传算法在处理大型数据库上的特有优势,将粗糙熵作为粗糙集不确定性的度量,给出一种求解信息系统约简集的三群体并行遗传算法.最后通过实例计算表明该算法能快速有效求解属性约简,而且对大规模数据样本的信息系统效果更为明显.     

基于三支标签传播的半监督属性约简

属性约简是粗糙集理论的重要应用之一.为了对部分标记的数据进行属性约简,一些基于粗糙集的半监督属性约简方法相继被提出,但这些方法在数据信息利用、运行代价、约简质量等方面仍然存在挑战.本文针对混合型分类数据,提出了一种新的基于三支标签传播的半监督属性约简(3WLPME)方法.该方法包括两个过程:三支标签传播(3WLP)和基于混合熵的启发式属性约简(MEHAR).其中,3WLP在经典标签传播算法的基础上,结合三支决策和主动学习思想,对无标签数据进行标注,并更新有标签集和无标签集.迭代执行上述过程直至收敛,可以提升最终的伪标签准确率.在MEHAR中,属性重要度由混合熵度量.基于依赖度和条件熵定义的混合熵,融合了粗糙集的代数表示和信息表示,能更深刻地反映属性的分类能力.本文对3WLP算法和MEHAR算法的有效性进行了理论分析.在UCI数据集上进行了以下仿真实验:3WLP与随机标签传播在伪标签准确率上的对比;不同属性约简算法在约简质量上的对比;3WLPME与其他基于粗糙集的半监督属性约简方法,在约简质量上的对比.实验结果验证了3WLP能获得较高的伪标签准确率;MEHAR在不降低分类准确率的前提下,能获得较小的约简;3WLPME在半监督约简过程中具有更高的效率和稳定性,说明本文所提方法是有效的.     

概念格中基于粗糙熵的属性约简方法

属性约简是概念格理论的研究重点内容之一。通过将粗糙熵引入概念格理论中,定义了一种粗糙熵约简。首先,基于所有概念外延定义了形式背景的粗糙熵,并分析了它的性质;其次,定义了形式背景的粗糙熵约简,并揭示了粗糙熵约简与概念格约简之间的关系;在此基础上,基于属性重要度设计了计算粗糙熵的启发式算法,并通过实验验证了该算法的有效性。     

基于并行约简的网络安全态势要素提取方法

网络安全态势要素选取的质量对网络安全态势评估的准确性起到至关重要的作用,而现有的网络安全态势要素提取方法大多依赖先验知识,并不适用于处理网络安全态势数据。为提高网络安全态势要素提取的质量与效率,提出一种基于属性重要度矩阵的并行约简算法,在经典粗糙集基础上引入并行约简思想,在保证分类不受影响的情况下,将单个决策信息表扩展到多个,利用条件熵计算属性重要度,根据约简规则删除冗余属性,从而实现网络安全态势要素的高效提取。为验证算法的高效性,利用Weka软件对数据进行分类预测,在NSL-KDD数据集中,相比利用全部属性,通过该算法约简后的属性进行分类建模的时间缩短了16.6%;对比评价指标发现,相比现有的三种态势要素提取算法（遗传算法（GA）、贪心式搜索算法（GSA）和基于条件熵的属性约简（ARCE）算法）,该算法具有较高的召回率和较低的误警率。实验结果表明,经过该算法约简的数据具有更好的分类性能,实现了网络安全态势要素的高效提取。     

一种直觉模糊粗糙集属性约简新算法

将信息熵理论与直觉模糊粗糙集结合起来,提出一种基于互信息的直觉模糊粗糙集属性约简新算法.给出了在直觉模糊环境下,基于互信息的属性重要度和属性依赖度的度量准则.本文所提出的算法以属性重要度和依赖度为双重度量标准,采取可增可删的双向回归算法,在保持分类精度不变的情况下,最后得到决策表的最小属性约简.实例表明在多属性的决策表约简中,在本文提出的算法得到的属性约简的基础上而得到的决策规则是较简捷、较完备的.     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。     

基于测试代价的三支邻域属性约简算法

针对粗糙集属性约简时很少考虑属性自身的测试代价等问题,提出了一种基于测试代价的三支邻域属性约简算法。算法根据各属性在邻域分辨矩阵中出现的频次和比例来计算属性重要性,并结合属性自身的测试代价来构造性价比指标,以此指导属性的甄选。三支决策方法被用于划分属性集,为属性的约简处理提供数据支撑。在7个UCI公共数据集上进行对比实验,结果表明,该算法可得到比对比算法更小的属性约简集合,在分类精度不降低的情况下,该算法具有更少的运行时间和更小的测试代价。基于财政收入的预测应用实例进一步证明了所提算法的有效性和实用性。     

基于局部条件区分能力的高效属性约简算法

基于区分矩阵的传统属性约简方法具有直观易理解的优点,但时间和空间复杂度都很高,当数据规模较大或条件属性较多时,会无法快速得到约简结果.为解决该问题,在区分关系的基础上构造了条件区分能力来进行属性选择,提出一种基于条件区分能力的属性约简算法.而为了进一步加快属性重要性的计算、提高约简效率,依据大数定律中频率的稳定性,通过...     

证据理论与熵值融合的知识约简新方法

求解决策表的最小约简已被证明是NP-hard问题,在粗糙集和证据理论的基础上提出了一种知识约简的启发式算法。利用粗糙集等价划分的概念给出属性的信息熵,定义每个属性的熵值重要性并由此确定知识的核。引入二分mass函数对每个属性建立一个证据函数,证据融合得到每个属性的证据重要性。以核为起点,以证据重要性为启发,依次加入属性直至满足约简条件。实例表明,该方法能够快速找到核和相对约简,并且该约简运用到分类上正确率也是较高的。     

一般二元关系下的近似属性约简算法

属性约简是粗糙集理论重要应用之一.考虑到决策信息系统中的噪声,针对一般二元关系,从知识分类能力角度给出了一种新的属性重要性度量方法,在此基础上提出了一种能够抑制噪声的近似属性约简算法,该算法适用于多种粗糙集扩展模型,摆脱了现有约简算法对特定二元关系的依赖.实验结果表明,近似约简算法通过调节近似参数,可有效增强抗噪性,在有效降低约简属性集规模的同时,提高了约简结果的分类性能.