基于信息熵的属性约简算法的研究与实现

属性约简是粗糙集理论研究的重要内容之一,是在保持信息系统分类能力不变的基础上,删除冗余属性.为了获得决策系统中属性最小相对约简,本文将信息论应用于决策信息系统属性约简中,与遗传算法相结合,并采用加权平均的属性重要度和知识量作为启发式信息指导约简,提出了一种改进的基于核子集的属性约简算法.     

基于粗集理论的约简算法

在基于属性重要性和基于分辨矩阵两种算法的基础上,提出了一种同时满足属性重要性和频度的启发式约简算法RedFreSigni。该算法的基本思想是:以属性的核为基础,把核和用户偏好集同时作为属性近似约简的一部分,以频度作为选择属性的启发信息可同时生成计算属性的频度信息与不可分辨矩阵,减少了计算时间。在此基础上进而提出了基于规则支持度和置信度的决策挖掘算法,该算法能有效提取出用户感兴趣的规则。     

基于决策规则的属性约简算法

属性约简是粗糙集的核心问题之一。本文基于决策规则给出属性约简相关结论和属性重要性,提出启发式约简算法,引入黄金分割法思想,提高算法效率,并以实例验证算法有效性和正确性。     

信息系统的一种启发式属性约简算法

针对文献[8]中加权平均属性重要度中权值人为确定的不足,提出改进的属性重要度定义,并以实例说明其应用情况.提出约简质量的定义,从属性约简率和近似质量两方面来衡量约简效果.基于改进的属性重要度定义（标准）,构造了两种启发式属性约简算法,并利用UCI数据库中的一些典型算例验证了算法的有效性;说明在某些情况下,提出的属性约简算法在一定程度上能够提高数据的约简质量.     

基于最大外权重的一种启发式属性约简算法

作为属性对区分元素类别所做贡献大小的度量,定义属性重要性权重,并作为启发性知识构造一种寻求约简的启发式算法。算法复杂度是多项式的,收敛速度快,可得到Pawlak约简。     

基于变精度粗糙集模型的属性约简方法研究

提出了一种对存在噪声和不完整数据的决策系统在变精度粗糙集模型下进行属性最小相对约简的方法,将由属性对分类的影响程度和β近似精度共同定义的属性重要性度量作为启发式信息引入遗传算法,通过修正操作算子修复个体,使得个体所对应的属性子集的分类能力不变;修正操作算子中对各属性的属性重要性使用贪心策略进行局部寻优.对遗传算法的各操作算子进行优化,既保证遗传操作过程中种群的多样性,又保证算法能快速收敛.最后通过实例验证了算法的有效性.     

一种改进的粗糙集属性约简启发式算法

作为数据挖掘的重要工具,粗糙集理论被广泛的应用于关系数据库中属性相关性描述、属性集约简、属性重要性度量、规则发现等方面。该文在分析基于信息系统的粗糙集理论的基础上,对基于分辨矩阵的属性约简算法进行了详尽的描述。针对该算法存在的时间和空间性能不理想问题,提出度量单个条件属性对系统概念贡献程度的关联度的概念,以此作为启发式信息对原算法进行改进,得到条件属性的约简。理论分析及实验结果表明该算法具有较好的约简效果及更高的运行效率,为粗糙集理论更广泛地应用于具体的实践提供了一种方法。     

一种基于互信息增益率的新属性约简算法

为了获得决策系统中更好的相对属性约简，提出了一种基于互信息增益率的属性约简算法.该算法考虑了所选择条件属性与决策属性的互信息，还考虑了所选择属性的值的分布情况，从信息论角度定义了基于互信息增益率的属性重要性度量方法，并以此度量为启发式信息，算法从空集开始逐步将最重要的条件属性加入到选择属性集，直到所选择的条件属性集与决策属性集的互信息等于整个条件属性集与决策属性集的互信息时，算法停止.结果表明，算法能更有效地对决策系统进行约简，同时约简后的对象数目较少.     

基于条件信息量的知识相对约简算法

通过在信息系统中引入了知识的条件信息量的概念，证明了在知识相对约简过程中条件信息量的变化趋势是递减的；通过条件信息量定义了属性的相对重要性，提出了一种基于条件信息量的知识相对约简算法，分析得到该算法的时间复杂性为O(|C|^3|U|^2)；通过例子分析，表明该算法是有效的．     

基于粗糙集相关矩阵的属性约简算法

利用粗糙集相关矩阵采用贪婪策略构造了寻找最小属性约简的启发式算法，证明了算法的正确性并作了复杂性分析，通过实例和与基于属性频率重要性算法进行的对比分析，发现该文算法能快速逼近最小约简，且获得的知识容易理解。     

基于模糊相容关系的集值决策表的相对约简

从模糊粗糙集的角度讨论集值决策表的相对约简。首先,基于2个对象取相同值的可能性大小,在集值信息系统中定义了一个模糊相容关系,给出了模糊相容关系的上近似和下近似;其次,通过引入模糊近似质量,定义了集值决策表中条件属性的重要度与相对重要度,进而提出了一种计算相对约简的启发式算法;最后,通过实例说明该算法能够得到集值决策表的相对约简。     

基于关联度的粗糙集属性约简新方法

属性约简是粗糙集应用于数据分析中的重要概念。文章提出了一种以属性的关联度作为启发式信息的属性约简方法，并用实例分析说明了该方法是有效的。     

基于关联度的属性约简方法及其在群体推理中的应用

人类所面临的待决策问题中常常包含大量的不确定信息,如何精确和获取与决策过程相关的知识是研究的一个难题。针对知识约简过程中出现的NP问题,提出了基于属性关联度的启发式约简方法,并将其用于群体推理过程中,最后举例说明了该算法的有效性。     

广义特征矩阵及其应用初步

属性约简,即在保持知识库的分类或决策能力不变的条件下,删除其中不相关或不重要的属性,是Rough set理论的核心研究内容之一.决策表属性重要性度量方法是决定属性约简算法性能的重要启发式信息.合理的属性重要性度量方法,将有助于提高启发式搜索算法的效率和优化效果.针对基于分辨矩阵的属性重要性度量的缺陷,提出了广义特征矩阵概念,并在分析其性质的基础上,建立了一种新的基于广义特征矩阵的属性重要性分层度量方法,该方法不需要计算属性重要性的权值而直接给出重要性的排序,具有分辨能力强,度量准确的特点,对决策表的属性约简和知识荻取有重要应用价值.     

一种处理混合型属性的无监督异常入侵检测方法

针对目前入侵检测技术训练时处理类别型数据能力欠缺、误报率高的问题,提出一种处理混合型属性的无监督异常入侵检测方法,定义了类别型属性各取值之间的差异度,使得在对训练集进行无监督学习、生成检测模型过程中,能够同时有效地处理数值型属性和类别型属性．理论分析表明所定义的类别型属性值差异度既保留了类别型属性各取值之间的本质特征．同时也没有改变数据集的原始维数．实验中采用了网络入侵检测数据集KDD-CUP-99来训练模型．实验结果表明,采用的混合型属性处理方法进行聚类所建立的入侵检测模型,与现有方法相比,检测率高．     

基于邻域关系的决策表约简

针对经典粗糙集理论难以处理连续型数据的特点,提出基于邻域关系的决策表约简方法。该方法在连续型数据的决策表中引入邻域关系,通过邻域关系进行信息粒化,避免离散化过程带来的信息损失。通过定义邻域正域和邻域约简概念,分析邻域正域的单调性原理,提出基于邻域关系的属性重要度概念,进一步设计了两种启发式约简算法。理论分析与实例表明该方法是有效可行的。     

基于相对知识粒度的决策表约简

知识粒度主要应用于信息系统的属性约简。为了把知识粒度拓展到决策表约简领域,在研究知识粒度的基础上,定义了相对知识粒度的概念,证明了对一致决策表约简而言,相对知识粒度表示与Pawlak代数表示的等价性。进一步定义了基于相对知识粒度的属性重要度,提出了两个基于相对知识粒度的启发式决策表约简算法。通过理论分析与实例表明约简算法是有效可行的。     

基于粗糙集的决策树规则提取算法

针对ID3算法用信息增益作为在各级非叶节点上选择属性的标准的局限性,结合统计学独立检验思想,给出一种新的属性依赖性和重要性定义,以新的属性重要性为启发式信息设计决策树规则提取算法。实例分析的结果表明,该算法能提取更为简洁有效的决策规则。     

遗传算法信息熵结合属性约简算法研究

为了获得决策系统中属性最小相对约简,将信息论角度定义的属性重要性度量作为启发式信息引入遗传算法,提出了一种启发式遗传算法,通过构造一个新的算子来引入启发式信息,使得选择的属性子集的分类能力不变.该算子体现了一种利用启发式信息的局部搜索技术,使得算法既保持整体优化特性,又具有较快的收敛速度,从理论上对算法作了分析,对新算子所能选择属性子集的分类能力不变作了证明,最后的实例表明,该算法能有效地对决策系统进行最大程度的约简.     

Coupled Attribute Similarity Learning on Categorical Data for Multi-Label Classification

In this paper a novel coupled attribute similarity learning method is proposed with the basis on the multi-label categorical data (CASonMLCD). The CASonMLCD method not only computes the correlations between different attributes and multi-label sets using information gain, which can be regarded as the important degree of each attribute in the attribute learning method, but also further analyzes the intra-coupled and inter-coupled interactions between an attribute value pair for different attributes and multiple labels. The paper compared the CASonMLCD method with the OF distance and Jaccard similarity, which is based on the MLKNN algorithm according to 5 common evaluation criteria. The experiment results demonstrated that the CASonMLCD method can mine the similarity relationship more accurately and comprehensively, it can obtain better performance than compared methods.