数据流频繁闭项集挖掘研究

频繁项集挖掘是关联规则挖掘算法的核心,数据流的实时、无限及不可逆性给传统数据挖掘方法带来很大挑战.频繁闭项集挖掘为频繁项集挖掘提供了完整且低冗余的结果,是近年来数据流频繁项集挖掘研究的热点之一.介绍了数据流频繁闭项集挖掘的相关概念,并从搜索空间的遍历策略、误差结果控制方式等方面对数据流频繁闭项集挖掘算法进行了分析比较.     

基于等价类划分的并行频繁闭项集挖掘算法

针对海量数据的关联规则挖掘问题,提出了一种有效的基于等价类划分的并行频繁闭项集挖掘算法.该算法在MapReduce框架下,通过等价类的产生与划分、数据集的分配、异步频繁闭项集挖掘和汇总等步骤,不但较好地解决了多节点间的负载均衡问题,而且易于获得可靠的频繁闭项集.实验表明,该算法能有效克服传统算法挖掘效率低、冗余规则较多的缺点,整体上具有较高的性能.     

一种决策形式背景中挖掘决策规则的新方法

针对大规模决策形式背景中决策规则的提取问题,提出了一种将频繁闭项集与决策形式背景相结合以提取无冗余决策规则的新算法.该算法结合了深度优先搜索的思想以及概念格中概念节点之间的父子关系,改进了概念格中频繁闭项集的挖掘算法,得到的频繁决策概念格实现了对一定规模的数据库的压缩,同时得到无冗余决策规则.算法分析表明,该算法复杂度较低,更适用于大规模数据集中挖掘无冗余决策规则.     

一种基于K-means的关联规则聚类算法

关联规则是数据挖掘领域中的主要研究内容之一。针对高维海量数据集,尤其当支持度和置信度阈值太低时,将生成大量冗余和相似的关联规则,从而对关联规则的理解和使用造成了困难。本文采用改进的K-means思想,给出了一种关联规则聚类算法:首先重新定义了冗余关联规则,并给出了删除的方法;然后定义了一种新的规则间相似性度量;最后利用K-means思想,采用最大三角形方法选取聚类的初始点,将相似的关联规则归为一类。实验验证该算法能够帮助用户快速有效地找到有用的关联规则,提高了关联规则的可理解性。     

极大布尔关联规则的挖掘算法

关联规则的挖掘往往会产生大量的关联规则,"规则爆炸"的问题会使用户很难得到自己所需要的重要信息.极大布尔关联规则集因其包含的规则数量少且不丢失规则信息的优点提高了用户分析关联规则结果的效率,且节省了规则存储空间.在分析频繁闭项集、频繁基项集和极大布尔关联规则性质的基础上提出了一种挖掘极大布尔关联规则的算法,利用此算法可以得到极大布尔关联规则集,还通过实例验证了算法的正确性.     

基于概念格提取简洁关联规则

从量化封闭项集格所提取的所有最小无冗余规则,虽满足最小前件最大后件的要求,但并不是满足用户设定支持度和置信度的最小规则集.本文提出了一种全局简洁关联规则,使所提取的规则集最小,并给出了基于量化封闭项集格提取全局简洁规则的算法.     

三支概念格中的关联规则提取算法

针对基于形式概念分析的关联规则提取侧重属性之间的正关联、忽略负关联的问题,提出一种基于三支概念分析的关联规则提取算法(3ARM)。利用对象导出三支概念的内涵包括表达"共同具有"语义的正属性子集和表达"共同不具有"语义的负属性子集的特点,结合三支概念格的泛化与例化结构,高效地提取正负关联规则;基于三支概念的闭项集特性,从三支概念格中选出包含频繁项集的候选概念进行挖掘,减少不必要的搜索;通过对三支概念之间的关系进行研究,从父子概念中提取无冗余的正关联规则和负关联规则,再从兄弟概念中提取正负规则对规则集进行补充,充分挖掘三支概念格中的知识。MovieLens数据集上的实验结果表明:应用3ARM算法,在最小支持度为10%时,得到正规则86 027条,负规则93 685条;3ARM算法得出的正规则数量比FARM算法的多出0.9倍～1.5倍,减少了FISM算法最多28.3%的冗余负规则,分别减少了FISM和FARM算法44%～63%和27%～62%的运行时间。     

快速关联规则挖掘算法

提出了一种新颖的关联规则挖掘算法QAIS，与经典两阶段式关联规则挖掘算法不同的是，它只需扫描一遍事务数据库，不需要生成候选集，并且可以方便的应用在增量式关联规则挖掘算法中，该算法经合成数据验证是有效的．同时针对关联规则生成过程中出现大量冗余规则的问题，还讨论了冗余关联规则去除的问题．     

分布式数据库的精简频繁模式集及其挖掘算法

对分布式数据库关联规则的挖掘与精简表示进行了研究,把频繁闭项集和最大频繁项集的概念推广到分布式数据库中,提出了在分布式环境下的频繁模式集的精简表示方法,以及一种基于各站点的全局大项目集的全局频繁闭项集和全局最大频繁项集的挖掘算法.该算法具有占用空间少、通信量小等特点.最后用实例进行了证明.     

模糊关联规则格的规则提取

针对模糊属性事务数据库提取模糊关联规则的问题,采用模糊概念格与模糊关联规则相结合的方法,实现格节点与属性项集的对应关系,提出模糊关联规则格理论,在渐进式建格算法基础上对格节点相应修改,给出了适用于动态数据库的模糊关联规则格的构建思想.利用模糊关联规则格挖掘关联规则,与采用Apriori算法计算频繁项目集获取规则相比较,容易获得用户感兴趣的关联规则,同时减少冗余规则的生成,使挖掘算法得到优化.     

项目集的性质研究

传统的关联规则挖掘框架产生大量的规则,使得人们很难利用它们。本文主要针对项目集进行研究,提出了项目集的上、下闭集的概念,并得到了上、下闭集及其它们之间的一些性质,为解决规则数量问题提供了理论基础。     

基于量化封闭项集格提取最小无冗余近似规则

为便于规则的提取,提出了具有新的节点结构的量化封闭项集格．最小无冗余近似规则具有最小前件和最大后件,并且没有任何信息丢失;还提出了一个新的算法,可以从量化封闭项集格中直接提取最小无冗余近似规则．     

一种基于不动点的关联规则挖掘方法

本文基于不动点理论,给出了关联规则挖掘的一些基本结论,进一步丰富了数据挖掘的基本内容.     

概念格递增修正关联规则挖掘方法

研究了一种知识发现与数据挖掘中关联规则的发现方法 .关联规则是数据挖掘的重要方法之一 ,其核心是各大项目集的获取 .针对货篮关联规则挖掘方法 ,提出了一种改进的概念格递增修正方法 .该方法适应于数据库的动态数据递增或递减更新 ,通过记录项目集 (即概念格中的结点 )在数据库中出现的频率值 ,不需要构造完整的格即可求得项目集的支持度值和可信度值 ,以获取大项目集 ,进而求得关联规则 .同时 ,该方法运用 Hasse图解进行可视化操作 ,降低了算法的时间复杂度     

负关联规则挖掘中的频繁项集爆炸问题

为了解决负关联规则挖掘中包含负项目的频繁项集数量爆炸问题,引入过频繁项集的概念,证明过频繁项集及其所有超集均不可能产生有趣的关联规则。在频繁项集生成过程中,必须对项集中包含负项目的个数进行限制。使用最小支持度、最大支持度、项集中最多包含负项目的个数2个参数来约束频繁项集生成过程的算法。实验结果表明:所增加的2个参数是必要的,特别是当数据集中所包含的项目个数比较多时,只有恰当地设置2个额外参数,才能够保证挖掘过程的正常进行。     

负关联规则挖掘中的频繁项集爆炸问题

为了解决负关联规则挖掘中包含负项目的频繁项集数量爆炸问题,引入过频繁项集的概念,证明过频繁项集及其所有超集均不可能产生有趣的关联规则。在频繁项集生成过程中,必须对项集中包含负项目的个数进行限制。使用最小支持度、最大支持度、项集中最多包含负项目的个数2个参数来约束频繁项集生成过程的算法。实验结果表明:所增加的两个参数是必要的,特别是当数据集中所包含的项目个数比较多时,只有恰当地设置两个额外参数,才能够保证挖掘过程的正常进行。     

一种高效的频集挖掘算法

频集挖掘是关联规则挖掘的关键步骤,它对强规则、相关分析和时间序列有着重要的意义.常用的频集算法包括Apriori和FP-G rowth.为了提高算法效率,提出了一种基于D iffset的混合算法———D iffsetHybrid,该算法根据数据集的稀疏程度决定采用D iffset的某种形式来挖掘频集,减少了存储空间,提高了算法效率.试验表明,该算法对于稀疏数据集和稠密数据集都有良好的计算性能.     

基于剪枝概念格模型的频繁项集表示及挖掘

发现频繁项集是关联规则挖掘的关键步骤。然而,大多数频繁项集求解算法因需要产生大量候选集而降低了效率。该文在研究概念格和频繁项集关系的基础上,将剪枝概念格PCL模型引入数据库中频繁项集的表示,利用概念间的关系性质,在不丢失信息的同时能有效压缩频繁项集的规模,并提出基于PCL模型的频繁项集求解算法。该算法基于Apriori性质,在构造过程中及时、动态地剪枝,删除与频繁项集求解无关的概念,从而有效地改善了频集挖掘算法的时空性能;实验证实了算法良好的性能。     

基于难度系数的加权关联规则在试卷评估中的应用

针对传统的关联规则在试卷评估中应用出现的问题：由于试题的难易程度不同,被答对的概率也不一样,即数据集中数据项发生的概率不一样,数据项具有倾斜支持度分布的特征,选择合适的支持度阈值挖掘这样的数据集相当棘手。文章提出了基于试题难度系数加权的关联规则挖掘算法,从而解决因试题难度不同而导致数据项出现的概率不均的问题,发现更多有趣的关联规则,并且理论上证明了基于难度系数的加权关联规则算法保持频繁项集向下封闭的重要特性。