一种多重最小支持度关联规则挖掘算法

针对单一最小支持度挖掘关联规则不能反应不同数据项出现频度与性质的问题,提出了一个基于频繁模式树的多重支持度关联规则挖掘算法MSDMFIA(Multiple minimum Supports for Discover Maximum Fre-quent Item sets Algorithm),根据不同数据项的特点定义多重支持度,通过挖掘数据库中的最大频繁项目集,计算最大频繁候选项目集在数据库中的支持度来发现关联规则.该算法可以解决关联规则挖掘中经常出现的稀少数据项问题,并解决了传统的关联规则挖掘算法中的生成频繁候选集和多次扫描数据库的性能瓶颈.实验结果表明,本文提出的算法在功能和性能方面均优于已有算法.     

基于垂直事务关系的快速Apriori算法

针对Apriori算法需要多次扫描数据库的缺陷,提出一种基于垂直事务关系的改进算法XApriori。该方法对原始事务数据库扫描后,采用项集事务垂直对应关系的位集合数据存储结构,并构建逻辑生成候选项集策略,利用数值统计的方法生成候选项集并确定频繁项集,实现关联规则的挖掘。对比实验结果表明,改进算法比Aprior算法关联规则挖掘的效率有所提高。     

一种最大频繁项集的增量更新算法

提出了一种基于最小支持度变化的挖掘最大频繁项集的增量式更新算法MFIU(Maximum Frequent Itemsets Updating).针对最大频繁项集更新时的特性,分别对最小支持度变大和变小提出了两种不同的处理方法,对于最小支持度变大的复杂情况,采取了分块的更新策略,并为减少不必要的候选项集,利用了如果X是一个最大频繁项集,则其所有子集都是频繁项集,但都不可能是最大频繁项集,而进行了独特的剪枝方法.最后通过实例分析了该算法.     

一种不产生候选项集的关联规则挖掘算法

在对Apriori算法的特性进行详细的介绍和总结的基础上,提出一种新的不产生候选项集的,以及只进行少量数据库扫描的挖掘频繁项集的算法SI-tree(Supper-Item Tree),该算法通过搜索数据库和一次性地找出当前项的所有超集来查找频繁项集.最后通过实验对2种算法进行了比较.     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。     

基于可变支持度的流数据频繁模式挖掘算法

大量的动态数据使得传统数据挖掘方法难以适应流数据.频繁模式挖掘算法大多在挖掘频繁项集时使用一个固定的最小支持度,然而实际使用中支持度阈值应该随用户需求和流数据的特点而改变.针对此问题提出一种名为VSSDM的算法,用于在流数据中以可变支持度挖掘频繁项集.     

时间序列模式挖掘的算法研究

提出一种进行时间序列模式挖掘的算法 ,用于对大型数据库的海量数据分析 ,从中挖掘出超过用户给定支持度和置信度的时间序列 ,从而为用户的决策支持和趋势预测提供依据 .算法分为在数据中对于频繁项集的发现和频繁序列挖掘两个部分 ,排除不可能达到支持度和置信度阈值的项集 ,缩小了挖掘中的数据扫描范围 ,提高了数据挖掘的效率     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

基于数据流的top-k频繁项集挖掘

对数据流进行频繁项集挖掘具有重要意义.然而传统的办法是由用户设定合适的支持度阈值,这在数据流环境中非常困难.更实际的办法是由用户设置一个参数k,输出最频繁的K个项集.讨论了数据流的top-k频繁项集的挖掘,给出了相关定义,分析了挖掘中的相关技术和性质,提出了一个数据流top-K频繁项集挖掘算法LIONET,并分析了算法的优越性.     

关系数据库多项集关联规则挖掘的探讨

关联规则挖掘是数据挖掘领域的重要技术．在分析关联规则和广义关联规则的基本模型的基础上,提出了关系数据库中多项集关联规则的基本模型,对多项集关联规则挖掘方法进行了探讨．     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题 ,而最大频繁项集的生成是影响关联规则挖掘的关键问题 .在已有的频繁集发现算法中 ,DLG算法通过减少事务数据库的扫描次数 ,进而有效减少挖掘过程的I/O代价 .在阐述DLG算法的实现原理与执行过程的基础上 ,为进一步减少候选项集的数量 ,提出一种改进算法DLG .其主要思想是在关联图构造阶段 ,统计每一个频繁项目的入度 ,以此作为剪枝的依据 .性能分析和比较试验的结果表明该算法性能优良     

一种Apriori算法的改进

Apriori算法是关联规则的经典算法。从两个方面对其进行了改进,首先是在产生候选项集时采用了新的算法,更快地产生候选项集;其次,该算法采用了一种新的数据结构——索引结构来存储事务项集数据,提高了读取数据库中有效数据的速率,同时减少了一些不必要的数据扫描,利于更快地产     

适用于协议特征提取的关联规则改进算法

借鉴关联规则挖掘的思想,引入序列项目集的概念,使算法能够处理集合事物和具有序列特性的项目;通过递推的方法依次得出不同长度的特征字段,并利用偏移属性集加以约束去除无效字段,有效控制约束频繁集的规模;最后依据选择策略从约束频繁集中选出最终的特征字段。实验结果表明只要选取合适的参数,用该方法提取协议特征是行之有效的。     

基于动态裁剪频繁模式树的频繁项集并发挖掘算法

为解决FP(frequent pattern)-growth算法中构造频繁模式树(FP-树)所带来的存储和遍历开销较大的问题,提出了一种基于动态裁剪FP-树的频繁项集并发算法Dynamic prune。一方面,通过记录FP 树构造过程中频繁项目计数的变化,实现了FP 树的动态剪枝;另一方面,使用并发策略达到了边构造FP-树,边挖掘频繁项集的效果。与FP growth算法相比,Dynamic-prune无需先构造整棵FP-树再挖掘频繁项集,节省了FP-树的存储开销。实验结果表明Dynamic-prune在运行效率和可扩展性上均优于FP growth算法。     

基于紧凑效用列表的增量高效用模式挖掘方法

针对存在大量冗余数据等问题,提出紧凑增量高效用挖掘算法。采用HUI-trie结构和紧凑效用列表两种结构,前者用于更新高效用项集的效用,后者用于存储信息,而无需生成任何候选项。这两种结构使算法无需再次分析整个数据集,就可以将增加的数据反映到以前的分析结果中,更有效地处理增量数据集。试验结果表明,该算法在各种数据集上,运行时间平均提高38%,内存平均减少32%,具有一定的可扩展性。     

对关联规则挖掘中Apriori算法的一种改进

针对Apriori算法寻找频繁项集需要反复扫描数据库的问题,提出了一种将事务数据布尔化,并在其基础上通过优化连接和剪枝,快速查找频繁项集的思想。即通过优化连接和剪枝,减少候选项集,并根据判断相应布尔向量"与"运算的结果,快速地归纳出频繁项集。研究和实验表明,该算法不仅只需扫描一次数据库,而且还具有查找速度快,节省内存空间和处理项目集维数多等优点。     

关于Top-N最频繁项集挖掘的研究

最频繁项集挖掘决定了文本关联规则挖掘算法的性能,是文本关联规则挖掘中研究的重点和难点。该文分析了当前最频繁项集挖掘方面的不足,改进了传统的倒排表,结合最小支持度阈值动态调整策略,提出了一个新的基于改进的倒排表和集合理论的Top-N最频繁项集挖掘算法。同样,给出了几个命题和推论,并把它们用于该文算法以提高性能,实验结果表明,所提算法的规则有效率和时间性能优于NApriori算法和IntvMatrix算法。     

一种改进的AprioriTid优化算法

提出了一种易于改进的AprioriTid优化算法,它的特点是:一项频繁集和二项频繁集用经典Apriori算法实现,三项及其以上频繁集采用AprioriTid优化算法的思想,即项目集采用关键字识别来统计支持度.实验结果表明,算法易于实现,比AprioriTid优化算法有更好的性能.