一种基于压缩FP-树的最大频繁项集挖掘算法

针对基于FP-树挖掘最大频繁项集的算法需要大量的递归调用导致挖掘效率降低的问题,本文提出一种减枝策略并结合FP-树的结构.依据构造Patricia-树的基本原理提出一种PFP-树,将FP-树中满足一定条件的结点进行合并来保存事务数据库,对事务数据库进行进一步压缩以达到降低内存开销和递归调用次数的目的.实验表明,当最小支持度较小时,在执行效率尤其在内存开销方面都有一定的改善.     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

基于SQL技术的频繁模式的发掘

分析了频繁项集挖掘算法FP-growth算法,针对算法中存在的效率瓶颈问题,提出了一个改进的挖掘算法.改进后的算法通过应用SQL技术的方法直接得到频繁1-项集的条件模式基,从而减少了FP-growth算法中构造FP-tree和搜索的开销.分析结果表明,改进的算法具有比较良好的性能.     

基于FP-tree的快速数据挖掘算法

针对挖掘全局频繁项集的算法大多采用的类Apriori算法存在通信量大、同步次数和数据库扫描次数较多等问题,提出了一种基于频繁模式树的快速挖掘全局频繁项集算法（FAMGFI）．该算法让各计算机结点采用FP—growth算法独立地计算局部频繁项集,然后与中心结点交互实现数据汇总,最终获得全局频繁项集．FAMGFI算法采用自顶向下和自底向上策略,能大大降低通信量．理论分析和实验结果表明FAMGFI算法是快速而有效的．     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价 ,用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式 ,但数量上却可以小几个数量级 ,从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述 ,以及关键问题的分析 ,针对频繁模式树 (FP- tree)和最大频繁模式的特点 ,给出了基于频繁模式树的最大频繁模式挖掘算法 (MMFP) ,采取先挖掘候选最大频繁模式再判断子集的方法 ,经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数 ,对算法的性能提高起到了关键作用。     

一种基于FP-Growth的改进算法

关联规则挖掘由于表达形式简洁、易于解释和理解已成为数据挖掘中的研究热点,对关联规则的研究具有重要的理论价值和现实意义。文章分析频繁项集挖掘算法FP—growth算法,针对算法中存在的效率瓶颈问题,提出了一个改进的挖掘算法。改进后的算法通过投影统计的方法直接得到频繁1-项集的条件模式基,从而减少了FP-growth算法中构造FP—tree和搜索的开销。通过分析,说明改进的算法具有良好的性能。     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。     

关于Top-N最频繁项集挖掘的研究

最频繁项集挖掘决定了文本关联规则挖掘算法的性能,是文本关联规则挖掘中研究的重点和难点。该文分析了当前最频繁项集挖掘方面的不足,改进了传统的倒排表,结合最小支持度阈值动态调整策略,提出了一个新的基于改进的倒排表和集合理论的Top-N最频繁项集挖掘算法。同样,给出了几个命题和推论,并把它们用于该文算法以提高性能,实验结果表明,所提算法的规则有效率和时间性能优于NApriori算法和IntvMatrix算法。     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤,针对关联规则挖掘中最小支持度发生变化的增量式更新问题,提出了高效发现最大频繁项目集的更新算法.该算法在FP树的基础上增加了记录各项目支持数的表,在头表中增加了域,从而减少了访问事务数据库和FP树的时间,提高了发现最大频繁项目集的效率.     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤，针对关联规则挖掘中最小支持度发生变化的增量式更新问题，提出了高效发现最大频繁项目集的更新算法．该算法在FP树的基础上增加了记录各项目支持数的表，在头表中增加了域，从而减少了访问事务数据库和FP树的时间，提高了发现最大频繁项目集的效率．     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

基于DHP的频繁遍历路径挖掘算法

大量的候选项集是挖掘路径遍历模式中的主要问题.针对这个问题,提出了基于DHP算法的路径遍历算法,通过使用哈希技术在产生侯选项集时删除不满足条件的项目,这种方法特别是在产生候选2-项目时效率非常高,这样很好的解决了整个处理过程的性能瓶颈.另外,使用了整枝技术使事务数据库的大小在每次扫描后迅速减小.实验结果表明,基于DHP的频繁遍历路径算法在挖掘频繁项目集时是有效的.     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。