基于垂直事务关系的快速Apriori算法

针对Apriori算法需要多次扫描数据库的缺陷,提出一种基于垂直事务关系的改进算法XApriori。该方法对原始事务数据库扫描后,采用项集事务垂直对应关系的位集合数据存储结构,并构建逻辑生成候选项集策略,利用数值统计的方法生成候选项集并确定频繁项集,实现关联规则的挖掘。对比实验结果表明,改进算法比Aprior算法关联规则挖掘的效率有所提高。     

基于图的频繁项集挖掘

通过对Apriori算法的频繁项目集的分析研究,给出了基于图的频繁项集挖掘算法．该算法在求频繁K-项集的过程中只需一次扫描数据库,避免了Apriori算法需多次扫描数据库的不足。同时,由于在有向图中利用有限节点之间的路径求频繁K-项集,该算法减少了Apriori算法中需多次进行连接运算的不足。     

对关联规则挖掘中Apriori算法的一种改进

针对Apriori算法寻找频繁项集需要反复扫描数据库的问题,提出了一种将事务数据布尔化,并在其基础上通过优化连接和剪枝,快速查找频繁项集的思想。即通过优化连接和剪枝,减少候选项集,并根据判断相应布尔向量"与"运算的结果,快速地归纳出频繁项集。研究和实验表明,该算法不仅只需扫描一次数据库,而且还具有查找速度快,节省内存空间和处理项目集维数多等优点。     

基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

一种不产生候选项集的关联规则挖掘算法

在对Apriori算法的特性进行详细的介绍和总结的基础上,提出一种新的不产生候选项集的,以及只进行少量数据库扫描的挖掘频繁项集的算法SI-tree(Supper-Item Tree),该算法通过搜索数据库和一次性地找出当前项的所有超集来查找频繁项集.最后通过实验对2种算法进行了比较.     

关联规则挖掘算法研究及改进

关联规则挖掘是数据挖掘及知识发现领域的重要研究内容之一,其核心任务是挖掘数据库中的频繁项集.Apriori算法是频繁项集挖掘的有效算法.在Apriori的算法中,采用哈希树存储平凡项集的候补项集以便快速计算其支持度.本文在分析算法所存在的效率瓶颈的基础上,提出了一个有效的改进算法,通过利用一维数组替代算法中复杂的哈希树...     

一种不产生候选项集的关联规则挖掘算法

在对Apriori算法的特性进行详细的介绍和总结的基础上，提出一种新的不产生候选项集的，以及只进行少量数据库扫描的挖掘频繁项集的算法SI_ree（Supper-Item Tree），该算法通过搜索数据库和一次性地找出当前项的所有超集来查找频繁项集．最后通过实验对2种算法进行了比较．     

基于数据库垂直表示的高效用项集挖掘算法研究

传统的频繁项集挖掘用支持度来衡量项集的重要性会丢失一些支持度不高,但效用很高、用户很可能感兴趣的模式.高效用项集能反映用户的偏好,弥补传统频繁项集挖掘的不足.本文提出了一种基于数据库垂直表示的高效用项集挖掘算法,通过执行事务支持集的交运算来找寻候选高效用项集,通过扫描一遍数据库,从候选高效用项集中发现高效用项集.本算法利用了数据库垂直表示方法存储量小、运算快的优势.实验结果表明,该算法具有较高的挖掘效率和良好的可扩展性.     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。     

基于FP-tree的快速数据挖掘算法

针对挖掘全局频繁项集的算法大多采用的类Apriori算法存在通信量大、同步次数和数据库扫描次数较多等问题,提出了一种基于频繁模式树的快速挖掘全局频繁项集算法（FAMGFI）．该算法让各计算机结点采用FP—growth算法独立地计算局部频繁项集,然后与中心结点交互实现数据汇总,最终获得全局频繁项集．FAMGFI算法采用自顶向下和自底向上策略,能大大降低通信量．理论分析和实验结果表明FAMGFI算法是快速而有效的．     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

一种基于权重的Apriori改进算法

针对Apriori算法在频繁项集挖掘过程中的缺陷,提出了一种基于权重的改进Apriori算法。该改进算法通过一次扫描事务数据库构造出二元事务矩阵,再用各事务和各项的平均权重替代权重支持度,最终挖掘出事务库中的频繁项集。通过实例分析和性能测试,证明了改进的Apriori算法避免了重复扫描事务数据库,使得算法在性能上有了明显优化,并且挖掘出了Apriori挖掘不到的、隐藏的、有价值的规则。     

一种基于压缩矩阵的改进Apriori算法

针对Apriori算法需要频繁扫描事务数据库并且会产生大量候选项集的不足,提出一种改进的Apriori算法。采用矩阵压缩的思想,增加了3个向量,分别表示事务矩阵中各行各列1的个数,即事务项目数和项目支持数,以及重复的事务出现次数,从而减小矩阵规模,避免多次扫描数据库。在矩阵运算过程中,对矩阵中事务项目数和项目支持数进行排序并删除不满足条件的项集和非频繁项集,形成新的矩阵结构,提高空间效率。对改进后的算法进行性能分析和试验分析发现,该算法相对于Apriori算法具有更高的效率,同时可以更有效的挖掘出频繁项集。     

关于Top-N最频繁项集挖掘的研究

最频繁项集挖掘决定了文本关联规则挖掘算法的性能,是文本关联规则挖掘中研究的重点和难点。该文分析了当前最频繁项集挖掘方面的不足,改进了传统的倒排表,结合最小支持度阈值动态调整策略,提出了一个新的基于改进的倒排表和集合理论的Top-N最频繁项集挖掘算法。同样,给出了几个命题和推论,并把它们用于该文算法以提高性能,实验结果表明,所提算法的规则有效率和时间性能优于NApriori算法和IntvMatrix算法。     

时间序列模式挖掘的算法研究

提出一种进行时间序列模式挖掘的算法 ,用于对大型数据库的海量数据分析 ,从中挖掘出超过用户给定支持度和置信度的时间序列 ,从而为用户的决策支持和趋势预测提供依据 .算法分为在数据中对于频繁项集的发现和频繁序列挖掘两个部分 ,排除不可能达到支持度和置信度阈值的项集 ,缩小了挖掘中的数据扫描范围 ,提高了数据挖掘的效率     

一种多重最小支持度关联规则挖掘算法

针对单一最小支持度挖掘关联规则不能反应不同数据项出现频度与性质的问题,提出了一个基于频繁模式树的多重支持度关联规则挖掘算法MSDMFIA(Multiple minimum Supports for Discover Maximum Fre-quent Item sets Algorithm),根据不同数据项的特点定义多重支持度,通过挖掘数据库中的最大频繁项目集,计算最大频繁候选项目集在数据库中的支持度来发现关联规则.该算法可以解决关联规则挖掘中经常出现的稀少数据项问题,并解决了传统的关联规则挖掘算法中的生成频繁候选集和多次扫描数据库的性能瓶颈.实验结果表明,本文提出的算法在功能和性能方面均优于已有算法.     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

时间序列模式挖掘的算法研究

提出一种进行时间序列模式挖掘的算法，用于对大型数据库的海量数据分析，从中挖掘出超过用户给定支持度和置信度的时间序列，从而为用户的决策支持和趋势预测提供依据，算法分为在数据中对于频繁项集的发现和频繁序列挖掘两个部分，排除不可能达到支持度和置信度阈值的项集，缩小了挖掘中的数据扫描范围，提高了数据挖掘的效率。     

基于可变支持度的流数据频繁模式挖掘算法

大量的动态数据使得传统数据挖掘方法难以适应流数据.频繁模式挖掘算法大多在挖掘频繁项集时使用一个固定的最小支持度,然而实际使用中支持度阈值应该随用户需求和流数据的特点而改变.针对此问题提出一种名为VSSDM的算法,用于在流数据中以可变支持度挖掘频繁项集.     

挖掘电信告警关联模式方法

关联模式挖掘算法通常受到最小支持度的限制,仅能得到频繁告警序列间的关联模式,针对这一问题,基于图论思想提出了一种挖掘电信网络告警间关联模式的方法.首先在单遍扫描数据库的条件下挖掘网络中的二项关联模式,然后直接发现其最大关联模式,从而避免大量中间项集的产生. 基于实际网络告警数据的实验结果表明,该方法不仅具有较高的效率,而且有效.