基于数据流的top-k频繁项集挖掘

对数据流进行频繁项集挖掘具有重要意义.然而传统的办法是由用户设定合适的支持度阈值,这在数据流环境中非常困难.更实际的办法是由用户设置一个参数k,输出最频繁的K个项集.讨论了数据流的top-k频繁项集的挖掘,给出了相关定义,分析了挖掘中的相关技术和性质,提出了一个数据流top-K频繁项集挖掘算法LIONET,并分析了算法的优越性.     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

一种有效的负频繁项集挖掘方法

目前负关联规则研究的主要形式是左右两边项集全正或者全负,如(a1a2)■┐(b1b2)、┐(a1a2)#(b1b2),但有时形如a1┐a2■b1┐b2的负关联规则能够提供更多的决策信息,然而要挖掘这样的负关联规则需要先挖掘形如a1┐a2■b1┐b2的负频繁项集。为此,本文提出了一个有效的方法来挖掘这样的负频繁项集。该方法包含一个有效的负候选项集生成算法,和仅利用正频繁项集有关信息来计算负候选项集支持度的方法,而不用再次扫描数据库。实验表明了提出方法的有效性。     

大数据环境下频繁项集挖掘的研究

多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。     

基于动态裁剪频繁模式树的频繁项集并发挖掘算法

为解决FP(frequent pattern)-growth算法中构造频繁模式树(FP-树)所带来的存储和遍历开销较大的问题,提出了一种基于动态裁剪FP-树的频繁项集并发算法Dynamic prune。一方面,通过记录FP 树构造过程中频繁项目计数的变化,实现了FP 树的动态剪枝;另一方面,使用并发策略达到了边构造FP-树,边挖掘频繁项集的效果。与FP growth算法相比,Dynamic-prune无需先构造整棵FP-树再挖掘频繁项集,节省了FP-树的存储开销。实验结果表明Dynamic-prune在运行效率和可扩展性上均优于FP growth算法。     

正相关频繁项集的挖掘算法

由频繁项集产生的关联规则往往不能保证规则前、后件中的项是正相关的,因此可能产生无意义的关联规则;当这些关联规则用于分类时,会产生大量无用分类规则,增加了时间开销.因此,基于数学期望提出了正相关的频繁项集的分类算法.该算法在挖掘正相关频繁项集时,利用置信度进行规则选取,生成正相关关联规则组成的分类器对数据集进行分类.实验表明,这种分类算法可以大幅度减少所产生的频繁项集数量,分类准确率达到C4.5和CMAR的水平,且显著减少了算法的时间.     

基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

数据流频繁模式挖掘技术研究

数据流挖掘是目前新一代数据挖掘研究中的热点,而数据流频繁模式是影响数据流挖掘算法效率的决定性因素。虽然目前有许多工作针对数据流频繁模式挖掘算法进行了研究,但是仍然存在许多不足。本文详细讨论了数据流频繁模式挖掘的四种主流算法,最后提出了未来的研究方向。     

一种新的频繁集的挖掘算法

频繁集的挖掘问题是数据挖掘的关键问题，本文提出了一种基于频繁树的挖掘频繁集的新方法，该算法从频繁项开始搜索、筛选产生符合要求的频繁结点，构成频繁树，通过有效的筛选方法和独特的构成策略，大大的减少了候选集的数量。也方便产生支持度更高的频繁集。     

数据流中的频繁标记闭子树的批量挖掘

在频繁模式挖掘（FPM）的研究中,为了在海量数据流中有效地挖掘子树结构的频繁模式,根据数据流和子树模式的特点,提出了一种基于数据流的频繁标记闭子树挖掘（SFCLTreeMiner）算法. 该算法首次对动态数据流中频繁标记闭子树的挖掘进行研究,给出了在数据流中标记闭子树集合添加、删除的批量挖掘方法,并结合时间衰减模型,有效保证了结果的时效性. 实验结果表明,该算法在挖掘性能,如挖掘时间和内存占用等方面,比类似算法有较大提高.     

多维数据流最大频集挖掘模型和算法

为了挖掘到有价值的信息,需要挖掘多维数据流上的频繁项目集,因此引入多维项目和多维项目集的概念表示多维数据流上的项目.设计了一种紧凑、压缩的数据结构MaxFP-Tree用于维护多维项目集,并在MaxFP-Tree的基础上设计了挖掘多维数据流上最大频集的增量式更新算法.实验结果表明,设计的挖掘多维数据流中最大频集的模型和算法是高效的.     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价 ,用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式 ,但数量上却可以小几个数量级 ,从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述 ,以及关键问题的分析 ,针对频繁模式树 (FP- tree)和最大频繁模式的特点 ,给出了基于频繁模式树的最大频繁模式挖掘算法 (MMFP) ,采取先挖掘候选最大频繁模式再判断子集的方法 ,经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数 ,对算法的性能提高起到了关键作用。     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤,针对关联规则挖掘中最小支持度发生变化的增量式更新问题,提出了高效发现最大频繁项目集的更新算法.该算法在FP树的基础上增加了记录各项目支持数的表,在头表中增加了域,从而减少了访问事务数据库和FP树的时间,提高了发现最大频繁项目集的效率.     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤，针对关联规则挖掘中最小支持度发生变化的增量式更新问题，提出了高效发现最大频繁项目集的更新算法．该算法在FP树的基础上增加了记录各项目支持数的表，在头表中增加了域，从而减少了访问事务数据库和FP树的时间，提高了发现最大频繁项目集的效率．     

频繁情景并行挖掘算法研究

频繁情景可用于挖掘蕴藏在事件序列数据库中的知识,为了提高算法的时间性能,提出了一种挖掘频繁情景的并行算法PRE。研究了局部频繁情景与全局频繁情景的关系;通过研究频繁情景挖掘中事件可删除的条件,提出了逐步缩减数据库的技术,使得算法在迭代过程中需要扫描的数据库大小逐渐减少。数据实验表明,仅采用数据库缩减技术时算法PRE的时间性能比算法WINEPI提高25%,并行挖掘时算法PRE的并行效率与处理器个数近似成线性关系。     

基于Apriori数据挖掘算法研究

关联规则是从数据集中识别出频繁出现的属性值集,然后利用这些频繁集创建描述关联关系的规则过程.在分析经典关联规则挖掘算法的基础上,讨论了经典的Apriori算法,并提出改进的Apriori关联规则算法,对算法进行了实验数据的算法性能分析及运行时间对比.结果表明,改进的算法在运行速度和挖掘性能上都较经典的Apriori算法都有显著提高.     

挖掘关联规则Apriori算法的一种改进

本研究在对Apriori算法分析的基础上,提出了改进的Apriori算法。改进后的算法采用矩阵表示数据库,减少了扫描事物数据库的次数;利用向量运算来实现频繁项集的计数,同时及时地去掉不必要的数据,减少了数据运算,从而提高了算法的运行效率。