基于SQL技术的频繁模式的发掘

分析了频繁项集挖掘算法FP-growth算法,针对算法中存在的效率瓶颈问题,提出了一个改进的挖掘算法.改进后的算法通过应用SQL技术的方法直接得到频繁1-项集的条件模式基,从而减少了FP-growth算法中构造FP-tree和搜索的开销.分析结果表明,改进的算法具有比较良好的性能.     

一种多重最小支持度关联规则挖掘算法

针对单一最小支持度挖掘关联规则不能反应不同数据项出现频度与性质的问题,提出了一个基于频繁模式树的多重支持度关联规则挖掘算法MSDMFIA(Multiple minimum Supports for Discover Maximum Fre-quent Item sets Algorithm),根据不同数据项的特点定义多重支持度,通过挖掘数据库中的最大频繁项目集,计算最大频繁候选项目集在数据库中的支持度来发现关联规则.该算法可以解决关联规则挖掘中经常出现的稀少数据项问题,并解决了传统的关联规则挖掘算法中的生成频繁候选集和多次扫描数据库的性能瓶颈.实验结果表明,本文提出的算法在功能和性能方面均优于已有算法.     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

一种基于局部重构树的改进频繁子图挖掘算法

针对SFP算法在其构造频繁模式树时需扫描数据库两次,算法效率较低的问题,首先提出了一种局部重构树结构OFP,该结构在构造频繁模式时只需要扫描一次数据库即可获取所需信息,同时采用了基于Hash表的辅助存储结构来改进唯一标号图,节省了子图重构时间。然后基于OFP树结构,提出了一种改进的高效频繁模式挖掘算法OSFP。实验结果表明,OSFP算法在内存占用和执行时间上均优于SFP算法。     

一种Web事务识别的新模型及其频繁路径挖掘

针对已有Web事务识别模型的缺点,提出一种识别Web事务的新模型———IPRC模型.该模型根据主索引页上的引用以及文档目录结构将网页分类,并以此作为识别Web事务的依据.在此基础上提出了一种挖掘频繁访问模式的算法WDHP,该算法继承了DHP算法使用hash树过滤候选集以及裁剪数据库的基本方法,并以访问路径树的方式将数据库存储于内存,在内存中完成后继的挖掘,不仅减少了扫描数据库的次数,而且大大降低了算法的时间复杂性.实验表明WDHP算法不仅优于DHP算法,而且也优于典型的基于内存的WAP算法.     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价，用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式，但数量上却可以小几个数量级，从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述，以及关键问题的分析，针对频繁模式树(FP-tree)和最大频繁模式的特点，给出了基于频繁模式树的最大频繁模式挖掘算法(MMFP)，采取先挖掘候选最大频繁模式再判断子集的方法，经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数，对算法的性能提高起到了关键作用。     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价 ,用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式 ,但数量上却可以小几个数量级 ,从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述 ,以及关键问题的分析 ,针对频繁模式树 (FP- tree)和最大频繁模式的特点 ,给出了基于频繁模式树的最大频繁模式挖掘算法 (MMFP) ,采取先挖掘候选最大频繁模式再判断子集的方法 ,经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数 ,对算法的性能提高起到了关键作用。     

Web日志中时态约束浏览模式挖掘算法研究

为了有效地从海量的Web日志中挖掘出有用的用户浏览模式,将顺序约束和时态约束加入到快速关联规则挖掘算法中,给出了一种基于时态约束的浏览模式挖掘算法FPMBTC.该算法简化了挖掘过程中候选模式的生成操作,对数据库扫描一次,求出所有事务的连续子序列集,利用集合交差运算求得支持度,同时逐步修正会话事务时间得到浏览模式的有效时间,根据网站结构及Web日志不断变化的特点,给出了增量更新挖掘算法.实验结果表明:与类Apriori算法相关工作相比,运行时间少,扩展性好,并且挖掘出的模式具有时效性,适合于不断变化的且有时态特点的Web日志信息的挖掘.此研究对于学习和研究Web挖掘技术具有很好的参考价值,对建造实际的Web挖掘系统具有重要的理论意义和实用价值.     

基于频繁传播模式的影响群落发现方法

针对传统研究大多基于影响个体挖掘而忽略了影响群落的发现,本文考虑用户之间的频繁传播模式,提出了一种基于频繁传播模式的影响群落挖掘方法。针对群落内部传播模式的多样化,给出了一种信息传播树扩展方法,通过松弛信息传播树有向特性与图扩展方法,将信息传播树转换为连通无向无环图。结合支持度与影响强度,提出了一种新的频繁子图挖掘算法Tribe-FGM,减小模式增长的规模,提高频繁子图挖掘效率。实验采用新浪微博真实数据,在约90万条博文以及对应约64万左右用户的"地震"话题与约31万条博文以及对应约21万左右用户的"两会"话题的数据集上验证了算法的性能和有效性。     

一种基于Hadoop的大规模Internet频繁闭图挖掘算法

针对当前单机模式下频繁闭图挖掘算法无法处理大规模Internet数据集的问题,通过改进Apriori算法,提出了基于Hadoop的迭代式频繁闭图挖掘算法AMR（Apriori based on MapReduce）。首先将动态网络的边集存储在键值表中,并设计了序列化子图编码方案以确保频繁子图的唯一性;然后提出了一种传递子图编码的通信机制,通过整合每个分片的支持度得到全局支持度,从而确保了频繁闭图的准确性;最后通过剪枝得到动态网络的频繁闭图。将AMR算法分别运用于国家级和AS级Internet的动态网络中,结果表明,频繁闭图能够准确表征Internet骨干网络的拓扑结构,说明AMR算法能够快速且有效地挖掘大规模动态网络的频繁闭图。     

一种针对大型事务数据库的关联规则挖掘算法

为进一步解决对大型数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁问题,给出一种改进的关联规则挖掘算法(ARMAC).该算法引入有向无环图和tidlist结构用以提高频繁项目集的计算效率,并将数据库划分为内存可以满足要求的若干部分,解决了对大型数据库挖掘时磁盘操作频繁的问题,从而有效地适用于大型数据库的关联规则挖掘.该算法吸取连续关联规则挖掘(CARMA)算法的优势,只需扫描两次数据库便可完成挖掘过程.实验结果表明:该算法在大型事务数据库中具有更高的执行效率.     

一种改进的适于安全审计数据分析的关联算法

为了提高挖掘用户频繁行为模式的速度和FP-树空间利用率,从而显著提高安全审计数据分析的效率,本文在FP-growth算法的基础上提出了一种改进的适于安全审计数据分析的挖掘频繁模式算法。与FP-growth算法相比,改进算法在挖掘频繁模式时不生成条件FP-树,挖掘速度提高了1倍以上,所需的存储空间减少了一半。     

小波滤波在时间序列频繁模式挖掘中的应用

与布尔型数据的频繁模式挖掘相比,时间序列的频繁模式挖掘是一个相对复杂的问题,目前对此类问题还缺少深入的研究.通过对小波滤波的研究,提出了一种时间序列的频繁模式挖掘算法,Frequent-Wavelet算法.该算法的特点是采用多孔平滑滤波器组对时间序列做低通平滑处理,用得到的多个尺度序列表示原序列,较好地解决了时间序列的平凡相似问题和时间轴伸缩问题.实验表明,Frequent-Wavelet算法对于时间序列的频繁模式挖掘具有较好的效果.     

通信网告警相关性分析中有效的关联规则挖掘算法

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,使得在通信网环境下挖掘关联规则的难度非常大。针对上述问题,提出了一种基于分层频繁模式树的LFPTDP算法,采用分层模式树的方法产生频繁项集,从而避免了产生大量的条件模式树,并用动态剪枝的方法删除大量的非频繁项。算法分析及仿真表明,LFPTDP算法具有较好的时间和空间效率,是一种适合于通信网告警相关性分析的关联规则挖掘算法。     

增量式频繁闭合序列挖掘算法

在许多场合挖掘频繁闭合序列时,输入串数据库呈现实时动态增长的特点.分析Bide算法,给出并证明了闭合序列前缀中任意一个项目的后向扩展事件（BEE）项目交集随前缀的生长单调不增的定理,据此对BEE累计操作进行了优化,使其性能平均提高了48%.定义了闭合序列树作为频繁闭合序列的表示形式,并阐述了它的3个性质.分析发现,当新增输入串不同时包含前缀串和频繁项目时,两次连续挖掘的结果是相同的,给出了相应的定理和证明,据此实现了增量式频繁闭合序列挖掘算法BideInc.实验验证了BideInc算法的正确性,使用该算法后挖掘性能平均提高了47%.     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

基于动态裁剪频繁模式树的频繁项集并发挖掘算法

为解决FP(frequent pattern)-growth算法中构造频繁模式树(FP-树)所带来的存储和遍历开销较大的问题,提出了一种基于动态裁剪FP-树的频繁项集并发算法Dynamic prune。一方面,通过记录FP 树构造过程中频繁项目计数的变化,实现了FP 树的动态剪枝;另一方面,使用并发策略达到了边构造FP-树,边挖掘频繁项集的效果。与FP growth算法相比,Dynamic-prune无需先构造整棵FP-树再挖掘频繁项集,节省了FP-树的存储开销。实验结果表明Dynamic-prune在运行效率和可扩展性上均优于FP growth算法。