频繁项集挖掘算法研究

论述了频繁项集数据挖掘算法,并采用自底向上和自顶向下遍历搜索分类方法,对已有的频繁项集挖掘算法进行了分析和比较。     

基于前缀树的高效频繁项集挖掘算法

针对频繁项集挖掘时间与空间效率低的问题,提出一种基于前缀树的高效频繁项集挖掘算法,通过对事务集进行预处理,创建索引表并分配索引编号,保证前缀树中事务顺序的一致性,根据索引编号等信息创建紧凑的前缀树,采用自底向上的挖掘与投影的方式挖掘出频繁项集。实验结果表明,该算法挖掘效率高、占用空间少。     

交集剪枝法挖掘最大频繁项集

发现最大频繁项目集是数据挖掘应用中的关键问题;为寻求避免生成大量的候选项集,或生成频繁模式树的挖掘算法,提出一种从事务项集对应的最大频繁项集求全部属性项集的最大频繁项集的新算法IPA（Intersection Pruning Algorithm）。该算法通过交集剪枝实现自顶向下和自底向上的搜索最大频繁项集,并使用属性项的分布数据和已生成的交集等多种信息来减少求交集的次数;该算法最多只用求（1-最小支持度）×|D|+1个事务项集和其他事务项集的交集,从而可有效降低算法的时间复杂度;实验表明该算法有效可行,并且该算法易于实现。     

一种基于OUS的最大频繁项集挖掘算法

分析实际应用中有效访问序列的特点,提出了一种采用自底向上策略快速挖掘最大频繁项集的OUS算法。该算法首先对用户项集进行重叠操作统计浏览次数,然后合并,依据用户给出的最小支持度删除原项集中的非频繁页面元素,并对两两用户项集筛选生成候选频繁项集,最后扫描数据库,统计各个候选频繁项集的支持度计数。实验结果表明,该算法能有效地发现用户最大频繁项集。     

频繁项集挖掘算法综述

该文基于频繁项集挖掘算法的研究现状,采用自底向上遍历搜索、自顶向下遍历搜索和混合遍历搜索的分类方法,对现有的频繁项集挖掘算法进行归纳分类,分析和比较了各类别中具有代表性的挖掘算法,总结每种算法各方面的特性.同时,对一些特殊的频繁项集挖掘算法也作了简单介绍.旨在使读者全面掌握频繁项集挖掘算法目前的研究水平,便于研究者对已有的算法进行改进,提出具有更好性能的新的分类算法,也便于使用者在应用时对算法的选择和使用.     

基于双空间搜索的频繁项挖掘方法

1 引言 1998年Roberto J.和Bayardo Jr.利用自底向上搜索和项目集排序的方法建立了一种挖掘长型频繁项的Max-Miner算法;Lin D.和 Z.Kedem提出了一种双向钳形搜索Pincer-Search方法,利用自底向上搜索产生的非频繁项集来约束和修剪自顶向下方向的最大侯选频繁项集,候选频繁项集来自于Apriori方法。这两种方法虽然细节有所不同,但修剪最大频繁项的思想类似。假设{{1,2,3,4,5,6}}是最大候选频繁项MFCS(maximum-frequent-candidate-set),{1,6}和{3,6}是新发现的非频繁项集,对MFCS考虑{1,6}得{{1,2,3,4,5},{2,3,4,5,6}}。再用{3,6}更新这个MFCS:由于{3,6}是{2,     

挖掘滑动时间衰减窗口中网络流频繁项集*

网络流数据频繁项集挖掘是网络流量分析的重要基础。提出一种新颖的基于字典顺序前缀树LOP-Tree的频繁项集挖掘算法STFWFI,该算法采用更符合网络流特点的滑动时间衰减窗口模型,有效降低挖掘频繁项集的时间和空间复杂度;在该树结构上提出一种新的基于统计分布的节点权值计算方法SDNW代替传统的统计计算方法,提高了网络流节点估值的精确度。实验结果表明该算法在网络流频繁项集挖掘过程中获得了良好的效果。     

基于DiffNodeset结构的最大频繁项集挖掘算法

在数据挖掘中,通过挖掘最大频繁项集来代替挖掘频繁项集可以大大地提升系统的运行效率。针对现有的最大频繁项集挖掘算法的运行时间消耗仍然很大的问题,提出了一种基于DiffNodeset结构的最大频繁项集挖掘（DNMFIM）算法。首先,采用了一种新的数据结构DiffNodeset来实现求交集以及支持度的快速计算;其次,引入一种新的线性复杂度的连接方法来降低两个DiffNodeset在连接过程中的复杂度,避免了多次的无效计算;然后,将集合枚举树作为搜索空间,同时采用多种优化剪枝策略来缩小搜索空间;最后,再结合最大频繁项集挖掘算法（MAFIA）中所使用的超集检测技术来有效地提高算法的准确性。实验结果表明,DNMFIM算法在时间效率方面性能优于MAFIA与基于N-list的MAFIA（NB-MAFIA）,该算法在不同类型数据集中进行最大频繁项集挖掘时均有良好的效果。     

一种基于关系数据库的频繁项集挖掘算法

频繁项集的挖掘是数据挖掘中的一个十分重要的组成部分，目前对于事务数据库频繁项集的挖掘算法研究较多。本文根据事务数据库中布尔型频繁项集挖掘的理论和方法，再结合关系数据库的特殊性，利用标准SQL语言提出了一种新的在关系数据库中挖掘频繁项集的简易算法。实验证明该算法具有较高的效率。     

提高频繁项集挖掘算法效率的方法研究

提高频繁项集挖掘算法的效率是关联规则挖掘研究的一个重要内容。通过对不产生候选项频繁项集挖掘算法的分析,从子集的划分和局部频繁项集挖掘出发,提出了一种提高频繁项集挖掘算法效率的实现方法。实验表明,该方法对提高频繁项集挖掘算法的效率是有效的。     

一种定位子集的自顶向下挖掘算法研究

针对现有自顶向下挖掘算法的不足,即在非频繁项目产生子集时和修剪重复产生的子集时存在冗余计算,提出一种基于定位子集的自顶向下挖掘算法,其适合于挖掘较长频繁项目集;算法按自顶向下策略用定位子集的方法产生非频繁项的子集,并有效地修剪冗余子集和减少重复计算,提高了算法的效率。实验证明,与现有的自顶向下挖掘算法相比,该算法是快速而有效的。     

一种有效的频繁项双空间挖掘方法

给出了一种有效的频繁项双空间挖掘方法，充分利用事务数据库的二元特性，通过双空间映射把数据库的项目维和事务维联系在一起，提高了频繁项集的挖掘效率。计算机实验数据表明，双空间搜索挖掘方法对频繁项的数据挖掘是非常有效的，与传统的Apriori方法相比，新方法对数据扩散率和频繁项长短(最小支持度变化)均不敏感，挖掘效率提高很多。     

Pincer-search: an efficient algorithm for discovering the maximumfrequent set

Discovering frequent itemsets is a key problem in important data mining applications, such as the discovery of association rules, strong rules, episodes, and minimal keys. Typical algorithms for solving this problem operate in a bottom-up, breadth-first search direction. The computation starts from frequent 1-itemsets (the minimum length frequent itemsets) and continues until all maximal (length) frequent itemsets are found. During the execution, every frequent itemset is explicitly considered. Such algorithms perform well when all maximal frequent itemsets are short. However, performance drastically deteriorates when some of the maximal frequent itemsets are long. We present a new algorithm which combines both the bottom-up and the top-down searches. The primary search direction is still bottom-up, but a restricted search is also conducted in the top-down direction. This search is used only for maintaining and updating a new data structure, the maximum frequent candidate set. It is used to prune early candidates that would be normally encountered in the bottom-up search. A very important characteristic of the algorithm is that it does not require explicit examination of every frequent itemset. We evaluate the performance of the algorithm using well-known synthetic benchmark databases, real-life census, and stock market databases     

基于FP-tree的最大频繁项目集挖掘算法

最大频繁项目集挖掘是数据挖掘领域最重要的基本问题之一,在分析已有算法的基础上提出了FP-MMFI算法,它是对FP-growth算法在最大频繁项目集挖掘上的扩展.提出了频繁路径的概念,用它可以有效地对FP-tree进行压缩和缩小搜索空间,同时使用投影的方法对超集检测进行了优化,减少了项目匹配的次数.最后实验结果表明,该算法在性能上优于已有的同类算法.     

最大频繁项目集的快速更新

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题．为克服基于Apriori的最大频繁项目集挖掘算法存在的不足,DMFIA采用FP-tree存储结构及自顶向下的搜索策略,有效地提高了最大频繁项目集的挖掘效率．但对于频繁项目多而最大频繁项目集维数相对较小的情况,DMFIA要经过多层搜索且在每一层产生大量的候选项目集,因而影响算法的执行效率．为此,该文提出了DMFIA的改进算法IDMFIA(the Improved algorithm of DMFIA)．IDMFIA采用自顶向下和自底向上双向搜索策略,可尽早修剪掉较短最大频繁项目集的超集和较长最大频繁项目集的子集．另外,该文还提出最大频繁项目集更新算法FUMFIA(Fast Updating Maximum Frequent Itemsets Algorithm),该算法充分利用已建立的FP-tree和已挖掘的最大频繁项目集,可对已挖掘的最大频繁项目集进行高效维护．实验结果表明,IDMFIA和FUMFIA可有效提高最大频繁项目集的挖掘和更新效率．     

最大频繁项目集挖掘技术研究与展望

提高最大频繁项目集挖掘算法的效率是关联规则挖掘研究一个重点领域.本文主要对影响最大频繁项目集挖掘效率的数据分布、搜索策略、支持度计算及剪枝策略等技术进行了研究,并对已提出的最大频繁项目集挖掘算法进行了分析.     

不确定数据频繁项集挖掘方法综述

近几年来,不确定数据广泛出现在传感器网络、Web应用等领域中。不确定数据挖掘已经成为了新的研究热点,主要包括聚类、分类、频繁项集挖掘、孤立点检测等方面,其中频繁项集挖掘是重点研究的问题之一。综述了传统的频繁项集挖掘的两类基本算法,分析了在此基础上提出的适用于不确定数据以及不确定数据流的频繁项集挖掘的方法,并探讨了今后可能的研究方向。     

频繁项集挖掘的研究与进展

挖掘频繁项集是许多数据挖掘任务中的关键问题，也是关联规则挖掘算法的核心，所以提高频繁项集的生成效率一直是近几年数据挖掘领域研究的热点之一，研究人员从不同的角度对算法进行改进以提高算法的效率。该文从频繁项集生成过程中解空间的类型、搜索方法和剪枝策略、数据库的表示方法、数据压缩技术等几个方面对频繁项集挖掘的基本策略进行了研究，对完全频繁项集挖掘、频繁闭项集挖掘和最大频繁项集挖掘的典型算法特别是最新算法进行了介绍和评述，并分析了各种算法的性能特点，指出其适于哪种类型的数据集。最后，对频繁项集挖掘算法的发展方向进行了初步的探讨。     

一种基于位运算的频繁闭项集挖掘算法

针对相关算法在挖掘频繁闭项集时所存在的问题, 提出了一种基于位运算的频繁闭项集挖掘算法。该算法首先将数据集转换成布尔矩阵, 只需扫描数据集一次; 通过位运算计算支持度, 利用矩阵和数组存储辅助信息, 减少时间和空间消耗; 深度优先搜索产生频繁闭项集时利用剪枝策略进一步减少挖掘时间; 利用同生项集性质进行闭合性检测, 无须检查超集或子集。理论分析和实验结果验证了该算法的有效性。     

基于二进制的挖掘算法在移动计算中的应用

为了减少移动计算中提取空间关系的计算代价,提出一种基于二进制的关联规则挖掘算法,适合于在移动计算中提取包含多个空间对象的关联.该算法采用自顶向下的搜索策略,利用二进制的逻辑运算产生频繁候选项和计算频繁候选项的支持数,大大地提高了算法的效率.该算法能够有效地用在移动计算中提高系统对用户的响应速度,特别是在挖掘长空间关联规则时,实验结果表明,该算法比现有算法更快速而有效.