FP—Growth关联规则挖掘的改进算法

文章通过对FP—Growth算法分析,提出的改进算法能有效地减少需遍历的树的节点数,从而降低了时间开销。实验表明：改进算法能明显地提高挖掘效率。     

FP-Growth关联规则挖掘的改进算法

文章通过对FP-Growth算法分析,提出的改进算法能有效地减少需遍历的树的节点数,从而降低了时间开销。实验表明:改进算法能明显地提高挖掘效率。     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题，而最大频繁项集的生成是影响关联规则挖掘的关键问题。在已有的频繁集发现算法中，DLG算法通过减少事务数据库的扫描次数，进而有效减少挖掘过程的I／O代价，在阐述DLG算法的实现原理与执行过程的基础上，为进一步减少候选项集的数量，提出一种改进算法DLG，其主要思想是在关联图构造阶段，统计每一个频繁项目的入度，以此作为剪枝的依据，性能分析和比较试验的结果表明该算法性能优良。     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题 ,而最大频繁项集的生成是影响关联规则挖掘的关键问题 .在已有的频繁集发现算法中 ,DLG算法通过减少事务数据库的扫描次数 ,进而有效减少挖掘过程的I/O代价 .在阐述DLG算法的实现原理与执行过程的基础上 ,为进一步减少候选项集的数量 ,提出一种改进算法DLG .其主要思想是在关联图构造阶段 ,统计每一个频繁项目的入度 ,以此作为剪枝的依据 .性能分析和比较试验的结果表明该算法性能优良     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

基于FP-Growth算法的多维关联规则挖掘方法

基于FP-Growth算法在不产生侯选项集的情况下产生所有的频繁项集的思想上提出一种多维关联规则挖掘方法。该方法以数据立方体下的多维数据为研究对象,通过挖掘频繁谓词集发现多维关联规则,并通过理论和实例验证的方法证明了该方法的可行性。     

基于Spark平台的FP-Growth算法优化与实现

针对FP-Growth算法面对海量数据挖掘时串行操作机制出现内存瓶颈或者数据挖掘失效等问题,提出将基于Spark平台的FP-Growth算法在数据分组策略和项头表结构两方面进行优化。一方面提出一种S型的负载权值均衡分组的方式;另一方面,设计出一种新的项头表结构,此结构包含Hash查找表,能有效降低查找时间复杂度。实验证明,优化的基于Spark平台的FP-Growth算法(OptFP-Spark算法)具有更高的并行运算加速比、更好的并行挖掘效果及更高效的计算效率。     

一种基于MapReduce的Apriori改进算法研究

提出了一种基于MapReduce模型,利用向量矩阵和Apriori算法实现关联规则数据挖掘的新算法.算法利用MapReduce模型处理向量矩阵,结合Apriori算法思想,产生局部频繁项集,通过合并处理得到全局频繁项集.实验证明算法能提高关联规则挖掘的效率.     

一种基于邻接表的改进FP—growth算法

提出了改进的FP—tree树及FP—growth算法,不需要递归的生成条件模式基和条件模式树,改进的FP—tree结构类似于邻接表,保留了FP—tree中的项头表,舍弃了繁琐的树结构,采用单向链表结构来压缩结点信息,链表中各结点按照支持度降序排列。在挖掘频繁项目集部分相对FP—growth算法在运行时间上有显著提高,且算法的运行速度也明显优于FP—growth算法。     

一种Apriori的改进算法

在对关联规则挖掘算法Apriori进行深入研究的基础上,提出了一种采用频繁项集Lk-1 与L1连接生成候选项集Ck的思想,并基于这种新的思想提出了一种优化的算法1-K_Apriori算法.在真实数据集和实验数据集上所做的实验及结果表明,1-K_Apriori算法是有效的.     

FP-growth频繁集挖掘算法的分析与实现

FP-growth算法是不产生候选集的频集挖掘算法,对其分析和实现有重要意义.通过描述和分析FP-growth算法,利用C＋＋STL对其进行了实现,最后在若干数据集上与Apriori算法进行了性能比较,获得了较Apriori算法更好的运算结果.     

基于FP-Tree的敏感性关联规则隐藏的研究

敏感性关联规则的隐藏是最大程度地保持原始数据集的其他特征,保证敏感规则不被挖掘出来.针对已有的基于对原始数据集中事务修改的方法产生大量I/O操作的问题,提出了基于频繁模式树(FP-tree)的敏感性关联规则隐藏的方法.该方法首先利用FP-tree存储了与事务数据库相关的全部信息,减少了产生和测试候选集耗费的大量时间;再利用改进的频繁模式树(IFP-tree)是单向的,快速挖掘出最大频繁项目集,确定敏感性关联规则;然后删除敏感关联规则对应的频繁项目集,更新IFP-tree项目集节点和相应的项目头表的计数,对更新的IFP-tree反向挖掘生成新的不包含敏感关联规则的事务数据库.实例和理论分析表明,该方法是正确和高效的.     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

改进的FP-growth算法及其在TE过程故障诊断中的应用

为了解决频繁模式增长( frequent pattern growth,FP-growth)算法因多次遍历频繁集列表而产生庞大频繁模式树需占用大量内存降低了运行效率的问题,提出一种改进的FP-growth( upgraded FP-growth,UFP)算法。首先,构造支持度函数实现各项与其支持度的映射,使算法的运行效率得到提高;其次,利用关键字筛选技术,把频繁项分成关键项表、非关键项表两部分,保证了最终获取的每条关联规则都是人们关注的有效信息;最后,根据频繁1-项集划分数据库子集并直接构造每一项的条件模式树,节省了内存空间。将UFP算法应用于Tenessee Eastman( TE)过程的故障诊断,通过与主成分分析( principal component analysis,PCA)、核主成分分析( kernel principal component analysis,KPCA)算法在多种故障下的诊断结果对比实验验证了算法的优越性。     

基于映射的增量式数据挖掘算法

数据挖掘算法对于支持度改变及数据集更新的适应性一直都是一个难点。本文根据数据集逐步增加的增量式方法,映射事务模式于线性空间中进行挖掘,并借助了图像在操作系统中显示及存储的特点,提出了一种新的增量式数据挖掘算法IPM-DM。同时,对比分析了其中两种模式映射方法,并与同类算法比较,经过实验证明,算法IPM-DM是有效且可行的。     

Mining association rule efficiently based on data warehouse

1　INTRODUCTIONDatamining (DM )istheprocessofextractingvaluableknowledgehiddeninlargevolumesofrawda ta[1 15] .Aneffectivedataminingmethodshoulden abletheuserstoexplorethedatawarehouse ,selectallkindsofrelativedata ,conductanalysisatdifferentlevelsandfinally publishknowledgeinvariousfor mats.However ,theabundanceofthedatainthedatawarehouse(DW )canalsoaffecttheefficiencyofDM ,thereasonofwhichliesinthefollowingaspects[2 4 ] :1)agreatnumberofdataoftenresultinmultiplescanintheDWandtherefor…     

过程控制中的一种数据挖掘算法

结合粗糙集理论,提出了一种适合工业控制领域使用的数据挖掘算法.工业控制的采样数据以决策表的形式表示,用模糊c-方法对采样信息表进行模糊语言化,依据适合实际应用的语言值关联规则支持度和信任度,通过属性约简,剔除冗余规则,挖掘出隐含的关联规则.以水泥生产线中分解炉控制为例,采用现场实时采集的数据集,挖掘出了相关控制对象之间的关联关系.关联规则的挖掘,有助于在先验经验不足的条件下获取模糊规则,通过动态的模糊模型的建立,实现一定程度的智能控制.