基于MapReduce的关联规则挖掘

关联规则挖掘是数据挖掘的一项重要技术,它主要是通过频繁项集挖掘得到关联规则。基于云计算的MapReduce模型的数据挖掘算法可以提高挖掘的效果及性能。     

关联规则挖掘综述

关联规则挖掘则是数据挖掘中最重要的分支之一。它着重研究大量数据中项集之间有趣的关联或相关关系，一个典型的例子就是购物篮分析。该过程可以分析出哪些商品顾客倾向于在一起购买，从而可以为商店经理提供比较好的商店布局方式。例如，通过分析，我们发现，顾客在购买了一台计算机以后，一般都会去购买财务管理软件，那么我们就可以把计算机和财务管理软件放在比较近的位置，以增加销售量。这里主要介绍了关联规则挖掘的经典算法，Apriori算法，同时给出了关联规则中的基本概念，然后分析了算法的运行效率。提出了改进的方法。     

基于数组的关联规则挖掘算法

提高频繁项集挖掘算法的效率是关联规则挖掘研究的一个重点领域。文章提出了基于数组的关联规则挖掘算法，只需要扫描数据库1次，通过不断减少数据库中的事务个数，并且利用一维数组对候选2-项集进行计数来提高挖掘效率。实验表明，该文所提出的算法效率比经典Apriori算法快2～3倍。     

关联规则挖掘综述

关联规则挖掘则是数据挖掘中最重要的分支之一。它着重研究大量数据中项集之间有趣的关联或相关关系,一个典型的例子就是购物篮分析。该过程可以分析出哪些商品顾客倾向于在一起购买,从而可以为商店经理提供比较好的商店布局方式。例如,通过分析,我们发现,顾客在购买了一台计算机以后,一般都会去购买财务管理软件,那么我们就可以把计算机和财务管理软件放在比较近的位置,以增加销售量。这里主要介绍了关联规则挖掘的经典算法,Apriori算法,同时给出了关联规则中的基本概念,然后分析了算法的运行效率,提出了改进的方法。     

一种基于MapReduce模型的高效频繁项集挖掘算法

由于互联网技术急速发展及其用户迅速地增加,很多网络服务公司每天不得不处理TB级甚至更大规模的数据量。在如今的大数据时代,如何挖掘有用的信息正变成一个重要的问题。关于数据挖掘(Data Mining)的算法在很多领域中已经被广泛运用,挖掘频繁项集是数据挖掘中最常见且最主要的应用之一,Apriori则是从一个大的数据集中挖掘出频繁项集的最为典型的算法。然而,当数据集比较大或使用单一主机时,内存将会被快速消耗,计算时间也将急剧增加,使得算法性能较低,基于MapReduce的分布式和并行计算则被提出。文中提出了一种改进的MMRA (Matrix MapReduce Algorithm)算法,它通过将分块数据转换成矩阵来挖掘所有的频繁k项集;然后将提出的算法和目前已经存在的两种算法(one-phase算法、k-phase算法)进行比较。采用Hadoop-MapReduce作为实验平台,并行和分布式计算为处理大数据集提供了一个潜在的解决方案。实验结果表明,改进算法的性能优于其他两种算法。     

基于向量内积的关联规则挖掘算法研究

针对近年来研究较多的数据关联挖掘问题,论文将向量内积引入到该领域,并通过合理分配数据存储结构来提高数据库频繁项集的生成效率。研究表明,该方法不仅算法简单、只需扫描一次数据库,而且还具有动态剪枝、不保存中间候选项和节省大量内存空间等优点。在处理超大型数据库和分布式数据库方面均能得到较好的应用。     

基于改进Apriori算法的关联规则挖掘研究

关联规则挖掘研究是数据挖掘研究的一项重要的内容。经典的关联规则提取算法——Apriori算法及其改进算法存在着一些不足，一是会产生大量的候选项目集，二是在扫描数据库时需要很大的I／O负载。通过对关联规则产生过程的实际实验分析发现，可以采取利用频繁k-1项集Lk-1对候选k项集Ck进行预先剪枝、及在扫描数据库过程中忽略对频繁项集的产生无贡献的交易记录的方法来改进关联规则提取的效率。     

关联规则挖掘中对Apriori算法的研究

针对Apriori寻找频繁项集问题,提出了基于垂直事务列表的树形结构的挖掘算法。该算法结合项集的有序特性,使生成树的每一层结点从左往右按支持度大小升序排列,这样得到的候选频繁项集的集合是最小的,大大减少了候选频繁项集的数量,而且能保持频繁项集的完整性,从而节约了计算开销,提高了算法的效率。     

数据挖掘中常用关联规则挖掘算法

文中首先介绍了数据挖掘中关联规则的经典算法--Apiori算法.再从宽度、深度、划分、采样、增量式更新等几个角度对关联规则挖掘进行了分类讨论.然后运用文献查询和比较分析的方法对常见的关联规则挖掘算法进行了概述,主要包括FP-growth算法、DHP算法、Partition算法、FUP算法、CD算法等算法.最后对关联规则挖掘的发展远景进行了展望.     

数据挖掘中常用关联规则挖掘算法

文中首先介绍了数据挖掘中关联规则的经典算法——Apriori算法。再从宽度、深度、划分、采样、增量式更新等几个角度对关联规则挖掘进行了分类讨论。然后运用文献查询和比较分析的方法对常见的关联规则挖掘算法进行了概述,主要包括FP—growth算法、DHP算法、Partition算法、FUP算法、CD算法等算法。最后对关联规则挖掘的发展远景进行了展望。     

数据库中关联规则的并行挖掘算法

提出了数据库中挖掘关联规则的并行算法,探讨了相关的数据结构,并对算法进行了定性分析。该算法不仅适用于布尔型属性,而且也适用于非布尔型属性。     

广义的关联规则挖掘算法

本文提供了在数据挖掘中的关联规则的分类方式，对一些典型算法进行了分析，最后提出了广义的关联规则挖掘算法AR_SET，利用集合“或”、“与”运算求解频集（FrequentItemset)，提高了挖掘的效率和速度。     

关联规则挖掘研究

介绍了关联规则挖掘的基本概念。提出了关联规则的分类方法．对一些典型算法进行了分析和评价。     

一种基于MapReduce的频繁闭项集挖掘算法

频繁闭项集的挖掘是发现数据项之间关联规则的一种有效方式。当前以MapReduce模式为基础的云计算平台为解决海量数据中的关联规则挖掘问题提供新的解决思路。文中提出并实现一种基于Hadoop云计算平台的频繁闭项集的并行挖掘算法。该算法主要包括并行计数、构造全局频繁项表、并行挖掘局部频繁闭项集和并行筛选全局频繁闭项集四个步骤。在多个数据集上的实验表明,该方法能较大提高数据挖掘的效率,具有较好的加速比。     

一种基于关联规则挖掘的分类规则挖掘算法

本文根据关联规则和分类规则的概念与表示形式,指出在关联规则挖掘过程中如果指定挖掘与一个确定的项相关联,那么就是分类规则挖掘了,论述了分类规则是特殊情况下的关联规则,并指出在这种特殊情况下,关联规则所具有的特征;然后根据这一论述,提出了一种在关联规则挖掘算法中利用限制条件概率分布来发现分类规则的算法。     

增量更新关联规则数据库挖掘算法研究

随着数据库技术的不断发展及数据库管理系统的广泛应用,大型数据库系统己经在各行各业普及,数据库中存储的数据量急剧增大,数据挖掘便是从海量数据库中挖掘有效或重要信息的过程。关联规则挖掘是数据挖掘领域一个非常重要的研究课题,被广泛地应用于商业界、医疗保险、金融业、电信部门等。随着时间的推移,挖掘数据库的规模会发生不断变化,人们对数据的需求也会有所不同,因此如何从扩展数据库中高效地对已经推导出的关联规则进行更新具有非常重要的应用价值,这就是所谓的增量式挖掘关联规则的问题。     

一种新的关联规则的高效挖掘算法

在Apriori算法的基础上，提出了一种新的算法，该算法在运行过程中根据支持度来不断缩小原有事务数据库，同时采用了一种新的方法产生候选集，促进了关联规则挖掘中效率的提高。     

基于关联规则的数据挖掘技术综述

阐述在数据挖掘领域中的四种常用的数据挖掘技术方法,以数据挖掘技术中的关联规则挖掘为基础,阐述关联规则挖掘的经典算法Apriori算法的基本思想。通过关联规则挖掘算法实验给出该算法的具体使用方法,总结该算法存在的不足。     

挖掘关联规则算法的优化处理

在挖掘关联规则的执行过程中,早期循环生成最大项目集的过程是很重要的。文中提出基于哈希表的算法,对生成侯选项目集的过程进行了优化,尤其是对生成二维侯选项目集更是有效。由于在早期循环中,生成侯选项目集的势较小,使得能更有效地修剪数据库,从而减小了后期循环的计算代价,同时也减小了I／O请求。     

基于模糊理论的量化关联规则挖掘算法

提出一种基于模糊理论的关联规则挖掘方法来处理数量属性,模糊理论能够实现数据的平滑过渡,使得挖掘出的关联规则具有高度的可理解性,给出了模糊关联规则的形式定义和挖掘算法.