基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤，针对关联规则挖掘中最小支持度发生变化的增量式更新问题，提出了高效发现最大频繁项目集的更新算法．该算法在FP树的基础上增加了记录各项目支持数的表，在头表中增加了域，从而减少了访问事务数据库和FP树的时间，提高了发现最大频繁项目集的效率．     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤,针对关联规则挖掘中最小支持度发生变化的增量式更新问题,提出了高效发现最大频繁项目集的更新算法.该算法在FP树的基础上增加了记录各项目支持数的表,在头表中增加了域,从而减少了访问事务数据库和FP树的时间,提高了发现最大频繁项目集的效率.     

一种带兴趣度的正负关联规则挖掘算法

针对负关联规则挖掘所带来的问题,提出加入最大支持度来控制频繁项集生成规模,改进了相关性的计算公式,并将其用作正负关联规则的兴趣度来剔除无兴趣的关联规则,限制关联规则中的前后件项目个数来保证挖掘出的关联规则的实用性和可理解性.最后,给出一种能够同时挖掘正负关联规则的算法,实验结果表明算法是有效的、可行的.     

一种带兴趣度的正负关联规则挖掘算法

针对负关联规则挖掘所带来的问题,提出加入最大支持度来控制频繁项集生成规模,改进了相关性的计算公式,并将其用作正负关联规则的兴趣度来剔除无兴趣的关联规则,限制关联规则中的前后件项目个数来保证挖掘出的关联规则的实用性和可理解性。最后,给出一种能够同时挖掘正负关联规则的算法,实验结果表明算法是有效的、可行的。     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题 ,而最大频繁项集的生成是影响关联规则挖掘的关键问题 .在已有的频繁集发现算法中 ,DLG算法通过减少事务数据库的扫描次数 ,进而有效减少挖掘过程的I/O代价 .在阐述DLG算法的实现原理与执行过程的基础上 ,为进一步减少候选项集的数量 ,提出一种改进算法DLG .其主要思想是在关联图构造阶段 ,统计每一个频繁项目的入度 ,以此作为剪枝的依据 .性能分析和比较试验的结果表明该算法性能优良     

关联规则挖掘中Apriori算法的研究与改进

对Apriori算法加以改进,提出了一种更高效的关联规则挖掘算法,在扫描数据库的同时把支持每个项目的事务都标记出来,采用一种新的方法来计算候选项目集的支持度．该算法只需对源数据库进行一次扫描,就可以找出所有的频繁集,具有很高的效率．     

TRISCAN-IA:一种间接关联挖掘的快速算法

间接关联是数据挖掘领域中一种数据项之间的关联关系,为了有效地应用于市场营销、智能数据分析、web日志分析等领域,给出了一个基于频繁项目对支持矩阵直接生成频繁项目对之间候选间接关联的挖掘算法(TRISCAN-IA)。该算法只需要3次扫描数据集即可找出所有的间接关联,从而提高了算法的运行效率、在一个web log的真实数据集上进行了试验,与现有算法的比较表明,该算法具有更好的性能。     

一个改进项目的加权关联规则挖掘算法

提出了一个改进的项目加权关联规则挖掘算法.该算法利用一个加权频繁项目集必须满足的加权支持度下界,对加权频繁候选项目集进行剪枝,该下界计算简便,可以减少挖掘的计算量.理论分析和实验表明本算法和MINWAL(W)相比,具有生成候选集数量少、挖掘效率高等特点,特别在项目权值相差不大时,本算法的优势更明显.     

一种有效的负频繁项集挖掘方法

目前负关联规则研究的主要形式是左右两边项集全正或者全负,如(a1a2)■┐(b1b2)、┐(a1a2)#(b1b2),但有时形如a1┐a2■b1┐b2的负关联规则能够提供更多的决策信息,然而要挖掘这样的负关联规则需要先挖掘形如a1┐a2■b1┐b2的负频繁项集。为此,本文提出了一个有效的方法来挖掘这样的负频繁项集。该方法包含一个有效的负候选项集生成算法,和仅利用正频繁项集有关信息来计算负候选项集支持度的方法,而不用再次扫描数据库。实验表明了提出方法的有效性。     

关联规则挖掘Apriori算法的研究与改进

关联规则挖掘是数据挖掘领域中的重要研究方向，该文在分析关联规则挖掘Apriori算法原理和性能的基础上，指出了该算法存在着两点不足：扫描事务数据库的次数和连接成高维候选项目集时的比较次数太多。并提出了一种效率更高的S-Apriofi算法，该算法通过采用新的数据结构和原理，克服了传统Apriori算法的缺点，从而大大提高了运算效率。     

NIA2： A fast indirect association mining algorithm

Indirect association is a high level relationship between items and frequent item sets in data. There are many potential applications for indirect associations, such as database marketing, intelligent data analysis, web -log analysis, recommended system, etc. Existing indirect association mining algorithms are mostly based on the notion of post - processing of discovery of frequent item sets. In the mining process, all frequent item sets need to be generated first, and then they are fihered and joined to form indirect associations. We have presented an indirect association mining algorithm （NIA） based on anti -monotonicity of indirect associations whereas k candidate indirect associations can be generated directly from k - 1 candidate indirect associations, without all frequent item sets generated. We also use the frequent itempair support matrix to reduce the time and memory space needed by the algorithm. In this paper, a novel algorithm （NIA2） is introduced based on the generation of indirect association patterns between itempairs through one item mediator sets from frequent itempair support matrix. A notion of mediator set support threshold is also presented. NIA2 mines indirect association patterns directly from the dataset, without generating all frequent item sets. The frequent itempair support matrix and the notion of using tm as the support threshold for mediator sets can significantly reduce the cost of joint operations and the search process compared with existing algorithms. Results of experiments on a real - word web log dataset have proved NIA2 one order of magnitude faster than existing algorithms.     

一种基于压缩矩阵的改进Apriori算法

针对Apriori算法需要频繁扫描事务数据库并且会产生大量候选项集的不足,提出一种改进的Apriori算法。采用矩阵压缩的思想,增加了3个向量,分别表示事务矩阵中各行各列1的个数,即事务项目数和项目支持数,以及重复的事务出现次数,从而减小矩阵规模,避免多次扫描数据库。在矩阵运算过程中,对矩阵中事务项目数和项目支持数进行排序并删除不满足条件的项集和非频繁项集,形成新的矩阵结构,提高空间效率。对改进后的算法进行性能分析和试验分析发现,该算法相对于Apriori算法具有更高的效率,同时可以更有效的挖掘出频繁项集。     

融合项目聚类和时间权重的动态协同过滤算法

传统基于项目的协同过滤算法离线计算项目间的相似度,提高了向用户推荐的速度,但极大的数据稀疏度影响了推荐质量,且该算法也忽略了用户兴趣随时间变化这一现象. 针对上述问题,提出了一种融合项目聚类和时间权重的动态协同过滤算法,根据用户偏好对项目进行聚类,找出类别偏好相似的候选邻居,再在候选邻居中搜寻最近邻,排除与目标项目共同评分较少的项目干扰,提高了搜寻相似项目的准确性. 同时,引入时间权重来反映用户兴趣随时间的变化,从整体上提高推荐质量. 在MovieLens数据集上进行实验,实验结果表明,本文所提出算法的推荐质量较传统的协同过滤算法有显著提高.     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

基于最小加权支持的加权序列模式挖掘算法

针对序列模式挖掘进行探索,通过对项目加权体现项目的重要性,进而实现序列的加权;加权后,频繁序列的子序列不一定频繁,因此提出序列的最小加权支持概念,并由此提出了加权序列模式挖掘算法MWSP。仿真实验结果表明,与同类算法WSpan比较,MWSP算法更能体现序列的重要性。     

协议签名特征自动发现方法

数据包应用层固定位置频繁出现的字节组合是识别应用层协议的一种重要的签名特征(signature)。数据挖掘中经典的Apriori算法在提取协议签名特征时具有准确性高、覆盖面广等优势,但同时也存在候选集规模大、重复扫描数据库等问题。在运用深度包检测技术的基础上改进Apriori算法,有效降低计算复杂度,并能够自动发现一种由确定的字节值和字符类型组合而成的协议签名特征。实验表明,文章的方法产生的签名特征具有准确的协议区分能力,并且在协议版本更新情况下的适应能力强,同时具有较好的未知协议特征发现能力。     

云计算环境下Apriori算法的MapReduce并行化

借助分割数据技术优化了经典的Apriori算法,实现了对候选项集的分组统计。给出了优化Apriori算法的MapReduce编程实现模型,达到了Apriori算法并行化的目的。实验结果表明,该算法能够大量减少键／值对的产生,提高了算法的效率,并且随着挖掘频繁项目集节点数的增加,算法的加速比成线性提高。     

基于大数据集的混合动态协同过滤算法研究

协同过滤已在推荐系统中广泛使用,但传统算法存在一定的局限性,如不能较好地适应用户-项目评分矩阵数据集的稀疏性、计算项目相似性时未考虑项目的分类及用户对项目评分和兴趣的时变性等因素。针对这些局限性在传统协同过滤算法基础上提出一种基于大数据集的混合动态协同过滤算法。该算法在计算项目的相似性时引入了时间衰减函数,并综合考虑项目评分的相似性和项目分类的相似性,两者在项目综合相似性中所占权重可以自适应动态调节。算法还在相似性计算和近邻项目选取上做了一些改进。实验表明该算法比传统推荐算法质量有所提高。     

一种改进的AprioriTid算法

针对经典Apriori算法多次扫描数据库产生I/O负载影响运行效率等问题,在对Apriori算法的原理及其相关改进算法研究的基础上,提出了一种基于压缩集的改进Apriori算法,即Apriori Tid_M算法.通过有效的裁剪方法减少无效项集的产生,减少候选项集的数量,从而提高算法的效率.仿真实验表明,在支持度相同但数据量不同,以及数据量相同但支持度不同这两种条件下,Apriori Tid_M算法在性能上和运算时间上都比Apriori算法有很大程度的改善.