关联规则挖掘的一种多剪枝概念格方法

多数据源上关联规则挖掘方法,由于各数据节点间相互通信的候选项集数目过于庞大或者挖掘过程需要对数据库进行多次扫描,导致挖掘算法效率不高。研究剪枝概念格(pruned con-cept laffice,PCL)中概念与频繁项集表示关系,定义剪枝格上的导出频繁项集,设计了一个利用多剪枝概念格从多数据源上挖掘近似所有关联规则的算法UMPCL(union algorithm of multiplepruned concept lattice)。利用一个频繁概念表示一些频繁项集以减少挖掘过程中产生的侯选项集数,使用与全局支持度相等的局部支持度对各子概念格进行剪枝,最后融合、剪枝各子剪枝格并提取全局关联规则。理论分析和实验验证表明该算法是有效的。     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进。在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法。该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则。理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的。     

基于十字链表的关联规则改进算法

目的解决在关联规则挖掘中存在大量无用的候选项集和频繁项集以及效率不高的问题。方法提出了一种基于十字链表的关联规则改进算法。结果利用用户给定的条件和剪枝算法减少了候选项集的数量,再遍历十字链表确定频繁项集,结果表明算法提高了挖掘效率。结论基于十字链表的关联规则改进算法避免了重复扫描数据库,提高了挖掘效率。     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进.在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法.该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则.理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的.     

改进的Apriori算法在中医医案分析中的应用

为了解决Apriori 算法的不足,提出了改进的Apriori算法:进行剪枝侯选项目集时,采用生成频繁项目集和删除具有非频繁子集候选同时进行的方法来减少多余子项目集的生成.改进的Apriori 算法大大提高了频繁项目集即关联规则生成的效率,运行时间不及原算法的十分之一,同时节省了大量的存储空间.最后利用改进的Apriori 算法对中医医案数据进行关联规则挖掘,获得了良好的效果.     

关联规则挖掘算法的优化

Apriori算法是关联规则挖掘的经典算法,该算法在处理规模巨大的候选项目集时存在耗时长和效率低的问题,提出了采用分割法对数据进行分片的优化算法.实验证明该算法不仅能减少数据挖掘对系统资源的占用,而且解决了数据库中数据分割下局部频繁项目序列集产生和全局频繁项目序列集的转换问题.     

最大频繁项目集挖掘技术研究

提高最大频繁项目集挖掘算法的效率是关联规则挖掘研究一个重点领域。本文主要对影响最大频繁项目集挖掘效率的数据分布、搜索策略、支持度计算及剪枝策略等技术进行研究。     

基于集合运算的频繁集挖掘优化算法

挖掘关联规则是数据挖掘中一个重要的课题,产生频繁项目集是其中的一个关键步骤。 提出了一种基于集合运算的频繁项目集挖掘算法,并将该算法与经典算法Apriori进行比较。该算法只需要对数据库扫描一遍。实验表明该算法的效率较好。     

基于数据库约简的关联规则挖掘算法

通过对Apriori算法挖掘过程进行分析，提出了一种基于数据库约简的关联规则挖掘算法．该算法利用每趟挖掘中一些非频繁项集的超集、并集，逐步约简事务数据库中的事务，提高了关联规则的挖掘效率．在这些非频繁项集的基础上建立了数据库约简的定理和推论，并在Apriori算法的基础上设计了ApioriNEW算法．经过对算法进行分析和实验，算法ApioriNEW的挖掘效率比较高．一般情况下，平均可将挖掘效率提高约30%．ApioriNEW算法特别适合大型数据库的关联规则挖掘，已应用在网络故障诊断专家系统的知识获取中．     

审计日志的关联规则挖掘

研究了在入侵检测系统中利用数据挖掘技术从审计日志中挖掘关联规则的方法，针对现有关联规则算法应用于入侵检测系统引起的问题，提出了利用本质属性限制无趣规则的产生、利用行向量的位运算提高Apriori算法时间性能的一种高效改进算法。该算法不需生成候选频繁集和剪枝操作，避免了因无趣规则引起的大量运算。因而能提高入侵检测系统的效率。     

基于贝叶斯网络的个性化关联推荐模型研究

针对关联规则挖掘不能有效进行个性化推荐问题,研究了关联规则挖掘与贝叶斯网络相融合的个性化关联推荐模型,采用历史记录剪枝与贝叶斯网络校验相结合的办法,对关联规则挖掘算法进行改进。在关联规则挖掘过程中,结合用户历史记录,对关联规则中的频繁项集进行筛选,低于给定阈值项集被剪枝,并把剪枝后的项集输入贝叶斯校验网络进行个性化校验,对校验结果排序后按排名先后进行推荐,实现把读者真正喜欢的图书优先推荐给读者,该推荐模型在一定程度上解决了现有推荐系统中个性化较弱的问题。实验表明,贝叶斯网络可以提高关联推荐的个性化程度。     

分布式环境下约束性关联规则的快速更新

研究分布式环境下约束性关联规则更新问题,包括数据库中事务增加和删除2种情况.引入向导集的概念,提出基于全局局部模式的约束性关联规则增量式更新算法DUCAR,其中包括局部约束性频繁项目集更新算法ULFC和全局约束性频繁项目集更新算法UGFC.该算法充分利用原先的挖掘结果提高更新效率,首先从最高维的频繁n项目集进行更新,在更新过程中考虑约束条件,结合剪枝算法,生成较少数量的满足约束条件的候选项目集.将该算法用Java加以实现,采用多组数据对此算法的性能进行测试,并与其他算法作对比实验,实验结果表明,该算法是高效可行的.     

基于最长频繁序列挖掘的恶意代码检测

基于动态API序列挖掘的恶意代码检测方法未考虑不同类别恶意代码之间的行为差别,导致代表恶意行为的恶意序列挖掘效果不佳,其恶意代码检测效率较低.本文引入面向目标的关联挖掘技术,提出一种最长频繁序列挖掘算法,挖掘最长频繁序列作为特征用于恶意代码检测.首先,该方法提取样本文件的动态API序列并进行预处理;然后,使用最长频繁序列挖掘算法挖掘多个类别的最长频繁序列集合;最后,使用挖掘的最长频繁序列集合构造词袋模型,根据该词袋模型将样本文件的动态API序列转化为向量,使用随机森林算法构造分类器检测恶意代码.本文采用阿里云提供的数据集进行实验,恶意代码检测的准确率和AUC(Area Under Curve)值分别达到了95.6%和0.99,结果表明,本文所提出的方法能有效地检测恶意代码.     

基于PFP的关联规则增量更新算法

对快速增长的数据进行挖掘的有效途径之一是采用增量式更新算法,其中最具代表性的是MRFUP算法。该算法的剪枝策略减少了关联规则的计算,但在处理增长快速的数据时效率过低,且频繁计算新增数据。文章以提高海量数据下关联规则增量更新效率为目标,通过扩展能够并行处理关联规则的PFP算法而提出一种基于PFP的关联规则增量更新算法MRPFP。该算法能充分利用云平台强大的存储和并行计算能力。该算法的实验结果表明,MRPFP处理海量数据的效率优于MRFUP算法,更适用于海量数据的关联规则挖掘。     

Suppoqui算法-基于支持度的频繁集快速产生算法

提出了一种新的关联规则挖掘算法-Suppoqui算法,该算法是通过对集合树进行遍历来求频繁项集,它取消了候选集的求解过程,抛弃了以往传统算法求解频繁项集的思路,因此该算法是高效的。     

与时机判定相结合的关联规则增量更新算法

现有的关联规则更新算法大多致力于解决增量更新本身,但很少同时考虑更新时机,不适于对实时应用中频繁更新的数据进行有效处理.针对此问题,提出了一种与时机判定相结合的关联规则增量更新算法,在改进增量更新方法的同时,兼顾对更新时机的判定.在关联规则增量更新阶段,计算含有非空子集个数之和最多的频繁项集,找出在更新数据集中仍然频繁的项集,根据Apriori性质,避免对其子集的处理,从而实现对候选项集的有效剪枝.实验结果表明,该算法通过对更新时机的及时判定和候选项集的有效剪枝,提高了关联规则的更新效率.     

基于贝叶斯网络的个性化关联推荐模型研究

针对关联规则挖掘不能有效进行个性化推荐问题,研究了关联规则挖掘与贝叶斯网络相融合的个性化关联推荐模型,采用历史记录剪枝与贝叶斯网络校验相结合的办法,对关联规则挖掘算法进行改进。在关联规则挖掘过程中,结合用户历史记录,对关联规则中的频繁项集进行筛选,低于给定阈值项集被剪枝,并把剪枝后的项集输入贝叶斯校验网络进行个性化校验,对校验结果排序后按排名先后进行推荐,实现把读者真正喜欢的图书优先推荐给读者,该推荐模型在一定程度上解决了现有推荐系统中个性化较弱的问题。实验表明,贝叶斯网络可以提高关联推荐的个性化程度。
     

基于Hash结构的关联规则交互挖掘算法

关联规则挖掘是数据挖掘的主要技术之一,现有的关联规则挖掘算法均基于支持度-置信度框架,当用户调整阈值时存在多次遍历数据库和重复计算问题。该文针对支持度阈值变化时的关联规则维护问题,提出了关联规则交互挖掘算法HIUA,该算法改进了原始IUA算法的剪枝过程,并通过Hash结构提高算法运行效率。在UCI数据集及企业实际财务数据集中的实验结果表明:在支持度阈值发生变化的过程中HIUA算法进一步利用已有挖掘结果,有效提高了关联规则挖掘的效率。     

一种新的多级关联规则高效挖掘算法

提出一种新的多级关联规则挖掘算法，该算法采用自中间开始并基于集合运算的方法来求频繁集，在求解过程中不需要建立复杂的hash树，并且避免了挖掘初期在每个模式中产生大量的支持事务集，从而减少了I／O操作，提高了挖掘的效率．     

基于剪枝概念格模型的频繁项集表示及挖掘

发现频繁项集是关联规则挖掘的关键步骤。然而,大多数频繁项集求解算法因需要产生大量候选集而降低了效率。该文在研究概念格和频繁项集关系的基础上,将剪枝概念格PCL模型引入数据库中频繁项集的表示,利用概念间的关系性质,在不丢失信息的同时能有效压缩频繁项集的规模,并提出基于PCL模型的频繁项集求解算法。该算法基于Apriori性质,在构造过程中及时、动态地剪枝,删除与频繁项集求解无关的概念,从而有效地改善了频集挖掘算法的时空性能;实验证实了算法良好的性能。