一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。     

一种基于权重的Apriori改进算法

针对Apriori算法在频繁项集挖掘过程中的缺陷,提出了一种基于权重的改进Apriori算法。该改进算法通过一次扫描事务数据库构造出二元事务矩阵,再用各事务和各项的平均权重替代权重支持度,最终挖掘出事务库中的频繁项集。通过实例分析和性能测试,证明了改进的Apriori算法避免了重复扫描事务数据库,使得算法在性能上有了明显优化,并且挖掘出了Apriori挖掘不到的、隐藏的、有价值的规则。     

一种针对大型事务数据库的关联规则挖掘算法

为进一步解决对大型数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁问题,给出一种改进的关联规则挖掘算法(ARMAC).该算法引入有向无环图和tidlist结构用以提高频繁项目集的计算效率,并将数据库划分为内存可以满足要求的若干部分,解决了对大型数据库挖掘时磁盘操作频繁的问题,从而有效地适用于大型数据库的关联规则挖掘.该算法吸取连续关联规则挖掘(CARMA)算法的优势,只需扫描两次数据库便可完成挖掘过程.实验结果表明:该算法在大型事务数据库中具有更高的执行效率.     

Web挖掘技术在远程网络教育中的应用

根据远程网络教育的实际情况,指出了传统挖掘算法在该领域的不足,提出了一种基于网络拓扑图的挖掘算法,将对学员频繁访问路径的挖掘转换为对有向图的遍历,向学员实时推荐学习资源,只需扫描一次数据库,降低了系统的开销。     

面向Web活跃用户的树型访问模式挖掘算法

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAPBUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析.     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题 ,而最大频繁项集的生成是影响关联规则挖掘的关键问题 .在已有的频繁集发现算法中 ,DLG算法通过减少事务数据库的扫描次数 ,进而有效减少挖掘过程的I/O代价 .在阐述DLG算法的实现原理与执行过程的基础上 ,为进一步减少候选项集的数量 ,提出一种改进算法DLG .其主要思想是在关联图构造阶段 ,统计每一个频繁项目的入度 ,以此作为剪枝的依据 .性能分析和比较试验的结果表明该算法性能优良     

一种基于超级哈希树的关联规则挖掘算法

对关联规则的Apriori算法的思想和性能进行了分析,提出了一种基于超级哈希树的关联规则挖掘算法,该算法只需扫描三次数据库,即可找出所有的频繁项目集,在每项事务的项目数不是太多的情况下,算法效率较Apriori有较大的改进.     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题，而最大频繁项集的生成是影响关联规则挖掘的关键问题。在已有的频繁集发现算法中，DLG算法通过减少事务数据库的扫描次数，进而有效减少挖掘过程的I／O代价，在阐述DLG算法的实现原理与执行过程的基础上，为进一步减少候选项集的数量，提出一种改进算法DLG，其主要思想是在关联图构造阶段，统计每一个频繁项目的入度，以此作为剪枝的依据，性能分析和比较试验的结果表明该算法性能优良。     

一种基于超级哈希树的关联规则挖掘算法

对关联规则的Apriori算法的思想和性能进行了分析，提出了一种基于超级哈希树的关联规则挖掘算法，该算法只需扫描三次数据库，即可找出所有的频繁项目集，在每项事务的项目数不是太多的情况下，算法效率较Apriori有较大的改进。     

一种Web事务识别的新模型及其频繁路径挖掘

针对已有Web事务识别模型的缺点,提出一种识别Web事务的新模型———IPRC模型.该模型根据主索引页上的引用以及文档目录结构将网页分类,并以此作为识别Web事务的依据.在此基础上提出了一种挖掘频繁访问模式的算法WDHP,该算法继承了DHP算法使用hash树过滤候选集以及裁剪数据库的基本方法,并以访问路径树的方式将数据库存储于内存,在内存中完成后继的挖掘,不仅减少了扫描数据库的次数,而且大大降低了算法的时间复杂性.实验表明WDHP算法不仅优于DHP算法,而且也优于典型的基于内存的WAP算法.     

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。     

一种基于灰关联的序列模式挖掘算法

序列模式挖掘算法多是利用了关联规则挖掘中的 Apriori特性 .利用灰关联方法对原始序列 进行净化处理 ,从而减少挖掘算法中的噪声数据 . 其理论依据在于 ,如果一个序列是频繁的 ,那么该序列的时间间隔也必然是频繁的. 利用了灰关联分析方法找出两个项之间的频繁时间间隔 ,再利用该间隔扫描事务序列数据库 ,从而最终找出频繁序列 .     

海量数据的网格启发信息密度聚类算法

提出了一种基于网格密度的混合聚类算法。该算法使用平方误差密度函数作为密度评估标准,避免了传统密度算法由于Eps和MinPts设置不当给聚类效果带来的不稳定因素。提出了动态邻域半径策略,解决了传统密度算法采用全局静态邻域半径造成的聚类偏差问题。对空间区域内的所有结点设置网格密度启发信息。在进行数据结构构造和邻域半径计算时,只需计算对应网格区域内结点,从而降低了计算成本;在进行区域查询时,只选择符合条件的代表对象进行扩展,从而减少了查询次数,节省了程序运行时间。对Pendigits数据集和SE-QUOIA 2000数据库进行测试,结果表明:提出的基于网格密度的混合快速聚类算法在海量数据聚类精度、聚类时间以及聚类稳定性上要优于传统的聚类算法。     

协议签名特征自动发现方法

数据包应用层固定位置频繁出现的字节组合是识别应用层协议的一种重要的签名特征(signature)。数据挖掘中经典的Apriori算法在提取协议签名特征时具有准确性高、覆盖面广等优势,但同时也存在候选集规模大、重复扫描数据库等问题。在运用深度包检测技术的基础上改进Apriori算法,有效降低计算复杂度,并能够自动发现一种由确定的字节值和字符类型组合而成的协议签名特征。实验表明,文章的方法产生的签名特征具有准确的协议区分能力,并且在协议版本更新情况下的适应能力强,同时具有较好的未知协议特征发现能力。     

探讨自动绘制网络拓扑的算法技巧

网络拓扑图的绘制在网络管理中具有很重要的地位,结合当今各绘制网络拓扑的技术的特点,介绍了一种经济实用的自动绘制网络拓扑算法.分别从算法中几个重要技巧的实现思想来探讨自动绘制网络拓扑的算法,主要包括网络设备和链路的自动显示、子网拓扑图的显示及查看设备和链路相关信息的算法技巧.该算法中多处用到链表,着重研究了链表数据结构的设计技巧.还简要探讨了自动绘制网络拓扑中的数据库设计、VC中通过ADO与数据库的连接.     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进。在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法。该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则。理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的。     

数据流中的频繁标记闭子树的批量挖掘

在频繁模式挖掘（FPM）的研究中,为了在海量数据流中有效地挖掘子树结构的频繁模式,根据数据流和子树模式的特点,提出了一种基于数据流的频繁标记闭子树挖掘（SFCLTreeMiner）算法. 该算法首次对动态数据流中频繁标记闭子树的挖掘进行研究,给出了在数据流中标记闭子树集合添加、删除的批量挖掘方法,并结合时间衰减模型,有效保证了结果的时效性. 实验结果表明,该算法在挖掘性能,如挖掘时间和内存占用等方面,比类似算法有较大提高.     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。