时间序列模式挖掘的算法研究

提出一种进行时间序列模式挖掘的算法 ,用于对大型数据库的海量数据分析 ,从中挖掘出超过用户给定支持度和置信度的时间序列 ,从而为用户的决策支持和趋势预测提供依据 .算法分为在数据中对于频繁项集的发现和频繁序列挖掘两个部分 ,排除不可能达到支持度和置信度阈值的项集 ,缩小了挖掘中的数据扫描范围 ,提高了数据挖掘的效率     

基于可变支持度的流数据频繁模式挖掘算法

大量的动态数据使得传统数据挖掘方法难以适应流数据.频繁模式挖掘算法大多在挖掘频繁项集时使用一个固定的最小支持度,然而实际使用中支持度阈值应该随用户需求和流数据的特点而改变.针对此问题提出一种名为VSSDM的算法,用于在流数据中以可变支持度挖掘频繁项集.     

基于数据流的top-k频繁项集挖掘

对数据流进行频繁项集挖掘具有重要意义.然而传统的办法是由用户设定合适的支持度阈值,这在数据流环境中非常困难.更实际的办法是由用户设置一个参数k,输出最频繁的K个项集.讨论了数据流的top-k频繁项集的挖掘,给出了相关定义,分析了挖掘中的相关技术和性质,提出了一个数据流top-K频繁项集挖掘算法LIONET,并分析了算法的优越性.     

基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

多支持度在非频繁项集挖掘中的研究

关联规则是当前数据挖掘研究最重要的分支之一，目前的关联规则多是在频繁项集的基础上进行挖掘，而没有挖掘非频繁项集的算法。本文在多支持度算法的基础上，提出了一种新的算法模型，在挖掘频繁项集的同时还能够对非频繁项集进行挖掘。     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。     

基于数据库垂直表示的高效用项集挖掘算法研究

传统的频繁项集挖掘用支持度来衡量项集的重要性会丢失一些支持度不高,但效用很高、用户很可能感兴趣的模式.高效用项集能反映用户的偏好,弥补传统频繁项集挖掘的不足.本文提出了一种基于数据库垂直表示的高效用项集挖掘算法,通过执行事务支持集的交运算来找寻候选高效用项集,通过扫描一遍数据库,从候选高效用项集中发现高效用项集.本算法利用了数据库垂直表示方法存储量小、运算快的优势.实验结果表明,该算法具有较高的挖掘效率和良好的可扩展性.     

关于Top-N最频繁项集挖掘的研究

最频繁项集挖掘决定了文本关联规则挖掘算法的性能,是文本关联规则挖掘中研究的重点和难点。该文分析了当前最频繁项集挖掘方面的不足,改进了传统的倒排表,结合最小支持度阈值动态调整策略,提出了一个新的基于改进的倒排表和集合理论的Top-N最频繁项集挖掘算法。同样,给出了几个命题和推论,并把它们用于该文算法以提高性能,实验结果表明,所提算法的规则有效率和时间性能优于NApriori算法和IntvMatrix算法。     

一种基于相关度统计的告警关联规则挖掘算法

挖掘告警序列间关联规则的算法都受到最小支持度的限制，仅能够得到频繁告警序列间的关联规则. 对此，提出了一种以高相关度、高置信度为条件，通过聚类找到特征相同的网元告警群，然后基于相关度统计的挖掘算法. 实验结果表明，该算法可以高效、准确地挖掘出电信网络告警数据库中频繁和非频繁告警序列间的关联规则.     

正相关频繁项集的挖掘算法

由频繁项集产生的关联规则往往不能保证规则前、后件中的项是正相关的,因此可能产生无意义的关联规则;当这些关联规则用于分类时,会产生大量无用分类规则,增加了时间开销.因此,基于数学期望提出了正相关的频繁项集的分类算法.该算法在挖掘正相关频繁项集时,利用置信度进行规则选取,生成正相关关联规则组成的分类器对数据集进行分类.实验表明,这种分类算法可以大幅度减少所产生的频繁项集数量,分类准确率达到C4.5和CMAR的水平,且显著减少了算法的时间.     

小波滤波在时间序列频繁模式挖掘中的应用

与布尔型数据的频繁模式挖掘相比,时间序列的频繁模式挖掘是一个相对复杂的问题,目前对此类问题还缺少深入的研究.通过对小波滤波的研究,提出了一种时间序列的频繁模式挖掘算法,Frequent-Wavelet算法.该算法的特点是采用多孔平滑滤波器组对时间序列做低通平滑处理,用得到的多个尺度序列表示原序列,较好地解决了时间序列的平凡相似问题和时间轴伸缩问题.实验表明,Frequent-Wavelet算法对于时间序列的频繁模式挖掘具有较好的效果.     

一种最大频繁项集的增量更新算法

提出了一种基于最小支持度变化的挖掘最大频繁项集的增量式更新算法MFIU(Maximum Frequent Itemsets Updating).针对最大频繁项集更新时的特性,分别对最小支持度变大和变小提出了两种不同的处理方法,对于最小支持度变大的复杂情况,采取了分块的更新策略,并为减少不必要的候选项集,利用了如果X是一个最大频繁项集,则其所有子集都是频繁项集,但都不可能是最大频繁项集,而进行了独特的剪枝方法.最后通过实例分析了该算法.     

基于兴趣度含正负项目的关联规则挖掘方法

项目的引入使得挖掘出的频繁项集成倍增加,同时生成的关联规则数量更加庞大,引入兴趣度来约束从频繁项 集中提取关联规则的数量。分析现有的兴趣度模型,从中选择了一种适合于含正负项目的关联规则挖掘的兴趣度方法,并且 提出了置信度的一个性质,描述了含正负项目的频繁项集挖掘关联规则的算法,并对矛盾关联规则进行了分析。实验结果表 明,该算法是有效和可行的。     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

改进的软件缺陷预测模型研究

为了提高软件缺陷预测模型的准确性,利用改进的频繁项集挖掘算法(IMMFIA)的低时间开销特点和改进的支持向量机(EDSVM)的优化能力提出改进的软件缺陷预测模型(FREDSVM)。利用IMMFIA获取频繁项集,并产生满足置信度和支持度阈值的关联规则;根据相关度和新的规则排序度量提高小类(带缺陷的软件模块)的优先级,得到分类器;运用EDSVM针对规则匹配无果问题和规则匹配溢出问题进行分类。实验证明:与当前的软件缺陷预测方法相比,FREDSVM方法具有较高的准确性。     

基于集体度-置信度的关联规则挖掘

总结并研究了基于集体度-置信度的关联规则挖掘算法，用集体度代替支持度对搜索空间进行压缩，成功地解决了传统的频繁关联规则挖掘存在的属性集产生上的欺骗性及处理稠密数据集方面的缺陷．     

一种基于灰关联的序列模式挖掘算法

序列模式挖掘算法多是利用了关联规则挖掘中的 Apriori特性 .利用灰关联方法对原始序列 进行净化处理 ,从而减少挖掘算法中的噪声数据 . 其理论依据在于 ,如果一个序列是频繁的 ,那么该序列的时间间隔也必然是频繁的. 利用了灰关联分析方法找出两个项之间的频繁时间间隔 ,再利用该间隔扫描事务序列数据库 ,从而最终找出频繁序列 .     

概率频繁模式挖掘之U-apriori算法研究

不确定性数据的频繁项集挖掘的算法—U-apriori算法采用逐层迭代搜索方法,使用候选项集来找频繁项集.分析了U-apriori算法的流程和实现过程,并通过实验对比得出U-apriori算法花费较少时间和空间的优点,最后针对该算法的缺点提出了改进思路.结果表明：U-apriori算法是最佳概率频繁模式挖掘方法之一.     

运用哈希技术进行关联规则挖掘

以前基于支持度一置信度框架的关联规则挖掘算法都是先用支持度做为阈值对搜索结果进行剪枝，产生频繁集，再针对频繁集产生关联规则，这就是频繁关联规则，然而在很多应用，诸如：鉴别相似的Web文件，网络中入侵检测等，有许多有趣的关联规则仅有很少的支持度，在本文中，针对这种情况，提出了一种可以挖掘非频繁项之间有趣规则的算法，此算法先用相似度作为兴趣度度量以算法结果进行剪枝。     

一种基于粒子群优化的关联规则挖掘方法

针对关联规则挖掘过程中定义最小支持度与置信度的阈值具有主观性的问题,提出一种迭代粒子群优化(particle swarm optimization,PSO)的方法挖掘关联规则。通过定义要提取的规则数目(M)的值,采用支持度和置信度定义适应函数,粒子群优化算法迭代,从数据集中提取最优的规则。算法避免了apriori算法需要设定最小支持度和最小置信度阈值等问题。通过对3个不同类型典型数据集挖掘验证算法的有效性,结果表明,使用PSO获得的规则平均支持度和置信度与apriori算法挖掘到的规则相比有明显提高。