基于序列前缀技术的XML频繁路径挖掘算法

XML文档是半结构化数据,对其进行频繁路径挖掘可以分为两步：XML文档序列化和序列挖掘阶段. 现有的序列化方式将XML文档表示为Xpath路径集合,其中有大量的节点冗余;序列挖掘阶段采用的类Apriori算法需要多次扫描数据库并产生大量的候选集,采用的PrefixSpan算法会产生大量的投影数据库,占用较大的内存. 针对以往XML频繁路径挖掘算法存在的不足,本文提出一种高效的挖掘算法——基于序列前缀技术的XML频繁路径挖掘算法（PXFP,Prefix-based XML Frequent Path Mining Algorithm）. PXFP算法以广度优先方式遍历XML文档树并将每个节点表示为“节点：父节点”的形式,这种序列化的方式减少了节点冗余. 在序列挖掘阶段借鉴PrefixSpan 算法中前缀的概念,但不产生投影数据库,仅得到直接后缀（即前缀的子节点）,通过记录频繁子路径的位置信息逐渐扩大频繁模式的长度,位置信息的引入减少了对数据库的扫描. 实验结果表明,PXFP算法取得了比PrefixSpan算法更高的时间和空间效率.     

基于Map Reduce的序列模式挖掘算法

传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR-PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR-PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。     

???????????????????????????

提出了同时适用于一维和多维序列数据的统一存储结构--编码频繁模式树(CFP-tree),并通过渐进的前缀序列搜索方式来发现频繁序列模式,避免了在挖掘过程中递归地产生大量的中间子序列.实验证明,该算法在大规模数据的处理上比现有序列模式挖掘算法有更好的性能.     

一种挖掘压缩序列模式的有效算法

从序列数据库中挖掘频繁序列模式是数据挖掘领域的一个中心研究主题,而且该领域已经提出和研究了各种有效的序列模式挖掘算法.由于在挖掘过程中会产生大量的频繁序列模式,最近许多研究者已经不再聚焦于序列模式挖掘算法的效率,而更关注于如何让用户更容易地理解序列模式的结果集.受压缩频繁项集思想的启发,提出了一种CFSP(compressing frequent sequential patterns)算法,其可挖掘出少量有代表性的序列模式来表达全部频繁序列模式的信息,并且清除了大量的冗余序列模式.CFSP是一种two-steps的算法:在第1步,其获得了全部闭序列模式作为有代表性序列模式的候选集,与此同时还得到大多数的有代表性模式;在第2步,该算法只花费了少量的时间去发现剩余的有代表性序列模式.一个采用真实数据集与模拟数据集的实验研究也证明了CFSP算法具有高效性.     

用有序FP-tree挖掘最大频繁项集

提出了完全前缀路径和有序FP-tree的概念,给出根据数据项所在的层建立有序FP-tree的方法,利用有序FP-tree表示数据.提出用有序FP-tree中的完全前缀路径进行最大频繁项集挖掘的算法——MFIM算法,该算法利用有序FP-tree中的完全前缀路径对挖掘算法进行优化.实验结果表明,该算法对于浓密数据集中挖掘长模式具有较好的性能.     

本地化差分隐私下的频繁序列模式挖掘算法PrivSPM

序列数据中可能包含大量敏感信息,因此直接对序列数据的频繁模式进行挖掘存在泄露用户隐私信息的风险。本地化差分隐私（LDP）能够抵御具有任意背景知识的攻击者,可以对敏感信息提供更全面的保护。序列数据内在序列性和高维度的特点为LDP应用于频繁序列模式挖掘带来了挑战。为解决这个问题,提出一种满足ε-LDP的top-k频繁序列模式挖掘算法PrivSPM。该算法结合填充和采样技术、自适应频率估计算法与频繁项预测技术来构造候选集;基于新域,利用基于指数机制的策略对用户数据进行扰动,并结合频率估计算法识别最终的频繁序列模式。理论分析证明了该算法满足ε-LDP。在3个真实数据集上的实验结果表明,PrivSPM算法在纳真率（TPR）和归一化累积排名（NCR）上明显高于对比算法,能有效提高挖掘结果的准确度。     

基于PrefixSpan的序列模式挖掘改进算法

针对序列模式挖掘算法PrefixSpan在挖掘过程中需要构造大量投影数据库的不足,提出IPMSP算法,在递归挖掘过程中,通过检查序列数据库关于前缀的前缀,避免对同一频繁前缀模式构造重复投影数据库,同时舍弃对非频繁项的存储并在投影序列数小于最小支持度时停止扫描投影数据库,从而提高PrefixSpan算法的时空性能。实验结果证明,IPMSP算法在时间和空间性能上优于PrefixSpan算法。     

基于编码频繁模式树的序列模式挖掘算法

提出了同时适用于一维和多维序列数据的统一存储结构——编码频繁模式树(CFP-tree)，并通过渐进的前缀序列搜索方式来发现频繁序列模式，避免了在挖掘过程中递归地产生大量的中间子序列。实验证明，该算法在大规模数据的处理上比现有序列模式挖掘算法有更好的性能。     

多维概念格与多维序列模式的增量挖掘

多维序列模式挖掘旨在将一个或多个背景维度信息中发现的关联模式与有序事务序列中发现的序列模式有机结合,从而为用户提供信息内容更加丰富、更具有直接应用价值的多维序列模式.目前虽有一些挖掘多维序列模式的工作,但其关联模式与序列模式的发现过程是基于不同的数据结构分开进行的.提出一种新的概念格结构——多维概念格,它是对概念格的延伸与泛化,其内涵更加丰富,不仅具有多个有序的任务内涵,而且具有多个无序的背景内涵.设计实现了基于该结构的增量式多维序列模式挖掘算法,该算法使用统一的数据模型实现关联模式与序列模式的高效同步挖掘.在合成数据集上的实验结果验证了算法的有效性.同时,算法在实际的银行数据集上的应用效果也说明了算法的实用性.     

基于模式增长的高效用序列模式挖掘算法

高效用序列模式挖掘是数据挖掘领域的一项重要内容, 在生物信息学、消费行为分析等方面具有重要的应用.与传统基于频繁项模式挖掘方法不同, 高效用序列模式挖掘不仅考虑项集的内外效用, 更突出项集的时间序列含义, 计算复杂度较高.尽管已经有一定数量的算法被提出应用于解决该类问题, 挖掘算法的时空效率依然成为该领域的主要研究热点问题.鉴于此, 本文提出一个基于模式增长的高效用序列模式挖掘算法HUSP-FP.依据高效用序列项集必须满足事务效用闭包属性要求, 算法首先在去除无用项后建立全局树, 进而采用模式增长方法从全局树上获取全部高效用序列模式, 避免产生候选项集. 在实验环节与目前效率较好的HUSP-Miner、USPAN、HUS-Span三类算法进行了时空计算对比, 实验结果表明本文给出算法在较小阈值下仍能有效挖掘到相关序列模式, 并且在计算时间和空间使用效率两方面取得了较大的提高.     

A new algorithm for fast mining frequent itemsets using N-lists

Mining frequent itemsets has emerged as a fundamental problem in data mining and plays an essential role in many important data mining tasks.In this paper,we propose a novel vertical data representation called N-list,which originates from an FP-tree-like coding prefix tree called PPC-tree that stores crucial information about frequent itemsets.Based on the N-list data structure,we develop an efficient mining algorithm,PrePost,for mining all frequent itemsets.Efficiency of PrePost is achieved by the following three reasons.First,N-list is compact since transactions with common prefixes share the same nodes of the PPC-tree.Second,the counting of itemsets’ supports is transformed into the intersection of N-lists and the complexity of intersecting two N-lists can be reduced to O(m + n) by an efficient strategy,where m and n are the cardinalities of the two N-lists respectively.Third,PrePost can directly find frequent itemsets without generating candidate itemsets in some cases by making use of the single path property of N-list.We have experimentally evaluated PrePost against four state-of-the-art algorithms for mining frequent itemsets on a variety of real and synthetic datasets.The experimental results show that the PrePost algorithm is the fastest in most cases.Even though the algorithm consumes more memory when the datasets are sparse,it is still the fastest one.     

基于前缀树的高效频繁项集挖掘算法

针对频繁项集挖掘时间与空间效率低的问题,提出一种基于前缀树的高效频繁项集挖掘算法,通过对事务集进行预处理,创建索引表并分配索引编号,保证前缀树中事务顺序的一致性,根据索引编号等信息创建紧凑的前缀树,采用自底向上的挖掘与投影的方式挖掘出频繁项集。实验结果表明,该算法挖掘效率高、占用空间少。     

基于前缀广义链表的快速关联规则挖掘算法

挖掘关联规别是数据挖掘研究的一个重要方面，而如何快速有效地挖掘出关联规则是当前研究的热点．本文提出了一种前缀广义链表，并应用此结构进行关联规则的挖掘，得到了一种快速的关联规则发现算法、该算法不仅方便、效率高，而且避免了产生组合爆炸问题．     

一种网络流量的序列模式挖掘方法

为了发现网络流量的规律,本文引入了一种有效的网络流量挖掘算法。网络流量模式是一种反映网络访问频率规律的序列模式,引入了一种扩展的prefixspan算法,将这些序列作为前缀去递归挖掘,并构造一个投影数据库,该算法改进了候选子序列生成效率,前缀投影减少了投影数据库的大小,从而改进了处理效率。     

基于基集与概念格的关联规则挖掘算法

传统关联规则挖掘算法的挖掘效率较低,且挖掘结果中存在大量冗余。针对该问题,提出一种基于概念格与基集的关联规则挖掘算法。利用规定种子项分布范围的基集代替原始数据库以缩小挖掘源规模,从而建立概念格快速求解出关联规则。实验结果表明,该算法在时间效率方面优于Base和Apriori算法。     

医疗诊断系统中的数据预处理

针对长期积累的病历数据不仅数量庞大,记录方式、内容千差万别,而且噪声、缺省值大量存在的问题,提出了智能医疗诊断系统,利用以往的病历数据经过数据挖掘等技术来产生决策规则,以期为潜在的患者及早发现病情,获得早期诊治：总结了病历文本的记录内容和特点,对每一类的特点和形成原因进行了分析研究,并结合医疗诊断分别提出了针对它们的预处理方法,为下一步数据挖掘做好了准备。     

多数据库开采中相关数据库的识别

传统的数据开采算法总是假定数据源为单个数据集,然而,事实上大多数开采任务面对的都是多数据库的集合,该文提出一种检测数据库与开采任务是否关联的方法,并给出了多数据库环境下检测数据库与开采任务相关性的算法ＤＲＤ。     

基于SQL的属性约简算法的改进

对医疗数据进行挖掘能够对现有病历数据库中的数据进行自动分析并且提供有价值的医学知识。针对信息系统S=（U,C∪D,f,V）,提出一种精简条件属性集C的求核方法,然后在此基础上针对以下这个问题,即临床病历数据库中存在大量重复样本和冗余属性,从而影响医疗诊断的精度和速度这个问题,建立基于信息论的粗糙集理论模型和SQL语言之间的关系,提出了基于SQL语言的条件信息熵属性约简算法。仿真结果表明,该算法实现简单,运行效率高,使得基于SQL语言的条件信息熵属性约简算法实用性更强,为粗糙集理论更广泛地应用于具体医疗数据挖掘提供了一种方法。     

基于前缀树的模糊关联规则挖掘算法

针对布尔型关联规则不能表达挖掘对象中模糊信息的关联性,给出一系列有关模糊关联规则的定义,并提出一种基于前缀树的模糊关联规则挖掘算法。通过构造前缀树来压缩存储模糊模式候选集和频繁集,有效地节约了内存开销,且只需扫描数据库2遍。实验结果表明,该算法是有效的。     

关联规则的高效挖掘算法研究

关联规则的挖掘是一个重要的数据挖掘问题，对其挖掘算法的研究具有十分重要的意义，经典的关联规则发现算法是一个多次遍历的算法，计算的复杂度较同，本文给出一种关联规则频繁数据集的发现算法，只需对交易序列扫描两次即可发现数据采的频繁数据集，算法效率得到了较好地提高。