动态空间网络中的黑洞模式挖掘算法

黑洞模式是人类移动模式研究中的标志性成果,但在移动模式的演化建模方面存在局限性,因此研究具有时间演化特性的黑洞模式。新模式定义需要满足群体规模性、空间区域性和时间持续性3方面要求。提出具有时间演化特性的动态空间网络模型,基于此模型定义新的黑洞模式,并提出相应的挖掘算法。为了提升模式挖掘算法的效率,设计了基于时空划分的候选模式剪枝算法,有效降低了挖掘算法在时空维中的搜索代价。最后,基于真实数据的实验结果表明了该黑洞模式及其挖掘算法的有效性和可行性。     

基于中国观鸟数据的移动对象周期模式发现

移动对象的轨迹数据中包含大量时空信息,挖掘时空信息背后隐藏的周期模式对掌握移动对象变化规律具有重要作用。为此,提出一种三阶段移动对象周期模式检测算法,通过研究轨迹点的时空特征识别并剔除重复数据,利用密度聚类算法发现轨迹点密集区域并找出密集区域中每一类移动对象的周期模式,解决移动对象轨迹周期模式挖掘中轨迹数据重复、采样数据不连续及潜在周期模式发现问题。基于2003年—2015年中国观鸟记录中心、中国观鸟年报等公开数据的实验结果表明,该算法可有效处理轨迹数据并准确挖掘出规律性移动对象的周期模式。     

移动对象数据库中时空索引技术的研究

提出了基于移动对象运动轨迹的时空立方体模型,在该模型中,移动对象的运动轨迹按一定时间间隔划分,每段运动轨迹对应一个最小外接时空长方体,它是存储,访问的一个基本单位.基于该模型设计了相应的时空索引和时空查询算法.验证表明,模型在减少数据冗余和时空查询性能方面有较大提高.     

基于Fork/Join的事务日志伴随模式挖掘方法

信息系统产生的大量事务日志数据蕴含着潜在的伴随模式,伴随模式是指在时空上频繁共现的一组对象.由于传统的滑动窗口算法和FP-Growth算法只能调用单一线程进行计算,随着数据规模的扩张,会导致挖掘伴随模式的时间急剧增加.为此本文提出了一种基于Fork/Join并行技术的伴随模式挖掘框架,其能够实现从单线程到多线程的迁移,充分利用多核配置的加速性能.该框架由划定伴随数据集、频繁项集挖掘和关联规则挖掘三部分组成.首先,提出了基于Fork/Join的多核并行滑动窗口算法,以缩短从事务日志中划定伴随数据集的时间;然后,提出基于Fork/Join的多核并行FP-Growth算法,以并行地挖掘伴随数据集中的频繁项集;最后,引入支持度、置信度和提升度3个参数,对伴随模式中各对象间的关联规则进行挖掘.基于门禁刷卡数据的实验结果表明,相比传统算法,本文所提出的框架能够挖掘出更多的伴随模式,同时挖掘效率较高.     

基于时空图的移动对象聚集模式挖掘方法

移动对象聚集模式是指由移动对象参与的一组群体事件,通常用来预测交通系统中出现的异常现象.然而由于海量移动轨迹数据的产生,已有的研究方法难以准确、高效地挖掘特定的聚集模式.为此,提出一种基于时空图的移动对象聚集模式挖掘方法.该方法首先通过改进的空间聚类算法(DBScan)分析轨迹数据,从而获得移动对象聚类;然后,利用时空图模型代替单独存储轨迹数据的方式,用于实时观测移动对象聚类的时空变化特征.最后提出基于最大完全子图查找的聚集检索算法及其改进算法,用于查找满足时空约束的最大完全子图.基于真实大规模轨迹数据集上的实验结果表明,所提出的方法在移动对象聚集模式挖掘的准确性和高效性方面优于其他方法.     

一种无线通信环境中用户移动模式的挖掘算法

发现无线通信环境中用户的移动模式是移动对象管理中的一个关键问题.提出一种快速挖掘该模式的算法SAM(split and merge),用来挖掘移动对象所产生有序数据集中潜在的移动模式,从而为移动对象管理提供服务.该算法将自底向上搜索和自顶向下过滤技术相结合,采用图存储压缩数据集方法,利用非频繁项集分解子图和频繁长模式过滤数据集相结合的技术,大大减少了迭代次数,降低了CPU时间.最后给出了算法性能比较和算法分析.结果表明,该算法是有效的.     

时空轨迹大数据分布式蜂群模式挖掘算法

针对时空轨迹大数据的蜂群模式挖掘需求,提出了一种高效的基于MapReduce的分布式蜂群模式挖掘算法。首先,提出了基于最大移动目标集的对象集闭合蜂群模式概念,并利用最小时间支集优化了串行挖掘算法;其次,提出了蜂群模式的并行化挖掘模型,利用蜂群模式时间域无关性,并行化了聚类与子时间域上的蜂群模式挖掘过程;第三,设计了一个基于MapReduce链式架构的分布式并行挖掘算法,通过四个阶段快速地实现了蜂群模式的并行挖掘;最后,在Hadoop平台上,使用真实交通轨迹大数据集对分布式算法的有效性和高效性进行了验证与分析。     

IDS日志数据挖掘的改进算法

提出了一个基于最小完美哈希函数的关联规则的挖掘算法。基于Apriori的算法，在综合了传统哈希剪枝技术的同时，利用最小完美哈希函数的优点，保证了静态数据库关联规则挖掘，可以对关联规则的哈希结构数据进行动态的调整。该算法提高了挖掘效率，通过抑制哈希地址冲突提高了算法的稳定性和可用性。     

基于时间序列的模式表示挖掘频繁子模式

论文提出了一种基于时间序列的模式表示挖掘时间序列中频繁子模式的算法(TSFSM)。时间序列的模式表示本身就具有压缩数据、保持时间序列基本形态的功能,并且具有一定的除噪能力。在时间序列的模式表示的基础上挖掘其频繁子模式,可以大大提高挖掘的效率和准确性,达到事半功倍的效果。在该算法中,还使用了一定的剪枝策略,使得算法的时间复杂度进一步降低。并且该算法计算简单,实现方便,可以支持时间序列的动态增长。     

基于负载均衡和冗余剪枝的并行FP-Growth算法

针对现有的并行FP-Growth算法在数据并行分组时存在数据冗余和负载不均的问题,提出了基于负载估算和冗余剪枝的优化算法。首先,在采用高频策略分组时,引入节点任务估算方法,把每个分组中最大模式树的最长路径和支持度作为该分组的估计值,将估计值远大于其他节点的分组进行分割,平均到其他分组中,并且对不同分 组中重复的列表元素进行截断,去除冗余数据。实验表明,本文提出的算法能够有效防止并行化的数据倾斜,减少数据冗余,在时间和空间复杂度上要低于以前的并行化FP-Growth算法。     

Mining non-redundant sequential rules with dynamic bit vectors and pruning techniques

Most algorithms for mining sequential rules focus on generating all sequential rules. These algorithms produce an enormous number of redundant rules, making mining inefficient in intelligent systems. In order to solve this problem, the mining of non-redundant sequential rules was recently introduced. Most algorithms for mining such rules depend on patterns obtained from existing frequent sequence mining algorithms. Several steps are required to organize the data structure of these sequences before rules can be generated. This process requires a great deal of time and memory. The present study proposes a technique for mining non-redundant sequential rules directly from sequence databases. The proposed method uses a dynamic bit vector data structure and adopts a prefix tree in the mining process. In addition, some pruning techniques are used to remove unpromising candidates early in the mining process. Experimental results show the efficiency of the algorithm in terms of runtime and memory usage.     

Semantic-based pruning of redundant and uninteresting frequent geographic patterns

In geographic association rule mining many patterns are either redundant or contain well known geographic domain associations explicitly represented in knowledge resources such as geographic database schemas and geo-ontologies. Existing spatial association rule mining algorithms are Apriori-like, and therefore generate a large amount of redundant patterns. For non-spatial data, the closed frequent pattern mining technique has been introduced to remove redundant patterns. This approach, however, does not warrant the elimination of both redundant and well known geographic dependences when mining geographic databases. This paper presents a novel method for pruning both redundant and well known geographic dependences, by pushing semantics into the pattern mining task. Experiments with real geographic databases have demonstrated a significant reduction of the total amount of patterns and the efficiency of the method.     

时空轨迹序列模式挖掘方法综述

在全球定位、移动通信技术迅速发展的背景下涌现出了海量的时空轨迹数据,这些数据是对移动对象在时空环境下的移动模式和行为特征的真实写照,蕴含了丰富的信息,这些信息对于城市规划、交通管理、服务推荐、位置预测等领域具有重要的应用价值,而时空轨迹数据在这些领域的应用通常需要通过对时空轨迹数据进行序列模式挖掘才能得以实现。时空轨迹序列模式挖掘旨在从时空轨迹数据集中找出频繁出现的序列模式,例如： 位置模式（频繁轨迹、热点区域）、活动周期模式、语义行为模式,从而挖掘时空数据中隐藏的信息。总结近年来时空轨迹序列模式挖掘的研究进展,先介绍时空轨迹序列的数据特点及应用,再描述时空轨迹模式的挖掘过程：从基于时空轨迹序列来挖掘位置模式、周期模式、语义模式这三个方面来介绍该领域的研究情况,最后阐述现有时空轨迹序列模式挖掘方法存在的问题,并展望时空轨迹序列模式挖掘方法未来的发展趋势。     

基于R-list的Top-K高效用项集挖掘算法

针对现有的一阶段Top-K高效用项集挖掘算法挖掘过程中阈值提升慢,迭代时生成大量候选项集造成内存占用过多等问题,提出一种基于重用链表(R-list)的Top-K高效用挖掘算法RHUM。使用一种新的数据结构R-list来存储并快速访问项集信息,无需第2次扫描数据库进行项集挖掘。该算法重用内存以保存候选集信息,结合改进的RSD阈值提升策略对数据进行预处理,期间采用更严格的剪枝参数在递归搜索的过程中同时计算多个项集的效用来缩小搜索空间。在不同类型数据集中的实验结果表明:RHUM算法在内存效率方面均优于其他一阶段算法,且在K值变化时能保持稳定。     

从图数据库中挖掘频繁跳跃模式

很多频繁子图挖掘算法已被提出.然而,这些算法产生的频繁子图数量太多而不能被用户有效地利用.为此,提出了一个新的研究问题:挖掘图数据库中的频繁跳跃模式.挖掘频繁跳跃模式既可以大幅度地减少输出模式的数量,又能使有意义的图模式保留在挖掘结果中.此外,跳跃模式还具有抗噪声干扰能力强等优点.然而,由于跳跃模式不具有反单调性质,挖掘它们非常具有挑战性.通过研究跳跃模式自身的特性,提出了两种新的裁剪技术:基于内扩展的裁剪和基于外扩展的裁剪.在此基础上又给出了一种高效的挖掘算法GraphJP(an algorithm for mining jump patterns from graph databases).另外,还严格证明了裁剪技术和算法GraphJP的正确性.实验结果表明,所提出的裁剪技术能够有效地裁剪图模式搜索空间,算法GraphJP是高效、可扩展的.     

精简高效用模式挖掘综述

全集高效用模式挖掘算法存在的关键问题之一是会产生冗余的高效用项集,这将导致用户很难在大量的高效用项集中发现有用的信息,严重降低了高效用模式挖掘算法的性能。为解决这一问题,衍生出了精简高效用模式挖掘算法,其主要包括最大高效用模式、闭合高效用模式、top-k高效用模式以及三者之间的组合高效用模式挖掘算法等。首先,介绍了精简高效用模式的相关问题描述;然后,从有无候选项集生成、一两阶段挖掘方法、数据结构类型和剪枝策略等角度,重点分类总结了精简高效用模式挖掘方法;最后,给出了精简高效用模式的进一步研究方向,包括处理基于负项的高效用精简模式、处理基于时间的高效用精简模式及处理动态复杂的数据等。     

有效的矩阵加权正负关联规则挖掘算法——MWARM-SRCCCI

针对现有加权关联规则挖掘算法不能适用于矩阵加权数据的缺陷,给出一种新的矩阵加权项集剪枝策略,构建矩阵加权正负关联模式评价框架SRCCCI,提出一种新的基于SRCCCI评价框架的矩阵加权正负关联规则挖掘算法MWARM-SRCCCI。该算法克服了现有挖掘技术的缺陷,采用新的剪枝技术和模式评价方法,挖掘有效的矩阵加权正负关联规则,避免一些无效和无趣的模式产生。以中文Web测试集CWT200g为实验数据,与现有无加权正负关联规则挖掘算法比较,MWARM-SRCCCI算法的挖掘时间减幅最大可达74.74%。理论分析和实验结果表明,MWARM-SRCCCI算法具有较好的剪枝效果,候选项集数量和挖掘时间明显减少,挖掘效率得到极大提高,其关联模式可为信息检索提供可靠的查询扩展词来源。     

一种快速有效的分布式开采多层关联规则的算法

关联规则（association rules）是数据开采的重要研究内容,建立项目的层次关系可以发现更加有意义的规则,主要研究分布式环境下开采多层关联规则的问题,提出了一种快速有效的ＭＬＦＤＭ算法,采用的技术包括分布式编码交易表的有效修剪,侯选集的产生及修剪技术,侯选项集的全局支持数的计算方法等,论述了它的原理,具体实现方法及其几个改进算法,实验结果表明,算法ＭＬＦＤＭ是有效的,并对ＭＬＦＤＭ算法的几个变种进行了讨论。