基于车牌识别流数据的伴随车辆发现算法

针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随车辆组。实验结果表明,与排列组合算法及FP-Growth算法相比,PFID算法消耗内存更少,响应时间更短,在秒级响应时间内能找到伴随车辆组,达到及时预警目的。     

基于车牌识别大数据的伴随车辆组发现方法

基于对车牌识别大数据的处理与分析,可以完成伴随车辆组的发现,在涉案车辆追踪等方面具有广泛的应用.然而当前单一机器模式下伴随车辆组发现算法存在时间和空间上处理性能低下等问题.针对此问题,提出了一种伴随车辆组发现方法——FP-DTC方法.该方法将传统的FP-Growth算法利用分布式处理框架Spark进行了并行化,并作了相应的改进和优化来更加高效地发现伴随车辆组.实验结果的分析表明,提出的方法能够很好地解决车牌识别大数据上的伴随车辆组发现问题,性能相比采用同样方法的Hadoop实现提升了近4倍.     

分布式多数据流频繁伴随模式挖掘

多数据流频繁伴随模式是指一组对象较短时间内在同一个数据流上伴随出现,并在之后一段时间以同样方式出现在其他多个数据流上.现实生活中,城市交通监控系统中的伴随车辆发现、基于签到数据的伴随人群发现、基于社交网络数据中的高频伴随词组发现热点事件等应用都可以归结为多数据流频繁伴随模式发现问题.由于数据流规模巨大且到达速度快,基于单机的集中式挖掘算法受到硬件资源的限制难以及时发现海量数据流中出现的频繁伴随模式.为此,提出面向大规模数据流频繁伴随模式发现的分布式挖掘算法.该算法首先将每个数据流划分成若干个segment片段,然后构建适合部署在分布式计算平台上的多层挖掘模型,并利用多计算节点以并行方式对大规模数据流进行处理,从而实时发现频繁伴随模式.最后,在真实数据集上进行充分实验以验证算法性能.     

时空轨迹大数据模式挖掘研究进展

时空轨迹挖掘是数据挖掘领域的前沿研究课题,通过研究和开发时空轨迹挖掘技术,来发现隐藏在轨迹大数据中有价值的规律和知识以供决策支持。本文介绍了时空轨迹大数据模式挖掘与知识发现领域的研究进展;然后对时空轨迹模式挖掘技术产生的背景、应用领域和研究现状作了简介,并探讨了面向时空轨迹大数据模式挖掘的研究内容、系统架构以及关键技术,最后对时空轨迹频繁模式、伴随模式、聚集模式和异常模式的挖掘算法思想进行了阐述。     

基于频繁集的伴随车辆检测算法研究

为从海量机动车行驶数据中找出车辆的伴随车辆信息,本文依据伴随车辆的行为特点及关联挖掘原理提出了一种基于频繁项集的伴随车辆检测算法。通过分析伴随车辆的行驶特点,设定频繁项集的支持度和时间阈值,实现了从单项集到多项集的迭代过程。利用流数据处理方法,添加了针对伴随车辆检测的流数据处理方法,最终使算法可以快速的在海量数据中检测到车辆的伴随车辆信息。经实验验证,本算法可以快速正确的检测出车辆的伴随车辆信息。     

基于网格索引的时空轨迹伴随模式挖掘算法

时空轨迹伴随模式是数据挖掘领域的一项重要研究内容。CMC(Coherent Moving Cluster)算法是一种经典的时空轨迹伴随模式挖掘算法,该算法引入了DBSCAN算法以挖掘出任意形状的簇。但是,DBSCAN聚类算法极耗时,导致CMC算法的时间效率较低。因此提出了一种基于网格索引的时空轨迹伴随模式挖掘算法MAP-G(Mining Adjoint Pattern of spatial-temporal trajectory based on the Grid index)。实验表明,MAP-G算法不仅比CMC算法具有更高的时间效率,而且能够过滤掉部分不正确的结果,因此结果也更加准确。     

流数据中一种高效剪枝的频繁序列挖掘算法

序列模式挖掘就是在时序数据库中挖掘相对时间或其他模式出现频率高的模式.序列模式发现是最重要的数据挖掘任务之一,并有着广阔的应用前景.针对静态数据库,序列模式挖掘已经被深入的研究.近年来,出现了一种新的数据形式:数据流.针对基于数据流的序列模式挖掘的研究还不是十分深入.提出一个有效的基于数据流的挖掘频繁序列模式的算法SSPM,利用到2个数据结构(F-list和Tatree)来处理基于数据流的序列模式挖掘的复杂性问题.SSPM的优点是可以最大限度地降低负正例的产生,实验表明SSPM具有较高的准确率.     

类自动车牌识别轨迹数据的伴随车辆组挖掘

自动车牌识别（ANPR）数据比私人全球定位系统（GPS）数据更易获得,且包含更有用的信息,但是相对成熟的针对GPS轨迹数据挖掘伴随车辆组方法并不适用于自动车牌识别数据,现有的少量自动车牌识别数据伴随车辆组挖掘算法存在重视轨迹相似而忽视时间因素的缺陷,因此提出一种基于轨迹特征的聚类方法挖掘伴随车辆组。针对自动车牌识别数据中采样点固定而采样时间不定的特点,通过轨迹中共现的次数判定两个对象构成伴随模式。该共现定义引入豪斯多夫距离,综合考虑轨迹的地点、方向和时间特征,旨在挖掘数据中采样点不同但采样点距离近且轨迹相似的伴随车辆组,以此提高伴随车辆组挖掘效率。实验结果表明,所提方法较现有方法更能有效挖掘伴随车辆组,识别非伴随模式数据,效率提升了近两倍。     

基于关联规则挖掘的伴随车辆发现算法

伴随车辆是公安刑侦部门对海量车辆通行信息检索的一类实战需求,目的是通过模糊条件查询得到潜在的结伴作案车辆,究其本质,可将此类查询转化为数据挖掘中关联规则挖掘问题。通过对公路车辆智能监测记录系统采集的过车数据进行分析,将伴随车辆查询转化为关联规则挖掘,利用数据挖掘技术对过车数据查询问题进行综合分析,实现高效率的伴随车辆查询算法AVD(Accompany Vehicles D iscovery)。算法分析表明,AVD不但能提供准确的伴随车辆查询结果,而且效率高、扩展性强,具有较高的可行性。     

基于Spark的FP-Growth伴随车辆发现与应用

随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注。但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合。提出了一种针对于此应用的新颖方法。采用Spark分布式并行计算框架提高运行速度,利用负载均衡原理对数据进行均衡化处理,再提出基于改进的FP-Growth的伴随车辆发现算法,利用置信度对结果进行后处理,剔除车辆随机伴随的情况,提高了检测正确率。该方法应用于长沙市交警大联合交管中心系统,其中将海量车牌识别数据存储在Hadoop大数据平台下的Hive数据库中,在交通PGIS（Police Geographic Information System）上可视化分析结果,实验证明了方法的高效性和可行性。     

基于流立方体的数据流频繁模式挖掘算法

针对关系型数据流,提出一种基于流立方体框架的频繁模式挖掘算法。通过数据流的不断到达动态地创建流立方体来保存近期数据流信息,当用户提出查询请求时在以创建的流立方体基础上进行频繁模式的挖掘计算,返回相应的查询结果,可以快速地挖掘数据流各维之间存在的所有频繁模式。通过分析和实验表明该算法有较好的性能。     

数据流挖掘研究

上世纪末,为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求,数据流技术应运而生。数据流独特的特点,对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点,讨论了数据流挖掘的研究现状。最后,举例说明了数据流挖掘的应用,并展望了数据流挖掘未来的研究方向。     

数据流挖掘研究

上世纪末，为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求，数据流技术应运而生。数据流独特的特点，对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点，讨论了数据流挖掘的研究现状。最后，举例说明了数据流挖掘的应用，并展望了数据流挖掘未来的研究方向。     

基于AC算法的比特流频繁序列挖掘

为解决比特流频繁序列挖掘效率不高以及易受用户数据影响而导致准确率低的问题,首先从理论上论证了短频繁序列挖掘存在的局限性,根据不同长度的频繁序列挖掘时存在的特点,将其分为长频繁序列与短频繁序列,提出比特流协议头部字段定位算法;基于AC多模式匹配算法分别针对长、短频繁序列挖掘的不同特点,提出了相应的挖掘方法,提高了挖掘结果的准确性。最后通过实验验证了所提算法的有效性。     

基于显露模式的数据流贝叶斯分类算法

基于模式的贝叶斯分类模型是解决数据挖掘领域分类问题的一种有效方法.然而,大多数基于模式的贝叶斯分类器只考虑模式在目标类数据集中的支持度,而忽略了模式在对立类数据集合中的支持度.此外,对于高速动态变化的无限数据流环境,在静态数据集下的基于模式的贝叶斯分类器就不能适用.为了解决这些问题,提出了基于显露模式的数据流贝叶斯分类模型EPDS（Bayesian classifier algorithm based on emerging pattern for data stream）.该模型使用一个简单的混合森林结构来维护内存中事务的项集,并采用一种快速的模式抽取机制来提高算法速度.EPDS采用半懒惰式学习策略持续更新显露模式,并为待分类事务在每个类下建立局部分类模型.大量实验结果表明,该算法比其他数据流分类模型有较高的准确度.     

数据流模式依赖挖掘及应用

针对数据流间“模式依赖”问题,给出了一种模式依赖挖掘算法,该算法包括：挖掘前时间序列分段和模式表示,条件规则元组的创建和维护,模式依赖的置信度和支持度计算,2个或N个数据流概要结构的设计等。股票数据实验和实际系统表明,该挖掘方法能够有效地发现数据流间的模式依赖,可用于预测。     

基于能量和频繁模式的数据流预测查询算法

设计了数据流预测查询的新模型,包括局域流能量预测、能量分布模式挖掘及预测序列的重构和数据流能量的度量方法;设计了融合数据流能量回归与基于频繁模式的小波分解预测新方法,并将新算法推广到强偶合多数据流的预测查询;提出了最近最频繁序列模式的新概念,并应用于局域流能量分解;在真实数据上的模拟实验,验证了算法的有效性.     

数据流挖掘方法研究

由于数据流不同于传统静态数据的特点,对其进行有效的分析和挖掘遇到了极大的挑战。本文对近年来数据流挖掘方面的进展进行了综述,介绍数据流的基本概念、数据流模型和对数据流的概要描述,总结数据流挖掘中常用的算法,最后结合其在不同领域中的应用对数据流挖掘的意义进行分析。     

数据流中一种快速启发式频繁模式挖掘方法

在现有的数据流频繁模式挖掘算法中,批处理方法平均处理时间短,但需要积攒足够的数据,使得其实时性差且查询粒度粗;而启发式方法可以直接处理数据流,但处理速度慢.提出一种改进的字典树结构--IL-TREE(improved lexicographic tree),并在其基础上提出一种新的启发式算法FPIL-Stream(frequent pattem mining based on improved lexicographic tree),在更新模式和生成新模式的过程中,可以快速定位历史模式.算法结合了倾斜窗口策略,可以详细记录历史信息.该算法在及时处理数据流的前提下,也降低了数据的平均处理时间,并且提供了更细的查询粒度.