数据流挖掘技术及其在仿真中的应用

随着仿真系统复杂程度的增加和规模的增大,仿真时间越来越长,仿真所产生的数据量越来越大,使得仿真数据具有数据流的特性,因此可以采用数据流挖掘技术处理仿真数据.综述了数据流和数据流挖掘技术的主要特点;提出了基于数据流挖掘技术的仿真应用框架;设计了通用数据流挖掘成员,以便能够快速将数据流挖掘算法集成到基于HLA体系结构的仿真系统中,并以导弹突防仿真系统为例介绍了所设计的通用数据流关联规则挖掘成员.     

数据流挖掘研究

上世纪末,为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求,数据流技术应运而生。数据流独特的特点,对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点,讨论了数据流挖掘的研究现状。最后,举例说明了数据流挖掘的应用,并展望了数据流挖掘未来的研究方向。     

概念漂移数据流挖掘算法综述

数据流是一种新型的数据模型,具有动态、无限、高维、有序、高速和变化等特性。在真实的数据流环境中,一些数据分布是随着时间改变的,即具有概念漂移特征,称为可变数据流或概念漂移数据流。因此处理数据流模型的方法需要处理时空约束和自适应调整概念变化。对概念漂移问题和概念漂移数据流分类、聚类和模式挖掘等内容进行综述。首先介绍概念漂移的类型和常用概念改变检测方法。为了解决概念漂移问题,数据流挖掘中常使用滑动窗口模型对新近事务进行处理。数据流分类常用的模型包括单分类模型和集成分类模型,常用的方法包括决策树、分类关联规则等。数据流聚类方式通常包括基于k- means的和非基于k- means的。模式挖掘可以为分类、聚类和关联规则等提供有用信息。概念漂移数据流中的模式包括频繁模式、序列模式、episode、模式树、模式图和高效用模式等。最后详细介绍其中的频繁模式挖掘算法和高效用模式挖掘算法。     

数据流挖掘研究

上世纪末，为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求，数据流技术应运而生。数据流独特的特点，对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点，讨论了数据流挖掘的研究现状。最后，举例说明了数据流挖掘的应用，并展望了数据流挖掘未来的研究方向。     

面向数据流的频繁模式挖掘研究*

数据流的无限性、高速性使得经典的频繁模式挖掘方法难以适用到数据流中。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了数据流频繁模式挖掘算法FP-SegCount。该算法将数据流分段并利用改进的FP-growth算法挖掘分段中的频繁项集,然后利用Count-Min Sketch进行项集计数。算法解决了压缩统计和计算快速高效的问题。通过实验分析,FP-SegCount算法是有效的。     

一种基于时间衰减模型的数据流闭合模式挖掘方法

数据流是随着时间顺序快速变化的和连续的,对其进行频繁模式挖掘时会出现概念漂移现象。在一些数据流应用中,通常认为最新的数据具有最大的价值。数据流挖掘会产生大量无用的模式,为了减少无用模式且保证无损压缩,需要挖掘闭合模式。因此,提出了一种基于时间衰减模型和闭合算子的数据流闭合模式挖掘方式TDMCS （Time-Decay-Model-based Closed frequent pattern mining on data Stream）。该算法采用时间衰减模型来区分滑动窗口内的历史和新近事务权重,使用闭合算子提高闭合模式挖掘的效率,设计使用最小支持度-最大误差率-衰减因子的三层架构避免概念漂移,设计一种均值衰减因子平衡算法的高查全率和高查准率。实验分析表明该算法适用于挖掘高密度、长模式的数据流;且具有较高的效率,在不同大小的滑动窗口条件下性能表现是稳态的,同时也优于其他同类算法。     

浅论数据流挖掘

本文主要讨论了数据流挖掘的现状及发展,简要地介绍了数据流挖掘的概念,详细地介绍了数据流挖掘的特点及其数据模型的特点,介绍了几种常用数据流挖掘流挖掘方法。     

数据流挖掘研究及其进展

有关数据流挖掘技术的研究是当前国际数据库研究领域的一个热点,数据流的特点在于数据规模宏大,并快速、持续地到达,对应的挖掘算法只能在内存中单遍扫描样本子集就可以获取相应的知识结构,还需要在一定时间内对学习的结果进行更新以适应数据分布的变化.本文对现有数据流上的挖掘算法进行综述,最后给出了数据流挖掘今后的一些研究方向.     

数据流分类技术研究综述*

数据流高速、连续无限和动态的特性使得传统的数据分析和挖掘技术无效或需要改进。以数据流分类为重点,分析了数据流分类中的一些关键问题,综述了典型的数据流分类技术;针对现有方法的不足,给出了应用主动学习和半监督学习的新思路。     

数据流频繁模式挖掘综述

一些先进应用如欺诈检测和趋势学习等带来了数据流频繁模式挖掘的发展。不同于静态数据,数据流挖掘面临着时空约束和项集组合爆炸等问题。对已有数据流频繁模式挖掘算法进行综述并对经典和最新算法进行分析。按照模式集合的完整程度进行分类,数据流中频繁模式分为全集模式和压缩模式。压缩模式主要包括闭合模式、最大模式、top-k模式以及三者的组合模式。不同之处是闭合模式是无损压缩的,而其他模式是有损压缩的。为了得到有趣的频繁模式,可以挖掘基于用户约束的模式。为了处理数据流中的新近事务,将算法分为基于窗口模型和基于衰减模型的方法。数据流中模式挖掘常见的还包含序列模式和高效用模式,对经典和最新算法进行介绍。最后给出了数据流模式挖掘的下一步工作。     

浅析数据挖掘技术

数据挖掘是人们长期对数据库技术进行研究和开发的结果,是当前计算机科学研究的活跃领域。该文介绍了数据挖掘的背景、定义、功能及数据挖掘过程,论述了数据挖掘的常用的方法和技术,介绍了Web数据挖掘应用。     

基于SNMP进行数据挖掘的入侵检测系统研究

网络攻击日益隐蔽化和复杂化，传统入侵检测方法对此有很大局限性，该文提出将入侵检测系统和SNMP网络管理系统相结合，根据攻击的本质特征，使用数据挖掘技术从SNMP的网络统计数据中获取检测规则的方法，能有效实现对隐蔽和复杂攻击的检测。     

基于用户行为的Web使用挖掘数据采集技术研究

如何准确、及时、全面地采集用户使用数据是Web使用挖掘研究重要的前提和基础.本文从用户行为视角,讨论了传统的基于Web日志进行Web使用挖掘研究所面临的问题,对基于用户行为的Web使用挖掘的数据采集技术进行了深入分析,重点研究了主动式服务器端数据采集方法和客户端数据采集方法.     

序列模式挖掘算法研究

数据挖掘领域一个活跃的研究分支就是序列模式的发现,即在序列数据库中找出所有的频繁子序列。目前的序列模式挖掘方法主要分为两类,一类是候选集生成-测试方法;另一类是模式扩展方法。先介绍序列模式挖掘中的基本概念,然后描述几个重要算法,最后给出性能分析。     

Web使用模式挖掘中的几个关键问题研究

Web使用模式挖掘是数据挖掘技术在 Web领域的应用。介绍了 Web使用模式挖掘的基本概况 ,重点讨论了 Web使用模式挖掘过程中的几个关键问题 ,即源数据的收集与集成 ,挖掘方法的不断更新及 Web使用模式分析等问题     

图像数据挖掘

将数据挖掘技术引入图像处理可以在一定程度上解决图像内容的表示、存储和检索目前存在的很多难点。从图像数据挖掘的特征、方法、过程及实例等几方面介绍了图像数据挖掘,其挖掘方法和原型结构存在着巨大的改进空间,有待进一步研究。     

一种新的动态频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要步骤。在数据动态变化的环境下进行关联规则挖掘具有重要的现实意义。提出一种动态频繁项集挖掘算法,该算法建立在前一阶段挖掘的基础上,能避免过多地扫描数据库而影响挖掘性能,在最后生成全局频繁项集时,不需要全程扫描数据库,根据之前挖掘结果有选择地扫描相关的事务子集。实验表明,该算法挖掘性能远远优于Apriori算法,能有效地实现在数据动态变化环境下的挖掘频繁项集。     

Web使用挖掘综述

互联网使用信息的挖掘就是对互联网用户网络访问行为进行分析挖掘,以获得描述其中内存规律的 模式。全面介绍了Web使用挖掘的应用价值、挖掘的数据源、数据的预处理、挖掘的方法等。     

空间数据挖掘技术方法及应用

着重阐述了通用的空间数据挖掘体系结构,空间数据的关联特性,几种主要的空间数据挖掘方法。最后对一实例进行了应用分析。     

基于离群指数的时序数据离群挖掘

离群数据挖掘(0utlier mining,简称离群挖掘)是数据挖掘的重要内容.该文针对时序 数据进行离群数据挖掘方法的研究,提出了离群指数的概念,在此基础上设计了时序数据离群数 据挖掘算法,并对某钢铁企业电力负荷时序数据进行离群数据挖掘,结果表明了算法的有效性.