数据流挖掘研究

上世纪末,为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求,数据流技术应运而生。数据流独特的特点,对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点,讨论了数据流挖掘的研究现状。最后,举例说明了数据流挖掘的应用,并展望了数据流挖掘未来的研究方向。     

数据流挖掘研究

上世纪末，为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求，数据流技术应运而生。数据流独特的特点，对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点，讨论了数据流挖掘的研究现状。最后，举例说明了数据流挖掘的应用，并展望了数据流挖掘未来的研究方向。     

分布式数据流挖掘技术综述

网络信息技术的高速发展产生了新的数据模型,即数据流模型,并且越来越多的领域出现了对数据流实时处理的需求,庞大且高速的数据以及应用场景的实时性需求均推进了数据流挖掘技术的发展。首先介绍了常见的数据流模型;然后根据数据流模型的特点总结数据流挖掘的支撑技术;最后,分析了分布式数据流挖掘的重要性和有效性,给出了算法并行化的数学模型,并介绍了几种具有代表性的分布式数据流处理系统。     

数据流挖掘技术研究

在当今的网络监控、电信数据管理、传感器数据监控等应用中，数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式，对数据的访问也是多次和连续的，并要求即时的响应。数据流独特的特点，对传统数据的处理方法带来很大的挑战。数据流应用的出现，带动了相关技术的研究，其中包括数据流挖掘的研究。文中介绍了数据流的基本概念，讨论了数据流挖掘的研究现状及相关技术，包括数据流的介绍、流行的数据流处理技术和数据挖掘中的相关算法。     

数据流挖掘技术及其在仿真中的应用

随着仿真系统复杂程度的增加和规模的增大,仿真时间越来越长,仿真所产生的数据量越来越大,使得仿真数据具有数据流的特性,因此可以采用数据流挖掘技术处理仿真数据.综述了数据流和数据流挖掘技术的主要特点;提出了基于数据流挖掘技术的仿真应用框架;设计了通用数据流挖掘成员,以便能够快速将数据流挖掘算法集成到基于HLA体系结构的仿真系统中,并以导弹突防仿真系统为例介绍了所设计的通用数据流关联规则挖掘成员.     

数据流挖掘技术研究

在当今的网络监控、电信数据管理、传感器数据监控等应用中,数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式,对数据的访问也是多次和连续的,并要求即时的响应.数据流独特的特点,对传统数据的处理方法带来很大的挑战.数据流应用的出现,带动了相关技术的研究,其中包括数据流挖掘的研究.文中介绍了数据流的基本概 念,讨论了数据流挖掘的研究现状及相关技术,包括数据流的介绍、流行的数据流处理技术和数据挖掘中的相关算法.     

数据流管理和挖掘技术探析

数据流管理和挖掘技术是数据库领域的新研究方向之一。概述了数据库技术的发展趋势以及数据流的概念、特点、体系结构、应用领域,分析了数据流概要数据结构的构造问题和数据流的连续近似查询技术,最后介绍了数据流挖掘技术。旨在描述数据流管理和挖掘技术的发展概况,为进一步的研究提供有益的借鉴。     

数据流聚类算法研究

许多应用程序会产生大量的流数据,如网络流、web点击流、视频流、事件流和语义概念流。数据流挖掘已成为热点问题,其目标是从连续不断的流数据中提取隐藏的知识/模式。聚类作为数据流挖掘领域的一个重要问题,在近期被广泛研究。不同于传统的静态数据聚类问题,数据流聚类面临有限内存、一遍扫描、实时响应和概念漂移等许多约束。本文对数据流挖掘中的各种聚类算法进行了总结。首先介绍了数据流挖掘的约束;随后给出了数据流聚类的一般模型,并描述了其与传统数据聚类之间的关联;最后提出数据流聚类领域中进一步的研究热点和研究方向。     

基于流数据分类挖掘算法在入侵检测的应用

传统基于数据挖掘的入侵检测系统、只能检测系统层和应用层的日志和报文,对于节点流进和流出的数据流,无法进行挖掘分析,因此,系统的虚警率和漏警率较高,本文提出一种基于流数据分类挖掘算法的入侵检测方法,验证结果显示,可以降低系统的虚警率和漏警率,提高网络的安全性。     

一种新的基于数据流的数据模型

随着网络的发展和通讯设备的普及,一种新的数据密集型应用逐渐浮出水面,这主要包括:网络监控、电信数据管理、传感器数据监控等。在这些应用中数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式。同时,这些应用对数据的访问也是多次和连续的,并要求即时的响应,而传统的数据库技术对数据的假设和相应的查询处理技术已经无法适应这种新的应用的要求。因此,文中根据这种流式数据的特征设计了一种新的基于数据流的数据模型,并就今后如何进行数据流管理系统的研究提出一些新的看法。     

传感器网络分布式数据流的频繁项集挖掘算法

研究无线传感器网络中数据流频繁项集挖掘问题。针对集中式的静态数据流频繁项集挖掘方法不能在传感器网络中直接使用这一特点,提出基于传感器网络的分布式数据流的频繁项集挖掘算法FIMVS。该算法基于FPtree快速挖掘出传感器节点上单一数据流的局部频繁项集,然后通过路由将其在无线传感器网络里逐层上传合并,在Sink节点上汇聚后,采用自顶向下的高效剪枝策略挖掘出全局频繁项集。实验结果表明,该算法能有效地大幅度减少候选项集,降低无线传感器网络中的通信量,并有较高的时间和空间效率。     

Mining constrained frequent itemsets from distributed uncertain data

Nowadays, high volumes of massive data can be generated from various sources (e.g., sensor data from environmental surveillance). Many existing distributed frequent itemset mining algorithms do not allow users to express the itemsets to be mined according to their intention via the use of constraints. Consequently, these unconstrained mining algorithms can yield numerous itemsets that are not interesting to users. Moreover, due to inherited measurement inaccuracies and/or network latencies, the data are often riddled with uncertainty. These call for both constrained mining and uncertain data mining. In this journal article, we propose a data-intensive computer system for tree-based mining of frequent itemsets that satisfy user-defined constraints from a distributed environment such as a wireless sensor network of uncertain data.     

无线传感器网络数据管理技术研究进展

无线传感器网络本质上是一个以数据为中心的网络,它处理的数据为传感器采集的连续不断的数据流.因此,现有的数据管理技术把无线传感器网络看作为来自物理世界的连续数据流组成的分布式数据库.由于传感器节点的计算能力、存储容量、通信能力以及电池能量有限,再加上flash存储器以及数据流本身的特性,给数据管理带来了传统分布式数据库系统没有的一些新挑战.从数据库系统的体系结构、数据存储与索引技术、数据模式、查询处理及优化技术等方面介绍了无线传感器网络的数据管理技术的研究现状.     

Providing advanced remote medical treatment services through pervasive environments

Advances on sensor technology, wireless environments and data mining introduce new possibilities in the healthcare sector, realizing the anytime-anywhere access to medical information. Towards this direction, integration of packet-switched networks and sensor devices can be effective in deploying assistive environments, such as home monitoring for elderly or patients. In this paper we describe a policy-based architecture that utilizes wireless sensor devices, advanced network topologies and software agents to enable remote monitoring of patients and elderly people; through the aforementioned technologies we achieve continuous monitoring of a patient’s condition and we can proceed when necessary with proper actions. We also present a software framework and network architecture that realizes the provision of remote medical services, in compliance with the imposed security and privacy requirements. A proof of concept prototype is also deployed, along with an evaluation of the overall architecture’s performance.     

浅析数据挖掘的主要方法和研究方向

随着大型数据库的不断涌现,如何从浩如烟海的数据中发现隐藏的有用知识,成为一个迫切需要研究的课题.因此,知识发现和数据挖掘应运而生.该文提出了数据挖掘的基本概念,数据挖掘是数据库技术、人工智能、机器学习、统计分析、模糊逻辑、模式识别和人工神经网络等多个学科相结合的产物,然后分析了数据挖掘一般算法的结构,并且对数据挖掘技术进行了详细分类,主要包括决策树技术、神经网络技术、粗集以及模糊集等十多项挖掘技术.最后讨论了数据挖掘在人工智能、电子商务应用和移动通信计算等方面的研究方向.     

一个基于数据挖掘技术的高校财务预算系统设计与研制

财务预算是高等院校管理中的一项重大决策工作。采用数据仓库和数据挖掘技术建立决策支持系统是当前的主要方式。本文分析了高等院校财务预算的业务需求,设计实现了一个高校财务预算决策支持系统,包括数据预处理、数据集成、数据挖掘分析等。系统采用决策树数据挖掘技术,对高校财务历史数据进行分析处理,提供预算分析指导。实际使用表明系统对高等院校的财务预算有良好支持。     

Clustering distributed data streams in peer-to-peer environments

This paper describes a technique for clustering homogeneously distributed data in a peer-to-peer environment like sensor networks. The proposed technique is based on the principles of the K-Means algorithm. It works in a localized asynchronous manner by communicating with the neighboring nodes. The paper offers extensive theoretical analysis of the algorithm that bounds the error in the distributed clustering process compared to the centralized approach that requires downloading all the observed data to a single site. Experimental results show that, in contrast to the case when all the data is transmitted to a central location for application of the conventional clustering algorithm, the communication cost (an important consideration in sensor networks which are typically equipped with limited battery power) of the proposed approach is significantly smaller. At the same time, the accuracy of the obtained centroids is high and the number of samples which are incorrectly labeled is also small.     

基于朴素贝叶斯算法的社交网络数据挖掘技术研究

近年来,随着互联网技术飞速发展与普及,大量社交网络平台迅速崛起。社交网络平台拉近了日常人际关系,提供了便捷的信息通讯交流通道。同时,针对社交网络平台数据挖掘的技术研究成为不可缺少的网络数据研究领域一部分。现有社交网络数据挖掘技术所采用的传统数据挖掘算法与数据分离模式,存在大数据多元特征条件下,数据挖掘准确度降低、挖掘分类逻辑混乱等现象。针对问题产生根源,提出基于朴素贝叶斯算法的社交网络数据挖掘技术研究。采用基于朴素贝叶斯算法设计的PCIE-FN社交网络数据挖掘平台进行全面化的深入性解决。通过实验证明,提出的基于朴素贝叶斯算法的社交网络数据挖掘技术研究,各项数据满足社交网络数据挖掘日常应用要求。     

电子政务信息系统安全监控的研究

本文介绍了在电子政务信息系统面临的网络安全威胁,分析了对政务系统进行安全监控的必要性。提出安全监控平台的总体功能架构,并介绍了在监控平台中内网、外网安全监控的相关技术,如:网络行为检测、数据库访问控制、终端移动设备监控等。另外也讨论了数据挖掘技术在政务网络安全监控、政务网络安全态势感知预测中的应用。     

基于空间数据仓库的空间数据挖掘研究

分析了空间数据仓库的特点和体系结构，在空间数据仓库的基础上提出了一种空间数据挖掘的模型结构，介绍了一些常用空间数据挖掘算法，并展望了其广阔的应用前景。