一种新的基于数据流的数据模型

随着网络的发展和通讯设备的普及，一种新的数据密集型应用逐渐浮出水面，这主要包括：网络监控、电信数据管理、传感器数据监控等。在这些应用中数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式。同时，这些应用对数据的访问也是多次和连续的，并要求即时的响应，而传统的数据库技术对数据的假设和相应的查询处理技术已经无法适应这种新的应用的要求。因此，文中根据这种流式数据的特征设计了一种新的基于数据流的数据模型，并就今后如何进行数据流管理系统的研究提出一些新的看法。     

数据流挖掘技术研究

在当今的网络监控、电信数据管理、传感器数据监控等应用中,数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式,对数据的访问也是多次和连续的,并要求即时的响应.数据流独特的特点,对传统数据的处理方法带来很大的挑战.数据流应用的出现,带动了相关技术的研究,其中包括数据流挖掘的研究.文中介绍了数据流的基本概 念,讨论了数据流挖掘的研究现状及相关技术,包括数据流的介绍、流行的数据流处理技术和数据挖掘中的相关算法.     

数据流挖掘技术研究

在当今的网络监控、电信数据管理、传感器数据监控等应用中，数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式，对数据的访问也是多次和连续的，并要求即时的响应。数据流独特的特点，对传统数据的处理方法带来很大的挑战。数据流应用的出现，带动了相关技术的研究，其中包括数据流挖掘的研究。文中介绍了数据流的基本概念，讨论了数据流挖掘的研究现状及相关技术，包括数据流的介绍、流行的数据流处理技术和数据挖掘中的相关算法。     

分布式数据流挖掘的研究进展

随着通信技术和硬件设备的不断发展,尤其是小型无线传感设备的广泛应用,数据采集和生成技术变得越来越便捷和趋于自动化,研究人员正面临着如何管理和分析大规模动态数据集的问题。能够产生数据流的领域应用已经非常普通,例如传感器网络、金融证券管理、网络监控、Web日志以及通信数据在线分析等新型应用。这些应用的特征是环境配备有多个分布式计算节点;这些节点往往临近于数据源;分析和监控这种环境下的数据,往往需要对挖掘任务、数据分布、数据流入速率和挖掘方法有一定的了解。综述了分布式数据流挖掘的当前进展概况,并展望了未来可能的、潜在的专题研究方向。     

数据流挖掘研究

上世纪末,为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求,数据流技术应运而生。数据流独特的特点,对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点,讨论了数据流挖掘的研究现状。最后,举例说明了数据流挖掘的应用,并展望了数据流挖掘未来的研究方向。     

数据流挖掘研究

上世纪末，为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求，数据流技术应运而生。数据流独特的特点，对传统数据的处理方法带来了很大的挑战。介绍了数据流的有关概念及数据流挖掘的特点，讨论了数据流挖掘的研究现状。最后，举例说明了数据流挖掘的应用，并展望了数据流挖掘未来的研究方向。     

基于数据概要描述的分布式数据流聚类模型与算法

数据流挖掘可有效解决大容量流式数据的知识发现问题,并已得到广泛研究.数据流的一个典型的例子是传感器采集的流式数据.然而,随着传感器网络的应用普及,这些流式数据在很多情况下是分布式采集和管理的,这就必然导致分布式地挖掘数据流的需求.分布式数据流挖掘的最大障碍是由分布式而导致的挖掘质量或者效率问题.为适应分布式数据流的聚类挖掘,探讨了分布式数据流的挖掘模型,并且基于该模型设计了对应的概要数据结构和关键的挖掘算法,给出了算法的理论评估或者实验验证.实验说明,提出的模型和算法可以有效地减少数据通信代价,并且能保证较高的全局模式的聚类质量.     

海量数据流上快速Top-K子序列匹配算法研究

数据流技术在金融分析、网络监控等诸多领域得到了广泛应用,而已有的子序列匹配算法主要针对静态序列,难于直接应用到海量、高速和连续的流数据。本文在动态时间规整技术的基础上,提出了一种新颖的TopKSM算法,能渐进、实时地获取Top-K相似子序列。算法完全符合数据流"单遍扫描"的性能要求。大量的实验表明,与现有的SPRING算法相比,该算法具有更高的性能。     

基于数据流管理平台的网络安全事件监控系统

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件．数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型．本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型．在这个模型中，数据流管理平台有效地支持了对高速网络数据流的实时查询与分析，从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能．利用CQL作为接口语言，精确描述安全事件规则与各种监拉查询，具有很强的灵活性与完整性．另外，系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能，具有良好的可扩展性，     

数据流上快速子序列匹配

数据流技术目前已广泛应用于金融分析、网络监控及传感器网络等诸多领域,而已有的相似性匹配技术主要针对时间序列数据库,难于直接应用于高速、连续、实时、海量的流数据,因此在数据流上渐进、实时地进行子序列匹配成为一个极具价值和挑战性的问题。在动态时间规整技术的基础上,设计了一种新颖的界限机制,充分利用相似性阈值,尽量减少冗余计算,算法完全符合数据流“单遍扫描”的性能要求,并通过大量的模拟和真实数据实验表明：与现有的SPRING算法相比,在不损失任何算法精度的前提下,仅增加几个字节的空间开销,速度至少提高3倍。     

一种支持多目标的数据流操作语言

随着数据流在各个应用领域的涌现和广泛应用，数据流相关的研究已经成为数据库技术中一个新的研究方向，并得到了越来越多的关注．数据流的操作语言作为用户与数据流管理系统之问进行语义交换的桥梁，从很大程度上体现出了数据流处理的特点．提出了一种数据流管理系统中支持多目标的数据流操作语言．它可以同时完成对数据流和关系表的操作．此外针对数据流的特性，语言中还引入了时间戳，时间粒度，连续查询，近似查询等相关概念，并以丰富灵活的语法支持了各种相关技术．     

一种基于多时间粒度的数据流建模方法

在很多领域中，越来越多的数据以数据流的形式存在于各种应用当中，这些数据的特点是实时的、连续的、时变的、快速的。由于这些特点，在数据处理方法上引入了很多挑战性问题。本文重点从多时间粒度的角度研究了数据流建模问题，提出了多时间粒度的数据流滑窗建模方法，采用层次窗口模型对数据流进行描述，有效解决了Ad-Hoc查询
中的历史数据管理问题。     

传感器采样数据流查询技术

这里所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。文章着重讨论数据流的查询技术和方法,特别提出了关于传感器采样数据流的查询。最后,介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案。     

基于Aurora系统的持续型查询语言设计与实现

随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统Aurora上进行了实现。为验证新语言的表达能力,该系统使用新语言定义了数据流基准测试Linear Road Benchmark的查询集,在Aurora系统上部署运行。测试结果表明针对Linear Road Benchmark的测试用例,新语言具有较完备的语义和良好的表达能力。     

数据流分析与技术研究

数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技术及其挖掘算法进行归纳和分类论述。     

基于小波概要的并行数据流聚类

许多应用中会连续不断产生大量随时间演变的序列型数据,构成时间序列数据流,如传感器网络、实时股票行情、网络及通信监控等场合.聚类是分析这类并行多数据流的一种有力工具.但数据流长度无限、随时间演变和大数据量的特点,使得传统的聚类方法无法直接应用.利用数据流的遗忘特性,应用离散小波变换,分层、动态地维护每个数据流的概要结构.基于该概要结构,快速计算数据流与聚类中心之间的近似距离,实现了一种适合并行多数据流的K-means聚类方法.所进行的实验验证了该聚类方法的有效性.     

数据归一化方法综述

当今,人工智能已经广泛应用到各个领域中,并取得了显著的效果。数据归一化是人工智能应用落地中的一个重要环节,它有助于避免神经网络因数据量纲的复杂性对数据进行错误建模。在大数据场景下,相当一部分数据是以流的形式先后到达训练点,所以在流场景下数据归一化研究是当前亟待解决的关键问题。目前关于归一化研究的综述较多,大多仅仅针对于批数据的归一化研究,而缺乏对流数据的归一化方法的总结,不具参考性。在批数据归一化研究基础之上,系统化整理并详尽分析了流数据归一化的相关文献,凝练提出了基于流数据的归一化分类方法,并将数据归一化方法划分为批数据的归一化方法和流数据的归一化方法。同时,对这些方法的原理、优势和可以解决的主要问题进行了对比分析,在不同场景下对数据归一化的未来研究方向进行了展望。