数据流技术及查询算法研究

数据流技术是一种正在兴起的新型数据形式,信息以数据序列的形式产生并且需要实时、持续地进行处理。数据流管理系统(DSMS)是面向数据流而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。本文从整体上介绍数据流的相关技术,重点分析了DSMS的特点以及相应的查询算法的分析。     

TSS数据流管理系统的设计与实现

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求.研究针对信息安全应用的数据流管理系统,提供高效,灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义.设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持.此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用.     

数据流管理系统研究与进展

综述了数据流管理系统的研究现状及相关的技术,包括相关的基本概念的阐述、现有实验系统的回顾、流式查询中存在的问题及相关的解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。     

数据流管理技术

最近,人们已经广泛认识到：在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技术的研究现状和今后的研究方向,最后,给出了一个数据流管理原型系统的体系结构。     

数据流关键技术研究

处理无限的连续数据流的应用日益流行,传统数据库对快速变化的数据流进行在线分析的支持存在很多限制,需要对已存在的技术进行广泛的研究扩展,构建新的系统管理流数据。本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战及数据流系统新颖之处;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术。并提出在数据流研究方面的一些新看法。     

基于Aurora系统的持续型查询语言设计与实现

随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统Aurora上进行了实现。为验证新语言的表达能力,该系统使用新语言定义了数据流基准测试Linear Road Benchmark的查询集,在Aurora系统上部署运行。测试结果表明针对Linear Road Benchmark的测试用例,新语言具有较完备的语义和良好的表达能力。     

一种支持多目标的数据流操作语言

随着数据流在各个应用领域的涌现和广泛应用，数据流相关的研究已经成为数据库技术中一个新的研究方向，并得到了越来越多的关注．数据流的操作语言作为用户与数据流管理系统之问进行语义交换的桥梁，从很大程度上体现出了数据流处理的特点．提出了一种数据流管理系统中支持多目标的数据流操作语言．它可以同时完成对数据流和关系表的操作．此外针对数据流的特性，语言中还引入了时间戳，时间粒度，连续查询，近似查询等相关概念，并以丰富灵活的语法支持了各种相关技术．     

数据流管理系统分析与研究

综述了数据流管理系统的研究现状及相关的技术,包括基本概念的阐述、流式查询中存在的问题及其解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。     

面向信息安全的高速数据流管理系统的设计与实现

随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS—DSMS（Data Stream Management System for Information Security）。系统利用了采样技术、概要技术、滑动窗口等技术对常用的五类聚合查询进行了优化。实验证明,系统具备千兆网络条件下实际使用的性能,可作为网络数据流实时查询和统计分析引擎,为入侵检测、网络监控等系统提供高速有效的支持。     

数据流分析与技术研究

数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技术及其挖掘算法进行归纳和分类论述。     

面向流数据的数据管理系统的研究

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据, 对于一些新的应用领域, 信息是以数据序列的形式产生并且需要实时地、持续地进行处理, 这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统, 它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构, 重点讨论基于流数据的数据模型和流查询。     

一种分布式数据流查询重用算法研究*

提出了一种基于查询树匹配的查询重用算法.首先,系统中原有查询树与新生成的查询树进行匹配并计算对新查询树的重用收益;然后根据重用收益来实现重叠的查询操作的重用.实验结果表明,该算法能够有效地减少连续查询的执行代价总量.     

空间信息网格下监测系统体系的研究

在网格监测体系结构的基础上，提出一种监测数据源管理系统。该系统给出了底层生产者和数据源之间关系的一个具体实现模型，通过自动控制传感器的运行减小监测系统对被监测者的影响，通过监测数据与元数据分离的架构提高系统的可维护性和灵活性，并且用XML实现了监测对象和监测事件的统一描述。     

基于最小生成树的数据流窗口连接优化算法

与传统关系数据库不同,数据流管理系统主要处理并发的连续查询.由于查询可能随时增删,所以其主要关注适合查询增删的并发连续查询优化,而不是单条查询优化.提出适合频繁增删查询环境下的数据流窗口连接优化算法.对于新注册的查询以类似最小生成树算法写出数据流的探测序列,然后在不更改其他查询探测序列顺序的情况下尽量合并,减少重复计算.注册或删除查询并不影响其他的查询计划,不需要执行繁琐的查询计划迁移.理论分析和实验证明,该算法简单,优化性能在可接受的范围内,尤其适合查询更新频率较高的系统.     

海量数据流在桥梁健康监测中的处理方法

随着桥梁建设的快速发展,桥梁健康监测成为建设中非常重要的一部分.通过介绍桥梁健康监测的现状和数据流的概念,针对其海量数据流的特性,提出了DSMS处理方式及其原理模型,并重点介绍了该方法在实际工程中的具体应用,如异常数据查询与优化、滑动窗口的设计等,从而让异常数据及时被捕获到,更准确地掌握桥梁的健康状况.     

在数据流管理系统中实现快速决策树算法(英文)

在数据流管理系统(data stream management system,DSMS)中嵌入数据挖掘算法对数据库研究者是一项新的挑战,而在数据流管理系统中嵌入快速决策树(very fast decision tree,VFDT),尚未见报道。利用DSMS原有的机制在Esper中实现了VFDT算法。其主要思想是将VFDT算法转换为Esper的数据查询语言(Esper query language,EQL)。给出了在DSMS中实现VFDT算法的两种方法:普通方法。直接将VFDT算法转化为EQL语言并在DSMS中实现(记作DVFDT);改进方法。通过Esper中固有的批量处理模式来实现(记作optimal-DVFDT)。通过一系列实验比较分析了两种方法对海量数据流分类的准确率和性能;将提出的两种方法与用Java实现的VFDT算法(记作JVFDT)在分类精度和时间上进行比较。结果表明,在DSMS中实现的VFDT算法具有较好的性能,并且该算法对大规模数据流数据的子集同样具有较高的性能。     

一种基于优先级的数据流查询实时调度策略

针对一些高关键性的特殊应用，把传统实时系统中的截止期、空闲时间、关键性等概念引入数据流管理系统，根据系统中连续查询的特征，赋予其新的涵义。提出了一种基于优先级的实时调度策略，使得流截止期较早、空闲时间较短、关键性较高的查询具有更高的优先级；给出了一种优先级树结构，使得基于优先级的查询执行序列唯一化。实验表明该策略提高了连续查询的实现价值率和连续查询调度的成功率。     

基于Storm的DSMS交互系统客户端的设计与实现

随着大数据云计算的发展,流数据管理越来越被重视,从早期的流数据管理系统(DSMS, Data Stream Management System)发展到现在的分布式流数据管理系统。但这些系统重点在于系统功能的实现,系统与用户的交互层面较为薄弱。本论文针对流数据管理系统与用户交互层面,选取了流系统持续查询语言CQL (Continues Query Language) 中支持监控的查询语句,结合SQL (Struct Query Language) 的语法规则做了相应的简化,设计了结构化持续查询语言CSQL,并通过ANTLR开发了词法和语法分析工具。另外,论文设计实现了可远程与系统交互的SDK(Software Development Kit)及客户端,提供登陆、查询、监控、删除和异步返回结果等功能,使分布式流查询系统的访问使用更为方便。     

Efficient Process of Top-k Range-Sum Queries over Multiple Streams with Minimized Global Error

Due to the resource limitation in the data stream environments, it has been reported that answering user queries according to the wavelet synopsis of a stream is an essential ability of a Data Stream Management System (DSMS). In the literature, recent research has been elaborated upon minimizing the local error metric of an individual stream. However, many emergent applications, such as stock marketing and sensor detection, also call for the need of recording multiple streams in a commercial DSMS. As shown in our thorough analysis and experimental studies, minimizing global error in multiple-stream environments leads to good reliability for DSMS to answer the queries; in contrast, only minimizing local error may lead to significant loss of query accuracy. As such, we first study in this paper the problem of maintaining the wavelet coefficients of multiple streams within collective memory so that the predetermined global error metric is minimized. Moreover, we also examine a promising application in the multistream environment, i.e., the queries for top-k range sum. We resolve the problem of efficient top-k query processing with minimized global error by developing a general framework. For the purposes of maintaining the wavelet coefficients and processing top-k queries, several well-designed algorithms are utilized to optimize the performance of each primary component of this general framework. We also evaluate the proposed algorithms empirically on real and simulated data streams and show that our framework can process top-k queries accurately and efficiently.