基于Storm的DSMS交互系统客户端的设计与实现

随着大数据云计算的发展,流数据管理越来越被重视,从早期的流数据管理系统(DSMS, Data Stream Management System)发展到现在的分布式流数据管理系统。但这些系统重点在于系统功能的实现,系统与用户的交互层面较为薄弱。本论文针对流数据管理系统与用户交互层面,选取了流系统持续查询语言CQL (Continues Query Language) 中支持监控的查询语句,结合SQL (Struct Query Language) 的语法规则做了相应的简化,设计了结构化持续查询语言CSQL,并通过ANTLR开发了词法和语法分析工具。另外,论文设计实现了可远程与系统交互的SDK(Software Development Kit)及客户端,提供登陆、查询、监控、删除和异步返回结果等功能,使分布式流查询系统的访问使用更为方便。     

流式数据查询系统

近年来,随着互联网和物联网的快速发展,海量的数据在很多应用中都会出现,而这其中有很大一部分数据是以流数据的形式存在的. 流数据的特点是快速、大量、无序,并且要求快速的响应. 研究表明,传统的关系型数据库并不适用于这种流式数据的应用场景,因此如何开发出一套新型的数据查询系统来满足流式数据的处理需求就成为当前研究的一个热点课题. 本文借鉴当前几个有代表性的流式数据管理系统的优点,分析流式数据查询系统的关键问题,综合考虑流数据接口定义、数据预处理,查询语言定义、查询执行过程,系统监控、系统界面等问题,设计并实现一个可用的流式数据查询系统. 最后,通过采集具体的新闻流式数据验证系统的各项功能和性能,实验结果表明,该流式数据查询系统具有良好的数据查询性能.     

一种流数据实时写入保障下的数据查询方法

各类流式传感数据的实时接收与处理是物联网智能应用的基本要求.针对某城市车辆实时监管系统暴露出的数据实时接收与高效数据查询互相制约的问题,提出一种适用于物联网数据管理的结构化数据查询优化方法,在保障流数据实时写入的同时提供高效的数据查询能力.该方法采用数据库集群应对数据并发访问时的性能需求;通过主从延迟复制技术减少数据查询对数据写入性能的影响;采用数据分区和数据缓存技术提升单数据节点的查询性能.实验结果表明,该方法能在一定程度上减少查询对数据写入的影响,提高数据的查询效率.     

一种基于图归约的XPath高性能流数据查询方法

作为网络数据交换和数据共享的标准,XML数据越来越多地用于表示应用系统的流数据。然而,受制于流数据处理有限空间开销等特征,如何高效地实现这种查询成为值得探讨的问题。与传统的基于自动机或层次栈方法不同,文中提出了一种基于图归约的XML查询自动机(GRAT),采用一种图结构来表示针对不同XML流元素的子查询任务之间的关系,通过图的归约变化来实现XPath查询。实验结果表明,基于GRAT的查询算法能够高效地完成复杂的XML查询,流数据处理的吞吐量达到了较高水平。     

面向流数据的数据管理系统的研究

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据, 对于一些新的应用领域, 信息是以数据序列的形式产生并且需要实时地、持续地进行处理, 这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统, 它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构, 重点讨论基于流数据的数据模型和流查询。     

工矿企业监控系统中存储与查询系统的研究

根据工矿企业生产过程中监控系统的实际需要,建立了数据存储与查询系统的模型,重点阐述了数据查询的具体实现过程。研究结果表明:文章提出的数据库结构模型和数据查询方法能够满足目前工矿企业监控系统中数据管理的需要,同时也便于企业对事故的预测预报、以及事故发生后的原因分析。     

基于流数据技术的连续查询处理

提出了一个流查询处理方案,同时满足普通用户和高级用户(有计算机语言基础),并从几个重要的指标来闸述如何提高查询效率,减少系统瓶颈,并在原型系统中得到了验证。     

基于流数据技术的信息监测系统的研究与设计

以开发的网上信息监测系统为应用背景，建立了流数据应用的原型系统。通过Internet互联网实现网络数据截获、监控、还原、查询及存储等技术，提出并应用了连续查询及动态存储策略，在原型系统中测试了系统的性能。     

分布式流数据加载和查询技术优化

分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。     

基于下推转换机的XML流数据处理方法

XML流数据在互联网领域有着广阔的应用,海量流数据的高性能处理与查询需求的多样性给对XML流数据的查询处理技术提出了更高的要求,针对XML流数据上的XPath查询,以下推转换机（Pushdown Transducer）为基础,提出一种新的查询处理方法。该方法支持包含PC轴、AD轴同时包含多重存在谓词、值谓词和嵌套谓词的XPath查询,覆盖XPath查询的核心部分。该方法能够满足用户复杂的查询需求,同时具有较高的性能。     

数据流管理技术

最近,人们已经广泛认识到：在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技术的研究现状和今后的研究方向,最后,给出了一个数据流管理原型系统的体系结构。     

数据流技术及查询算法研究

数据流技术是一种正在兴起的新型数据形式,信息以数据序列的形式产生并且需要实时、持续地进行处理。数据流管理系统(DSMS)是面向数据流而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。本文从整体上介绍数据流的相关技术,重点分析了DSMS的特点以及相应的查询算法的分析。     

一种支持嵌入式实时应用的数据流管理系统

论文介绍了数据流技术研究、发展状况,而后讨论了数据流管理系统在嵌入式实时系统中的作用,在此基础上,给出了一个支持嵌入式实时应用的数据流管理系统RealStream,详细介绍了RealStream的体系结构及其基于触发器的多重动态查询优化机制。     

数据流分析与技术研究

数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技术及其挖掘算法进行归纳和分类论述。     

DBMS与DSMS的比较研究

传统数据库管理系统(DBMS)通常用来存储没有时间概念的相对静止的数据,而且数据量相对较少,可以完全存储在数据库中。而对于一些新的应用领域,如传感器数据,信息是以数据序列(流)的形式产生并且需要实时地持续地进行处理,这就需要一种新型的数据流管理系统(DSMS)对这些数据存储、管理和处理。本文主要讨论了传统数据库管理系统与数据流管理系统的不同之处,并提出了一个数据流管理系统的系统框架。     

数据流查询处理中一种共享的分级窗口维护策略

由于数据流具有无界的特性,数据流系统中的查询多为带有窗口的查询,对带有窗口的查询,现有方法常由操作符直接维护窗口,但操作符的类型及排列方式可能会导致窗口难以维护,且冗余度较大.因此提出一种查询处理中的分级窗口维护策略,将窗口分为流窗口和操作符窗口,以流窗口为主并控制操作符窗口的维护,使查询中的窗口保持一致,解决了窗口维护问题,并且符合流查询语言的语义,各级窗口中的数据通过共享来解决内存消耗问题.     

传感器采样数据流查询技术

这里所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。文章着重讨论数据流的查询技术和方法,特别提出了关于传感器采样数据流的查询。最后,介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案。     

一种改进的分布式数据流查询操作放置算法

在分布式数据流管理系统中,需要将查询操作放置到不同的处理结点执行。因此,如何放置查询操作成为分布式数据流管理研究的核心问题。Peter等人提出一种基于时延空间和弹簧张弛技术的查询操作放置算法,但是该算法假设查询操作之间数据流的流速不变,没有考虑数据流的流速与数据流查询操作之间的相关性。为此,通过分析不同的数据流查询操作与其输出的数据流的流速之间的关系,对Peter等人提出的算法加以改进,实验结果表明,改进后的算法可以有效地应用于分布式数据流管理系统。