AnyQuery:网格环境下基于服务的分布式查询处理系统

AnyQuery是一种适用于网格环境、基于服务的分布式查询处理系统，使用统一的数据格式（可扩展标记语言）来表示和传输数据，所有组成模块以网格服务的形式实现，网格服务之间通过标准的接口进行通信．这种接口和实现分离技术屏蔽了不同数据库及其运行节点的差异，为用户提供一致的虚拟关系数据视图和分布式数据查询支持．在分析和研究已有的并行数据库和分布式数据库查询技术的基础上，AnyQuery提出和实现了一种适用于动态网格环境的分布式查询计划生成和执行算法，该算法能够根据网格环境中各节点及其连接网络的实际情况确定查询计划，支持跨数据库的连接查询．基于Globus 3．0开发了AnyQuery的原型系统，性能测试表明该系统具有较好的可扩展性，尤其适合计算密集型的复杂查询．     

基于网格服务的半连接查询优化算法研究

随着网格计算技术的快速发展,其应用领域在不断扩大,然而,跨网络分布式数据的联合查询往往成为性能的瓶颈,因此文中从提高分布式数据的联合查询的效率出发,以网格计算这一新型web体系结构为技术平台,研究基于网格服务的查询优化目标、查询优化对象和查询优化策略。文中采用了应用非常广泛的启发式搜索算法来缩小策略空间这一优化策略,并在该策略的基础上提出了一种基于网格服务的2-way半连接查询优化算法,最后在网格计算环境下对该算法与一般的全连接算法做了实验对比,证明基于网格服务的2-way半连接查询优化算法可大大缩短查询响应时间。     

基于知识网格的数据挖掘

工业、科学、商务等领域的数据通常分布在不同的地方,需要在不同的地点对其进行分布式维护。只有使用计算功能超强的分布式、并行处理系统才能分析这些领域所产生的超大规模数据集。网格为分布式知识发现应用中的计算提供了有效支持。为了在网格上进行数据挖掘的开发,本文提供了一个称之为知识网格的系统,讨论如何应用知识网格设计实施数据挖掘应用,并说明如何搜索网格资源、编制软件和数据组件,以及数据挖掘应用在网格上的执行过程。     

一种基于网格服务的数据库元数据管理框架

该文主要针对数据网格的分布式异构数据库环境,提出一种基于网格服务来实现数据库元数据采集、存储、查询功能的参考框架。文章讨论了对于异构数据库的元数据,如何实现动/静态信息的管理。通过扩展GlobusToolkit中的MDS(MonitoringandDiscoverService)目录服务模块,使其支持后台关系型数据库,来存储静态元数据,而利用信息采集程序(InformationProvider)来生成动态元数据。整个系统框架建立在网格服务(GridService)基础之上,以网格服务方式提供元数据的访问功能。     

基于数据网格面向服务的查询算法

面向服务的框架（SOA）为用户的服务提供了一个标准的平台,实现服务的提供、发现、配置和集成,以帮助用户查询和处理信息．数据网格是面向服务的架构,为用户进行分布式远程数据查询服务提供了保障．对网格环境下Hidden Web数据库的研究与开发逐渐成为人们关注的焦点问题．要回答用户的查询,数据集成系统需要解决网格上的需求语义分析和关键字查询、建立数据查询模型．将数据库抽象为无向图,节点对应数据库中的元组,边对应“主-外码”的关系．查询的结果是与元组连接的答案树,它与查询的关键字相匹配．针对以上这些问题提出了一个新的查询算法,将改进的动态规划算法用于查询模型,保证Top-1答案树最优,Top-K答案树近似最优;给出了实验测试和评估结果．     

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统（NFS）实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterL...     

网格环境下数据集成模型研究

基于OGSA—DAI给出了一个用于解决网格环境下异构数据源数据集成和分布式查询处理的数据集成模型,在此基础上利用客户端元数据库解决了用户对目标数据库信息了解匮乏的问题,从而为用户的分布式查询处理提供了一种直观透明的、可视化的虚拟数据库视图环境。     

基于OGSA-DQP的分布式数据资源查询研究与应用

网格环境下的对数据的查询越来越成为一个关注的热点。该文介绍了OGSA-DQP的功能和体系结构,并详细介绍了OG SA-DQP分布式数据资源查询过程,并实现了在不同地理位置上的数据资源的查询访问。     

基于分布式数据库系统查询优化策略的研究

在分布式数据库系统中,由于数据的物理分布使得分布式查询处理增加了许多新的复杂性,不同的查询处理策略,其查询处理代价和复杂度是大不一样的。分布式数据库系统的查询优化和集中式数据库系统相比,显得更为重要。文章在充分讨论查询优化和策略的基础上,着重论述了一种分布式数据库系统查询优化策略是如何影响查询性能的。     

网格服务调度算法分布式部署和QoS性能分析

网格是一种复杂的分布式计算系统,研究其网格服务对网格作业的调度算法的分布式部署和性能分析问题具有重要的意义。网格服务调度系统的状态空间模型考虑了具有不同的输入速率和输出速率的作业队列,提出了清空型调度策略和服务调度算法,并在此基础上分析了其分布式部署问题,计算了系统QoS性能指标,指出了稳态吞吐量、稳态响应时间与负载系数的关系。     

网格环境下的分布式查询处理器的研究与应用

网格环境下的数据库管理技术越来越受到人们的关注。该文主要介绍了网格环境下的一种分布式查询处理器OGSA-DQP,详细介绍了OGSA-DQP的体系结构及其查询流程,并讨论了OGSA-DQP的编程接口,最后通过其编程接口实现了一个简单的查询应用。     

Case for dynamic deployment in a grid-based distributed query processor

Grid computing enables users to perform computationally expensive applications on distributed resources acquired dynamically. Users are allowed to combine structured data and analysis components into new applications from distributed sites into new applications. Distributed query processing offers an established way of structuring such computations, and well-known tools like OGSA-DAI and OGSA-DQP provide respectively a common interface to heterogeneous databases, and a way of exploiting distributed resources. Such significant benefits are however often undermined by high communication costs due to the need to move data between distributed resources. This paper describes an approach that addresses this by dynamically deploying query processing engines, analysis services and databases within virtual machines, on an internet-scale, so as to reduce communication costs. Results of internet-scale experiments are presented to demonstrate the performance benefits. Further, the use of dynamic deployment features based on requirements allows the creation of an ad-hoc runtime engine and thus opens up the possibility of creating a virtual marketplace for software and hardware resources.     

基于网格中间件的统一检索

网格技术是近年来新兴的一个研究热点,它使互联网上所有资源实现全面共享与协同工作,将整个因特网整合为一个巨大的超级计算机,为用户提供"即连即用"的服务.本文详细介绍了网格中间件OGSA-DAI和OGDA-DQP,并针对目前图书馆期刊信息整合的现状,利用网格中间件技术对各种期刊数据库进行整合,即利用OGSA-DAI对期刊数据库进行封装,通过OGSA-DQP进行统一检索,解决了目前在异构数据库整合中基于界面整合自治性差、稳定性不好的特点.     

网格环境下的数据库访问和集成

为了集成网格环境中的数据库资源,促进网格应用支持现有数据库的访问,提出一种基于服务的数据库访问和集成系统(GridDBAdmin)。GridDBAdmin为用户提供了虚拟的全局逻辑数据库视图,支持用户使用现有的SQL语言同时访问多个数据库。系统由元数据服务和网格虚拟数据库服务构成。其中元数据服务负责发现含有用户所需数据的数据库,网格虚拟数据库服务提供全局逻辑视图,通过分布式查询机制将用户的SQL请求分解到具体的数据库中并进行结果合并。对基于Globus和OGSA-DAI工具包开发的原型系统进行了测试,得到了较好的结果。     

数据库网格:基于网格的多数据库系统

近年来,数据网格技术的快速发展为广域分布环境下的海量数据共享提供了强有力的支持。数据库网格是指主要由各种数据库管理系统构成的数据网格环境,其技术难点是在网格环境下研究解决分布式查询、事务、多数据源视图等传统的数据库领域的问题。该文通过讨论数据网格、数据库网格和多数据库的概念和特点,并比较上述问题在多数据库和数据库网格环境下的异同,对数据库网格的特点进行了总结,对数据库网格技术的研究和发展方向进行了探讨和展望。     

网格数据检索中结果集的合并算法

随着网格从科学计算转到企业级应用,要求数据库提供多种服务支持以实现更强更丰富的资源共享和应用。网格上的数据库只能通过网格服务进行访问,而数据库中的数据也只能通过网格服务接口来存取。因此如何在网格环境下直接对分布在各地的数据库进行高效的检索就是迫切要解决的问题。本文首先提出了一个网格环境下数据检索的体系结构,然后针对该结构下的数值型数据的Top-k查询问题给出了GrangM算法,它有效解决了来自不同数据源查询结果的合并问题。对该算法的模拟实现表明,它可以快速、高效地合并网格中多结点检索出的结果,减少连接中间结果的大小,降低发送查询请求的通信量。     

基于语义的领域虚拟数据中心研究与实现

油井工程领域涉及的数据具有分布、异构和自治性强等特点,并且存在复杂的语义关联,无法为全局决策提供有效的数据支持。利用本体和虚拟视图集成技术,提出了油井工程虚拟数据中心解决方案,通过构造领域全局本体并利用本体抽取、本体映射和查询转换实现领域数据语义集成,提供了统一和基于语义的数据查询与共享服务。实际应用表明,虚拟数据中心能够为油井生产决策提供全面和实时的数据支持。     

XQuery视图机制

从XML数据安全性考虑，在已经使用XQuery作为查询语言的前提下，为增强XQuery对XML文档查询能力，创造了类似关系数据库视图的XQuery视图机制，使得不同用户对XML文档具有不同的查看能力，保证查询安全可靠。XQuery视图由查询来定义其内容，分为实视图和虚视图两种。虚视图根据需要计算视图定义的查询，而实视图不管以后是否需要，只要一创建就计算其视图定义，类似关系数据库视图，实视图和虚视图对于数据查询都是必要的。     

网格环境中数据统一访问的设计和实现

网格中汇集了大量分布、异构、多管理域的数据资源,使得网格用户对数据的访问变得非常复杂,必须为用户提供行之有效的方法,实现方便、高效、透明、统一的数据访问。本文描述了基于操作系统之上的文件层面的数据统一访问实现方法。这种方法采用虚拟数据集的机制将汇聚在网格中的存储系统抽象成一个虚拟一体化系统,实现了网格数数据的统一视图和一种网格环境中的数据统一访问方法。