网格环境下基于流水线的多重相似查询优化

提出一种网格环境下基于流水线技术的分布式多重相似查询的优化算法(pipeline-based distributed similarity query processing,简称pGMSQ).首先,当用户提交若干个查询请求时,采用基于代价的动态层次聚类策略(dynamic query clustering,简称DQC)对其进行合并.然后在数据结点层,采用索引支持的向量集缩减方法快速过滤无关向量.最后,在执行结点层对候选向量执行求精操作返回结果向量.由于本查询采用了流水线技术,实验结果表明,该方法在提高查询性能的同时也提高了系统的吞吐量.     

网格数据的语义查询优化研究

利用网格技术实现的异构数据源集成环境中,引入本体可以解决网格数据的语义查询问题。为了提高网格环境中语义查询的效率,提出了一个基于本体的语义查询优化器（GSQO）,该优化器主要实现了以下3个模块的优化：（1）用户查询语义扩展;（2）资源选择;（3）并行处理。实验结果表明,GSQO通过采取上述优化策略提供了较好的查询效率。     

网格环境下基于服务的分布式查询处理机制研究

OGSA-DQP是一种用于网格环境、基于服务的分布式查询处理系统,实现了运行在不同平台的分布式数据密集型应用的高级数据访问与集成服务方法,为用户提供一致的虚拟关系数据视图和分布式数据查询支持。文章描述了其体系结构、分析了其查询和优化机制,并在不同条件下测试了查询性能,为寻找系统查询性能瓶颈、提高系统查询响应时间提供依据。     

网格环境下多数据源的协同查询

伴随网格技术的日益发展，作为对数据应用需求的快速回应，在数据网格之后又出现了网格数据库的概念，其中查询又是数据库应用中一个使用频繁的核心功能，由于每个节点上的数据库可能只包含所需信息的一部分，而且查询操作还涉及到数据库异构性、通信开销等问题，这些都给网格环境下的数据库查询性能带来了新的困难。为了提高网格环境下数据库查询的性能，提出了一种运用协同（CSCW）机制来协调网格用户的查询操作的方法，这不仅体现了系统的协同性，而且降低了数据传输开销，还提高了查询效率。     

AnyQuery:网格环境下基于服务的分布式查询处理系统

AnyQuery是一种适用于网格环境、基于服务的分布式查询处理系统，使用统一的数据格式（可扩展标记语言）来表示和传输数据，所有组成模块以网格服务的形式实现，网格服务之间通过标准的接口进行通信．这种接口和实现分离技术屏蔽了不同数据库及其运行节点的差异，为用户提供一致的虚拟关系数据视图和分布式数据查询支持．在分析和研究已有的并行数据库和分布式数据库查询技术的基础上，AnyQuery提出和实现了一种适用于动态网格环境的分布式查询计划生成和执行算法，该算法能够根据网格环境中各节点及其连接网络的实际情况确定查询计划，支持跨数据库的连接查询．基于Globus 3．0开发了AnyQuery的原型系统，性能测试表明该系统具有较好的可扩展性，尤其适合计算密集型的复杂查询．     

基于数据网格的分布式查询优化模型

智能交通系统（ITS）中多个异构的、地理位置分散的数据源能使用像数据网格这样的分布式计算技术进行集成,这种集成所面临的真正挑战是分布式查询处理引擎的设计和开发。一般而言,分布式查询优化按照以下三个阶段进行：查询所涉及节点的确定,并行执行方案的生成,执行查询的最佳节点选择。由于这三个阶段的相互隔离可能会导致得到的查询方案并不是最佳的,提出了一个新的分布式查询优化模型,该模型集成了查询优化的三个阶段,综合考虑了查询优化各个阶段所涉及的参数,如节点的有效内存、处理速度、数据传输容错能力等。     

基于适应性的网格数据库中子查询的节点优化调度

网格数据库是数据库技术和网格技术相结合后新的研究领域,网格的动态变化特性对数据库查询优化技术提出了适应性的要求。本文提出了基于Petri网描述的子查询计划模型TNSN,通过扩展子查询及其节点的数据关联关系的描述,建立了子查询进行适应性优化调度的查询计划模型;进一步提出了考虑变化的参数在内的耗费估算模型,并在TNSN和耗费模型的基础上提出了适应性优化算法,保证了查询处理过程中可以根据网格参数的变化情况对查询进行适应性调整,最后给出了实验验证。     

基于启发式搜索算法的网格信息查询优化

如何提高网格信息系统的查询效率是提高网格性能的关键问题之一。在基于资源分类树(将计算资源按其属性和数值组织成平衡二叉树)的网格信息系统中,资源分类树深度过大,搜索效率就会降低。针对该问题,提出基于启发式搜索算法的查询优化方案并成功应用于原有的查询系统。给出具体的算法、实验步骤及结果分析。实验结果表明,采用启发式搜索可以提高网格查询系统的查询效率。     

基于数据网格环境的k近邻查询

提出一种在网格环境下的k近邻查询方法——GkNN．到目前为止,尚未有文献提出数据网格环境下的k近邻查询算法．当用户在查询节点提交一个查询向量和k,首先以一个较小的查询半径。在数据节点进行基于双重距离尺度的向量缩减,然后将缩减后的向量按照向量“打包”传输的方式发送到执行节点,在执行节点并行地对这些候选向量进行距离（求精）运算．最终将结果向量返回到查询节点．当返回的向量个数小于k时,扩大半径值,继续循环直到得到k个最近邻向量为止．理论分析和实验证明该方法在减少网络通信开销、增加I／O和CPU并行、降低-向应时间方面具有较好的性能,非常适合海量高维数据的查询．     

基于网格服务的半连接查询优化算法研究

随着网格计算技术的快速发展,其应用领域在不断扩大,然而,跨网络分布式数据的联合查询往往成为性能的瓶颈,因此文中从提高分布式数据的联合查询的效率出发,以网格计算这一新型web体系结构为技术平台,研究基于网格服务的查询优化目标、查询优化对象和查询优化策略。文中采用了应用非常广泛的启发式搜索算法来缩小策略空间这一优化策略,并在该策略的基础上提出了一种基于网格服务的2-way半连接查询优化算法,最后在网格计算环境下对该算法与一般的全连接算法做了实验对比,证明基于网格服务的2-way半连接查询优化算法可大大缩短查询响应时间。     

Dynamic Query Optimization Approach for Semantic Database Grid

Fundamentally, semantic grid database is about bringing globally distributed databases together in order to coordinate resource sharing and problem solving in which information is given well-defined meaning, and DartGrid II is the implemented database gird system whose goal is to provide a semantic solution for integrating database resources on the Web. Although many algorithms have been proposed for optimizing query-processing in order to minimize costs and/or response time, associated with obtaining the answer to query in a distributed database system, database grid query optimization problem is fundamentally different from traditional distributed query optimization. These differences are shown to be the consequences of autonomy and heterogeneity of database nodes in database grid. Therefore, more challenges have arisen for query optimization in database grid than traditional distributed database. Following this observation, the design of a query optimizer in DartGrid II is presented, and a heuristic, dynamic and parallel query optimization approach to processing query in database grid is proposed. A set of semantic tools supporting relational database integration and semantic-based information browsing has also been implemented to realize the above vision.     

一种异构数据集成中的动态查询优化方法

查询优化是异构数据集成中需要解决的关键问题之一,但环境的分布性、异构性以及局部数据源的自治性使得异构数据集成中的查询优化变得非常困难。通过对异构数据集成中查询后处理调度的分析,给出了查询后处理的全局查询图表示,并给出了基于全局查询图的查询后处理并发调度方法,最后给出了一种基于统计推理的查询后处理动态优化策略,它可用于基于全局查询图的查询调度中,实现查询后处理的动态优化。     

基于统计方法的Hive数据仓库查询优化实现

Map/Reduce是海量离线数据分析中广泛应用的并行编程模型.Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题.均衡计算模型(computation balanced model, CBM),其核心思想是通过数据分布特征指导查询计划优化.相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题.实验数据表明,通过CBM优化的 GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%.实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率.     

一种适合多数据库系统的查询表示方法

1 引言随着分布计算和网络技术的不断发展,传统的数据库技术已越来越不能满足数据共享和互操作的需要。同时,已有的数据库系统又不可能全部丢弃.因而研制能同时访问和处理来自多个数据库中数据的多数据库系统已成为必然趋势。多数据库系统是解决已存的、异构的、分布的多个局部数据库系统之间数据共享和集成的问题。由于多数据库系统具有异构性、分布性和局部自治性的特点,使得多数据库查询处理与传统数据库查询处理有很大的不同。多数据库系统呈现给用户的是全局模式,用户使用全局查询语言提交对多数据库的查询,而所需的数据又必须从各局部数据库获得,所以必须将全局查询转换成与局部数据库对应的局部查询。在全局查询转换为局部查询的过程中,需要     

一种数据立方查询条件优化策略

当数据立方查询条件不是合取范式时，一般是将它转化成为若干合取范式的并的形式(析取范式)。但如果各合取范式之间有交集，则交集部分的记录会被多次查询。为了解决这个问题，文章提出了一种数据立方查询条件优化策略，把查询条件转化为互不相交的立方块的并的形式。文章详细地讨论了数据立方中互不相交的立方块的划分方法，并给出了该优化策略的实现算法和性能分析。结果表明，当查询条件不是合取范式时，该优化策略明显提高了查询性能。     

一种处理图数据库中超图集合的查询方法

针对图数据库中超图集合查询问题给出有效解决方案,算法采用过滤-验证框架机制,过滤器是基于特征的索引树。给出从数据库中快速提取特征的算法以及索引建立方法。将特征组织在一棵树中,使得过滤阶段两个特征的公共诱导子图只与查询图做一次子图同构测试。在验证阶段,将Ullman算法与极大团查找算法相结合进行子图同构检测。     

一种改进的数据库查询优化算法

数据库查询优化技术对提高数据库的查询效率,增强数据库性能有重要作用。针对大型数据库中多表连接查询效率低的问题,提出了一种基于粒子群算法的改进查询优化算法。针对多表连接查询的特征,对粒子采用树形编码的方式,并提出了一种计算数据库查询执行代价的模型。实验表明,使用粒子群算法优化后的查询策略比原始查询策略的查询执行代价低,有效提高了系统的查询效率。     

XML查询语言XML-QL及其查询优化

从半结构化数据角度出发，通过一种XML查询语言－XML－QL介绍了XML文档查询过程，并为XML的查询优化提供了一种思路。