面向聚集查询的语义缓存技术

将目前主要用于小规模数据库查询的语义缓存技术拓展到海量数据库的聚集查询中,以面向聚集查询的语义缓存形式模型为基础,构造了语义缓存StarCache.详细讨论了StarCache中的聚集查询处理、语义缓存替换管理和一致性维护等技术.StarCache已经集成在自主研发的并行数据库中间件StarTP中,并在一项大型国家工程中得到实际应用.     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存,元组缓存,块缓存等缓存技术。本文首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存、元组缓存、块缓存等缓存技术。文中首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

基于语义缓存的移动查询导出

在移动环境下，客户缓存为提高客户－服务器数据库系统的整体性能，特别是保证客户端数据可用性提供了有效途径，该文针对如何从基于语义描述的缓存中导出当前查询（部分）结果的问题，研究了查询从缓存导出的充分条件，并在定义查询与缓存之间的精确匹配，包含匹配和相互匹配几种情况的基础上，给出缓存与查询，包含与相交匹配的判断条件和相应的算法，基于该文的研究，查询可以充分利用本地语义缓存的内容，从而降低网络开销，加快响应时间，并支持移动客户断接时的数据访问。     

面向海量数据统计分析查询的中间层语义缓存

海量数据库应用系统中对统计分析查询进行优化,缩短查询响应时间是系统性能提高的关键。中间层语义缓存提供了一种优化海量数据统计分析性能的途径。文章通过对中间层语义缓存的研究,提出了一个适合海量数据统计分析的中间层语义缓存解决方案。     

数据库语义合取查询研究

针对异质、异构数据库的语义集成中,对海量元组进行语义查询时因效率问题而无法使用丰富的语义表达能力的问题,提出一种兼顾速度和语义表达能力的算法,将语义查询和本体都进行图形化表示,并实现子图的语义匹配,将匹配的结果转化成数据库查询语句。与将语义查询直接重写为SQL的算法相比,该算法能支持更丰富的语义。     

合取语义缓存的并行查询裁剪

语义缓存可以利用查询之间的语义相关性,是提高数据库查询性能的有效技术之一.传统语义缓存是按谓词来组织的,查询裁剪是串行进行的,算法的时间复杂性是指数级的.基于合取语义缓存模型,提出了并行查询裁剪算法.与现有的语义缓存查询裁剪算法相比,并行查询裁剪算法不但可以将算法的复杂性由指数级降为多项式,而且可以提高缓存的利用率,缩短查询的平均响应时间.     

海量数据管理平台MDMP中并行加载与查询技术研究

海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术.     

子句间优化技术在语义缓存查询求值中的应用

缓存技术用来弥补网络通信能力的不足。语义缓存既缓存查询结果,也缓存查询语义,可更好节省网络开销。实用性是语义缓存技术产生和发展的基础,根据实用性要求,语义缓存查询求值所消耗的时空代价要远小于网络通信能力不足带来的时空代价,所以必须对求值算法进行优化。文章从语法一级分析求值算法存在的问题并给出了两级优化方法和实现技术,降低了算法复杂度,减少了对数据库的无效访问,使语义缓存技术向实用化迈进了一大步。     

语义缓存的最小权值项LWI替换策略

在客户-服务器数据库系统中，语义缓存是基于客户查询语义相关建立的一种客户缓存．语义缓存的内容由以往查询的结果以及相应的描述构成．针对语义缓存的特征，提出语义缓存下最小权值项LWI(1east weight itern)替换策略．该策略由缓存项投影属性的访问频率和缓存项与查询的条件匹配情况，结合数据访问的时间局部性考虑决定缓存项的权值，替换最小权值项．通过性能分析实验，在语义缓存中，基于LWI替换策略的系统性能要优于基于传统LRU和LFU替换策略的系统性能.     

移动查询缓存处理的研究

客户缓存为提高客户／服务器数据库系统整体性能以及客户方数据可用性提供了有效途径。移动环境下网络资源的贫乏使客户缓存的作用更为重要，语义缓存是基于客户查询语义相关建立的一类缓存，提出一个基于语义缓存的客户缓存机制，给出缓存的内容组织，提出缓存项合并策略；然后讨论了基于语义缓存的查询处理策略；最后，模拟结果表明该客户缓存机制能够提高分布式、特别是移动环境下客户服务器数据库系统的性能。     

Towards Intelligent Semantic Caching for Web Sources

An intelligent semantic caching scheme suitable for web sources is presented. Since web sources typically have weaker querying capabilities than conventional databases, existing semantic caching schemes cannot be directly applied. Our proposal takes care of the difference between the query capabilities of an end user system and web sources. In addition, an analysis on the match types between a user's input query and cached queries is presented. Based on this analysis, we present an algorithm that finds the best matched query under different circumstances. Furthermore, a method to use semantic knowledge, acquired from the data, to avoid unnecessary access to web sources by transforming the cache miss to the cache hit is presented. To verify the effectiveness of the proposed semantic caching scheme, we first show how to generate synthetic queries exhibiting different levels of semantic localities. Then, using the test sets, we show that the proposed query matching technique is an efficient and effective way for semantic caching in web databases.     

数据集成中XML数据查询语义重写

查询重写是数据库研究的一个基本问题，它和查询优化，数据仓库，数据集成，语义缓存等数据库问题密切相关，为提高集成系统的查询效率，系统选择提交频率较高的XML查询物化为中间层视图，用户提交查询后，系统尽可能利用中间视图层中视图，而不是访问数据源来回答查询，这个问题实际可以归结为半结构化查询重写问题，考虑到中间视图层空间的有限性，已有视图应当尽可能回答更多的查询，传统查询重写方法有考虑半结构化数据之间的约束，而根据约束可以等价变换查询，从而提高中间视图层中的表达能力，提出了一种新的半结构化查询重写的方法，该方法在保证算法正确性和完备性的基础上，利用上半结构化数据中的约束，尤其是XML文件中的路径依赖，来增强中间层物化视图的表达能力，理论分析和初步原型实验证明方法的有效性。     

一种基于维层次编码的OLAP聚集查询算法

联机分析处理(OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询，在其SQL语句中通常包含多表连接和分组聚集操作，因而减少多表连接和压缩关键字，以及对查询数据进行有效地分组聚集操作，成为ROLAP查询处理的关键问题。提出了一种基于维层次编码的新型预分组聚集算法DHEPGA．DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀，来快速检索出与查询关键字相匹配的维层次编码，求得维层次属性的查询范围，减少了I／O开销，提高了OLAP查询效率。理论分析和实验结果表明，DHEPGA算法性能是非常有效的。     

基于符号语义的不完整数据聚集查询处理算法

本文研究了基于符号语义的不完整数据聚集查询处理问题.不完整数据又称为缺失数据,缺失值包括可填充的和不可填充的两种类型.现有的缺失值填充算法不能保证填充后查询结果的准确度,为此,本文给出不完整数据聚集查询结果的区间估计.本文在符号语义中扩展传统关系数据库模型,提出一种通用不完整数据库模型,该模型可以处理可填充的和不可填充的两种类型缺失值.在该模型下,提出一种新的不完整数据聚集查询结果语义:可靠结果.可靠结果是真实查询结果的区间估计,可以保证真实查询结果很大概率在该估计区间范围内.本文给出线性时间求解SUM、COUNT和AVG查询可靠结果的方法.真实数据集和合成数据集上的扩展实验验证了本文所提方法的有效性.     

一种自底向上的静态语义查询优化算法

演绎数据库语义查询优化是运用数据库中的语义知识，即完整性约束条件，将用户提交的一种查询转换为能有效执行，并与原查询等价的查询的一种优化方法．至今在这一领域已有了许多的算法，但大多是基于自顶向下的查询计算模式．而本文提出的静态语义查询优化算法及其改进算法是在优化“并”和“连接”操作的过程中进行自底向上的查询计算，因此相对自顶向下的计算方式更有效地提高了查询执行效率．     

断接下查询的缓存处理

移动环境下，由于无线网络可靠性低、费用高，移动主机本身受电源、资源等方面的限制，移动主机经常会主动或被动地处于断接，即没有网络连接的状态．为了提高断接时移动客户对数据的访问能力，有效利用移动缓存，该文提出断接下基于语义缓存的查询处理QPID算法．该算法的主要思路是先找出缓存中与当前查询相关的缓存项，再通过对相关项数据的进一步处理获得缓存中满足查询的结果．试验表明，基于QPID算法的查询处理可以更好地满足断接下客户的查询请求．     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.