数据仓库中物化视图维护算法的分析和比较

随着数据源的更新,数据仓库中的物化视图必须得到及时的更新维护.而如何对物化视图进行高效的更新,以满足用户对查询响应速度和查询结果一致性、时新性的要求,这是数据仓库技术中非常复杂和重要的工作,也是一个迫切需要解决的关键性技术问题.以物化视图更新维护问题为主要研究对象,通过对现有各种维护算法深入的研究和分析,系统地进行了比较和总结,最后指出了谊问题深入研究的方向.     

分布式数据源的实视图维护算法研究

数据仓库作为决策支持系统的集成化数据中心,其数据可以认为是定义在多个不同数据源的实视图集。近年来数据仓库中实视图维护算法的研究激起很多学者的重视。当多个独立的数据源出现并发更新时传统的实视图维护算法可能导致视图维护异常,本文提出了一个双向扫描并行处理实视图维护(BSP)算法,能确保实视图与数据源的完全一致性,并通过实验与其它类似的算法进行了比较,说明本算法具有较高的效率。     

基于模式和数据并发更新的视图维护机制

在数据仓库的实化视图维护处理中，如何有效地处理并发更新是一个重要而又棘手的问题．文中阐述了P2P环境下模式与数据全面并发的典型情形，分析了因并发更新而导致视图维护异常的原因，针对这些不同的方面提出相应的纠正策略．给出了一种基于时态演算的并发更新侦测方法，以及混合更新下对关联更新进行检测的有效算法，最后提出了解决乱序提交问题的增强代理机制，确保了数据仓库与数据源的一致性．     

数据仓库中物化视图的选取策略

数据仓库中用存储大量的物化视图来加速OLAP的查询响应，物化视图的选取是数据仓库设计中的一个重要问题。论文提出了一个有效的物化视图选取算法，采用基于数据立方体层次搜索的方式选取视图。经分析与测试表明，该算法取得良好的效果和效率。     

基于时间段查询的物化视图策略

物化视图是减少数据仓库中查询响应时间的有效方法.现有的物化视图选择策略主要考虑物化视图的初始选择方法以及动态更新方法.针对某时间段内查询进行物化视图更新的情况考虑不足,在贪心算法以及动态更新算法的基础上,提出了基于时间段内查询的物化视图更新策略.基于时间段查询的物化视图更新策略可充分适应用户需求,提高查询效率.     

数据仓库多源实化视图一致性维护的方法研究

研究了多源单视图下数据仓库实化视图联机维护与查询一致性问题,并对现有算法做了改进.改进后的算法在更改信息中增加时间戳控制数据源端查询的时序,并引入动作列表控制数据仓库端信息提交的顺序,采用补偿思想和应答机制来协调数据源与数据仓库间的数据更新,从而保证了实化视图维护和查询的一致性.     

基于查询和相对收益的物化视图选择算法

为了改进数据仓库中物化视图选择策略,提出了基于查询和视图相对收益的动态选择算法BWCC.算法根据视图的尺寸,视图相对收益以及物化视图每项属性的权重构造初始选择集,并可以由用户设定初始视图权重.用户查询触发算法动态更新视图价值,对物化视图集按照视图相对收益大小排序并进行局部调整,到达全局更新周期时参考历史价值对物化视图集进行重新计算.实验结果表明,该算法相比于传统算法具有更高的查询命中率和适应性.     

基于Hibernate的实化视图维护的研究

在传统的实化视图维护时,数据源把增量数据以XML文档的方式报送给数据仓库,数据仓库从此文档中解析出数据,利用JDBC完成对实化视图的更新。文中提出在数据源把增量数据封装成序列化对象存储于文件中再报送给数据仓库,而数据仓库从文件中读出对象,利用Hibernate直接把对象更新到实化视图。通过两种方案性能的比较,表明后一种方案是可行并且更加高效的。     

数据仓库实化视图的联机维护

数据仓库实化视图和联机维护是数据仓库系统维护的一项关键技术,采用这种技术,能够在不影响用户正常业务的情况下,实现数据仓库的实化视图数据的及时更新、联机分析处理（OLAP）作为数据仓库的一个主要应用,在数据仓库实化视图的联机维护的过程中会面临严重的数据不一致问题。为了解决这个问题,本文引入“维护库”（Maintaining Database)的概念,提出基于事务触发的视图维护算法TVM,通过消息应答机制实现实化视图与数据源的数据一致性。     

数据仓库中物化视图的选择

物化视图是数据仓库中提高查询效率的有力方法，物化视图的选择一直是数据仓库领域的研究热点。通过对星型模型的研究，根据对数据仓库的常用查询及其执行概率，设计出一个候选视图的算法，并详细介绍了线性代价模型，在该模型和候选视图算法基础上，参照文献[4]提出一个改进的物化视图选择贪心算法。     

实体化视图动态选择预处理算法的研究

实体化视图是数据仓库中提高查询效率的有效手段，数据仓库运行期间，需要对其中的实体化视图进行维护，从而保证用户查询的响应时间较短。针对用于实体化视图动态选择的遗传算法收敛速度慢，运行时间长的问题，提出一种预处理算法来计算动态选择实体化视图时遗传算法的初始群体。理论分析和宴验结果表明，该算法可以有效地提高实体化视图动态选择时的寻优收敛速度。     

数据仓库中新型动态实视图选择调整算法

现有的静态实视图选择算法存在搜索空间太大、时间复杂度高以及未考虑查询的概率和分布等诸多缺点,并且当源数据发生变化时,这种变化不能立刻反映到数据仓库,不适合在线运行。针对上述问题在候选视图生成算法和IGA算法的基础上,对算法进行了动态调整,从而得出了新型物化视图动态调整算法CNUMV。经实验证明该算法降低了视图的搜索空间和时间复杂度,更重要的是该算法考虑到了各视图之间相互依赖关系对视图收益的影响,从而使算法能够动态地在线调整,并且用实验证明了CNUMV算法的优越性,达到了预期的目的。     

Detecting redundant materialized views in data warehouse evolution

A data warehouse (DW) can be abstractly seen as a set of materialized views defined over a set of remote data sources. A DW is intended to satisfy a set of queries. The views materialized in a DW relate to each other in a complex manner, through common subexpressions, in order to guarantee high query performance and low view maintenance cost. DWs are time varying. As time passes new materialized views are added in order to satisfy new queries, or for performance reasons, while old queries are dropped. The evolution of a DW can result in a redundant set of materialized views. In this paper, we address the problem of detecting redundant materialized views in a given DW view selection, that is, materialized views that can be removed from DW without negatively affecting the query evaluation or the view maintenance process. Using an AND/OR dag representation for multiple queries and views, we first formalize the process of propagating source relation changes to the materialized views by exploiting common subexpressions between views and by using other materialized views that are not affected by these changes. Then, we provide an algorithm for detecting materialized views that are not needed in the process of propagating source relation changes to the DW. We also show how trivially redundant views can be identified in this process. Finally, we use these results to provide a procedure for detecting materialized views that are redundant in a DW. Our approach considers a broad class of views that includes grouping/aggregation views and is not dependent on a specific cost model.     

实例化视图选择算法PBC

在数据仓库中,如何选择实例化视图是一个重要的问题。针对一类特定的数据立方体,该文提出了一个基于代价策略的实例化视图选择算法。通过对一个实际数据集的分析,发现在数据立方体中有很多父子视图具有相同的体积,其原因是用于产生数据立方体的基本关系的属性之间存在着密切的联系。显然,对这类数据立方体不能像算法PBS那样按照体积的大小来选择要实例化的视图。为此,设计了算法PBC,不但可以快速地给出满足条件的实例化视图集,而且可以准确地找到具有最短平均响应时间的实例化视图集,避免了在用户给出过大的参数时,实例化一些无益于缩短查询响应时间的视图。实验结果表明,算法PBC是有效的。     

实视图动态选择算法中重叠实视图的处理

当采用实视图来提高OLAP系统效率时，由于实视图往往并不恰巧是一个完整的格节点，即实视图是多维数据切片（MRFs），因此系统中会出现大量有重叠数据的实视图，这不仅占用了过多的存储空间。也使得系统根据已有实视图响应用户提交的多维查询变得复杂。以往的实视图动态选择算法没有考虑这种情况的处理。文章结合格模型的概念，提出了合并数据重叠实视图的算法，包括如何判定实视图之间有重叠数据、如何合并有数据重叠的实视图等。     

基于多实化视图增量维护的基库生成算法

数据仓库的维护是数据仓库应用中的一个十分重要的问题,近几年产生了很多的维护算法。已有的维护算法多是针对单个实化视图的维护;或只针对简单SPJ视图的维护;或只针对聚集函数的维护;而实际的数据仓库大多是由包含聚集函数的多个实化视图组成。因此综合考虑包含聚集函数的多个实化视图的维护问题是必然的。文章正是在此情况下提出了一种基于多实化视图增量维护的基库生成算法,在《基于基库的多实化视图增量维护算法》中提出了包含聚集函数的多实化视图的维护算法。     

Finding an efficient rewriting of OLAP queries using materialized views in data warehouses

OLAP queries involve a lot of aggregations on a large amount of data in data warehouses. To process expensive OLAP queries efficiently, we propose a new method to rewrite a given OLAP query using various kinds of materialized views which already exist in data warehouses. We first define the normal forms of OLAP queries and materialized views based on the selection and aggregation granularities, which are derived from the lattice of dimension hierarchies. Conditions for usability of materialized views in rewriting a given query are specified by relationships between the components of their normal forms. We present a rewriting algorithm for OLAP queries that can effectively utilize materialized views having different selection granularities, selection regions, and aggregation granularities together. We also propose an algorithm to find a set of materialized views that results in a rewritten query which can be executed efficiently. We show the effectiveness and performance of the algorithm experimentally.     

数据仓库环境中可扩展的动态物化视图选择方法

数据仓库通常要对大量的数据进行运算,以精简的结果来回答用户的查询,这一特点使得物化视图技术在数据仓库中尤为重要.然而现有支持物化视图自动选择的方法是静态的,它违背了联机分析处理(OLAP)和决策支持系统(DSS)的动态本质.本文提出了可扩展的动态物化视图方法,通过将整个物化视图选择问题(MVS)分解为三个阶段,降低了问题的复杂度,提高了物化视图的有效性.通过动态调整,物化视图能即时适应查询需求.算法复杂度分析证明了方案的可扩展性.动态调整算法模拟实验验证了方案具有很好的自适应性.