数据仓库中物化视图维护算法的分析和比较

随着数据源的更新,数据仓库中的物化视图必须得到及时的更新维护.而如何对物化视图进行高效的更新,以满足用户对查询响应速度和查询结果一致性、时新性的要求,这是数据仓库技术中非常复杂和重要的工作,也是一个迫切需要解决的关键性技术问题.以物化视图更新维护问题为主要研究对象,通过对现有各种维护算法深入的研究和分析,系统地进行了比较和总结,最后指出了谊问题深入研究的方向.     

实现物化视图在线维护

数据仓库在线条件下,物化视图的维护是一项非常具有挑战性的工作.从减少不必要的更新和选择适当的更新时机入手进行较为深入的研究,提出机会更新的维护方法OUMV,并将它与延迟更新进行结合,而获得一种更为有效的在线维护算法ODUA,以克服延迟更新算法存在的不足,实现在线条件下物化视图的高效维护.     

一种高效的视图维护算法

通过选择性算法将增量式视图维护和视图自维护有效地融合在一起．同时它还利用相关性算法对不相关更新进行过滤，可以有效地降低消息总数和数据的通信量，从而大大提高视图维护的效率，具有现实的应用意义．     

一种对象实视图的增量维护算法OMVIMA

首先给出了一种面向对象的实视图模型———对象视图模型,可以在数据仓库中描述复杂对象,并有利于前端工具OLAP的实现。然后在此基础上提出了对象视图模型增量维护算法———OMVIMA,该算法能够有效地实现从数据源到数据仓库中对象(数据)的增量抽取和加载等维护工作。最后给出了算法的性能和效率分析,并通过应用实例证明了该算法比基于纯关系实视图的实现方法具有更高的效率。     

A*算法在物理视图维护中的应用

数据仓库是集中了多个远地数据源数据复本的单一数据库,包含有基本关系和物理存储的视图。数据源数据的变化会导致数据仓库中数据不一致,维护视图和基本关系的一致增加了额外的维护代价。有选择地存储一些视图和索引是降低维护成本的有效途径。本文讨论视图索引地选择问题,通过例子提出了利用Ａ＾＊算法寻找最优解的算法。     

数据仓库中多数据源物化视图的一种有效更新算法

数据仓库中存储着大量的汇总数据以支持查询和相关决策的制定,这些汇总数据常常是定义在若干数据源上的物化视图．当数据源发生变化时,物化视图也需要相应的更新,这必然给数据仓库带来庞大的开销,因而如何有效地对物化视图进行更新成为一个非常重要的问题．利用BinPartition算法可以使计算费用达到最低,随后证明了该算法的正确性并分析了其时间复杂性．     

NDSMMV——一种多维数据集物化视图动态选择新策略

物化视图的选择策略是数据仓库研究的重要问题之一.通过深入研究提出了一种多维数据集中物化视图动态选择的新策略--NDSMMV,包括候选视图生成算法CVGA、物化视图选择算法IGA、物化视图调整算法MAMV和物化视图动态调整算法DMAMV.CVGA基于多维数据格生成候选视图集,对候选视图数量进行压缩以减少后续算法的视图空间搜索代价和时间复杂度;IGA基于视图查询、视图维护和存储空间三元评价标准在候选视图集上进行物化视图的选择;MAMV基于物化视图选择过程已选视图的收益变化情况对物化视图进行进一步调整以提高查询的响应性能;DMAMV定时地判断查询视图类型分布是否变化来决定是否进行物化视图的动态调整,从而避免了物化视图集的"抖动".理论分析和实验结果表明该策略是有效可行的.     

基于源视图增量的在线实化视图自维护

借鉴传统的基于基表变化的数据仓库维护方法Strobe，提出一种基于源视图增量的在线实化视图自维护方法，使实化视图的状态保持与底层数据源的一致性。这种方法不仅保持数据仓库数据的一致性，而且还能够加快实化视图维护的速度，减少底层信息源与数据仓库之间的网络通信负担。     

数据仓库中基于实体化辅助视图的视图增量维护

为了加快对大量数据的查询处理速度，通常在数据仓库以实视图方式存储数据，当基础数据发生变化时，这些实视图也必须随着更新，因而视图自维护和一致性维护成为数据仓库的重要问题。本文提出利用视图计算的中间结果创建辅助视图，在数据仓库中进行实体化，采用有效的增量维护算法计算实视图的精确变化，实现数据仓库视图自维护。     

物化视图选择的预处理算法

现有的静态物化视图选择算法的视图搜索代价较大,而导致算法的时间复杂度偏高,不能用于对物化视图进行在线动态调整．提出了一种物化视图选择的预处理算法——PMVS,其中包括用户查询集动态调整算法QSDM、候选视图格构造算法CVLC和候选视图筛选算法CVF,该算法可用做预处理过程对视图数量进行在线压缩,从而降低了静态算法的视图空间搜索代价和时间复杂度．理论分析和实验结果表明该算法是有效可行的．     

基于Hibernate的实化视图维护的研究

在传统的实化视图维护时,数据源把增量数据以XML文档的方式报送给数据仓库,数据仓库从此文档中解析出数据,利用JDBC完成对实化视图的更新。文中提出在数据源把增量数据封装成序列化对象存储于文件中再报送给数据仓库,而数据仓库从文件中读出对象,利用Hibernate直接把对象更新到实化视图。通过两种方案性能的比较,表明后一种方案是可行并且更加高效的。     

数据仓库中新型动态实视图选择调整算法

现有的静态实视图选择算法存在搜索空间太大、时间复杂度高以及未考虑查询的概率和分布等诸多缺点,并且当源数据发生变化时,这种变化不能立刻反映到数据仓库,不适合在线运行。针对上述问题在候选视图生成算法和IGA算法的基础上,对算法进行了动态调整,从而得出了新型物化视图动态调整算法CNUMV。经实验证明该算法降低了视图的搜索空间和时间复杂度,更重要的是该算法考虑到了各视图之间相互依赖关系对视图收益的影响,从而使算法能够动态地在线调整,并且用实验证明了CNUMV算法的优越性,达到了预期的目的。     

基于模式更新的实视图一致性维护策略

通过定义不同数据源更新之间的并发依赖关系和同源依赖关系,利用概念化事务模型可实现松散耦合环境中视图的并发维护。在此基础上,提出VMSCNF算法,解决不稳定网络环境中基于模式更新的实视图一致性维护问题,并通过实验原型验证了算法有效性。     

查询代价视图选择问题的研究及实现

实视图选择问题是数据仓库研究的重要问题之一。数据仓库存储实视图主要为OLAP查询,用户查询响应时间是首要考虑的问题,提出了查询代价视图选择问题,给出了其代价模型。提出了对查询代价视图选择问题利用遗传算法来解决的方法和策略。经实验证明,该算法达到了良好的效果,效率高。     

数据仓库联机维护技术的研究与实现

针对数据仓库联机维护技术提出了一种三层维护体系结构TMA,在其中引进了“数据仓库基库”概念,利用版本控制思想提出了对单视图和多视图的联机维护算法,并实现了一个原型验证系统。     

一种数据仓库联机维护的集合刷新算法

提出了一种版本控制集合刷新算法（VSRA）.它采用增量维护、版本控制和批处理机制保证数据仓库的联机维护和数据一致性.VSRA不仅减少了数据库和数据仓库之间的通信流量,而且提高了实体化视图的刷新效率.用户可以随时使用VSRA进行联机分析处理,并能得到正确的结果.     

国产数据仓库管理系统DM-DW的设计

数据仓库能集成多个异构数据源上的信息，以支持决策分析。本文介绍了在国产数据库管理系统DM3基础上设计的数据仓库管理系统DM－DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术：实化视图的内部表示，实化视图增量维护及优化、监视器的监视方式及策略。     

分布式数据源的实视图维护算法研究

数据仓库作为决策支持系统的集成化数据中心,其数据可以认为是定义在多个不同数据源的实视图集。近年来数据仓库中实视图维护算法的研究激起很多学者的重视。当多个独立的数据源出现并发更新时传统的实视图维护算法可能导致视图维护异常,本文提出了一个双向扫描并行处理实视图维护(BSP)算法,能确保实视图与数据源的完全一致性,并通过实验与其它类似的算法进行了比较,说明本算法具有较高的效率。     

数据仓库环境下的实化视图维护

本文通过示例说明数据仓库环境下实化视图维护存在的数据一致性问题,并分析了产生这一问题的根本原因．文中介绍了一些能解决数据一致性问题的具有代表性的实化视图维护算法,比较了它们之间的差异,最后描述了数据仓库环境下数据一致性程度的四个层次。