Web仓储中的单视图一致性

Web仓储系统使用物化视图的方法管理和维护Web数据，它可以给用户的查询和分析带来更快的效率，特别适合联机分析处理(OLAP)和决策支持。Web环境中数据更新非常频繁，为保持系统的时新性(freshness)，需要不断刷新物化视图，在Web视图刷新的过程中，必须保持物化视图与基础数据之间的一致性(称为单视图一致性，SVC)，否则系统中的数据就会产生错误，进而影响用户的正确使用，围绕这种单视图一致性，针对Web环境的特性，给出了相关保持算法，这些算法具有良好的Web环境适应性和伸缩性。     

Web仓储系统中数据时新性标准及其重要意义

Web仓储是使用物化视图方法有效利用Web信息的重要技术。Web仓储系统进行刷新的目标是追求最大的系统时新性,不同的数据时新性标准,决定着不同的系统刷新方案。文章提出了一种基于“状态-效果”的系统时新性标准。分析和实验都表明,所介绍的标准和传统的基于“状态”的标准有着本质不同,它不仅倾向于用户查询结果的最佳化,视图刷新方案也有较强的可操作性,特别适合于复杂多变的Web环境。     

XQuery物化视图增量更新系统框架的研究

在Web应用中,以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响。为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护方法和系统框架。这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量。介绍了物化视图增量维护的基本原理、系统框架以及设计实现思路。最后通过性能测试,说明这种增量维护系统能够有效地减少传输开销。     

面向XML物化视图远程增量维护的版本管理技术研究

Web应用中以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响.为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护的方法.这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量.重点介绍了增量维护过程中处于核心的版本管理控制方法,用于维护不同时刻数据更新所对应的视图更新程序代码,有效地适应了多用户各种物化视图的维护需求,并且给出了物化视图增量维护的系统框架.     

Web数据集成系统基于QC模型的物化视图选择

在Web数据集成系统中,物化视图能够有效地减少网络传输代价,提高系统的查询效率．如何选择查询进行物化,使得选中的查询满足集成层的空间限制,同时获取最大物化收益,成为集成系统中一个迫切需要解决的问题．传统方法没有考虑到海量XML查询之间的包含关系,其选择的物化视图中可能包含冗余的信息．针对上述问题,提出了①Web数据集成系统中海量查询集合的QC(query containment)模型,该模型能够捕捉查询之间最常见的包含关系;②基于QC模型的物化视图选择算法,算法考虑了物化视图选择相关的主要因素,包括查询提交的频率、空间代价、查询重写能力和查询结果的完备性,提出了查询位图的物化视图组织方式,从而获取更加合理的物化视图选择方案．实验结果证明了该方法的有效性．     

面向区块链的高效物化视图维护和可信查询

区块链具有去中心化、不可篡改和可追溯等特性,可应用于金融、物流等诸多行业.由于所有交易数据按照交易时间顺序存储在各个区块,相同类型的交易数据通常会散布在诸多区块之中,降低了面向历史区块的追溯查询的处理效率.索引构建和物化视图是提升查询性能的两种典型方法,但当待处理数据分布于多个区块时,使用索引无法改善I/O访问效率,而物化视图可有效应对这个问题.然而,由于区块链系统的特点明显区别于关系数据库,传统的面向关系数据库的物化视图技术无法被直接应用到区块链之中.鉴于此,首次提出一种面向区块链的高效物化视图机制,具有如下特征:(1)将视图维护操作与共识过程同时执行,降低该操作对系统性能的影响;(2)使用字典树加快以区块为单位的多物化视图维护进程;(3)以默克尔验证的方式确保物化结果不被恶意篡改,进而确保查询结果可信.所提出的物化视图维护机制已经被集成到一个区块链系统中,并通过实验来验证该机制的高效性.     

Web软件视图状态信息泄露研究与防止

Web软件页面视图是记录Web页面状态的重要信息包。由于采用基于客户端的Base 64编码,很容易信息泄露[1],引发Web攻击。因此,在不同级别构建合理的视图信息泄露防护机制,综合地设计视图状态保护程序模块,对Web系统安全运行将起到至关重要的作用。     

基于多维护策略的物化视图选择方法

物化视图是数据仓库环境中提高OLAP查询效率的重要手段，因此，物化视图的选择是数据仓库设计中重要的决策之一。本文提出的物化视图选择方法目标是选择合适的视图进行物化，使得查询处理的总代价和物化视图的维护代价最低，提出了物化视图收益模型，并在此基础上基于视图的多维护策略提出了物化视图选择的方法：基于增量和重计算的物化视图选择算法IRMVS、基于增量策略的物化视图选择算法IMVS和基于重计算策略的物化视图选择算法RMVs和基于增量策略的物化后代视图选择算法IMDVS，理论分析和实验表明这些算法是有效可行的。     

一种基于中间结果集的有效视图维护算法 *

物化视图的引入大大提高了决策支持和查询的响应效率,如何进行有效的视图维护成为研究的重点。对现有物化视图维护方法进行了分析,提出了利用多个物化视图的中间结果进行视图维护的思想。首先 ,结合单位空间增益、空间限制等因素 ,选择多个物化视图的公共表达式作为中间结果 ,并提出了确定中间结果集的具体算法;其次 ,利用已计算出的中间结果集进行多个视图的维护,给出了具体的维护算法 ;最后,通过分析和实验证明了该算法正确且效率有显著提高。     

信息集成平台中关键技术研究

当前信息集成平台主要包括中介器和物化视图两种方法。该文就物化视图方法中的增量抽取、数据交换以及完整性约束等热门问题进行了探讨,并针对各问题提出了相应的解决方案。     

一种实化视图的合并算法

对于拥有大量实化视图的实际数据库应用系统,提出了视图合并的方法以减少整个视图 的数量,缩减实化视图的搜索空间;还提出了归并树和基于归并树的快速有效的合并算法。实验表 明,实化视图的合并是快速寻找可能响应查询的实化视图的一种有效途径,可以显著改进查询处理的 性能。     

Detecting redundant materialized views in data warehouse evolution

A data warehouse (DW) can be abstractly seen as a set of materialized views defined over a set of remote data sources. A DW is intended to satisfy a set of queries. The views materialized in a DW relate to each other in a complex manner, through common subexpressions, in order to guarantee high query performance and low view maintenance cost. DWs are time varying. As time passes new materialized views are added in order to satisfy new queries, or for performance reasons, while old queries are dropped. The evolution of a DW can result in a redundant set of materialized views. In this paper, we address the problem of detecting redundant materialized views in a given DW view selection, that is, materialized views that can be removed from DW without negatively affecting the query evaluation or the view maintenance process. Using an AND/OR dag representation for multiple queries and views, we first formalize the process of propagating source relation changes to the materialized views by exploiting common subexpressions between views and by using other materialized views that are not affected by these changes. Then, we provide an algorithm for detecting materialized views that are not needed in the process of propagating source relation changes to the DW. We also show how trivially redundant views can be identified in this process. Finally, we use these results to provide a procedure for detecting materialized views that are redundant in a DW. Our approach considers a broad class of views that includes grouping/aggregation views and is not dependent on a specific cost model.     

静态物化视图的动态Cache优化算法

针对静态物化视图集动态适应能力的不足,提出一种动态cache优化算法DCO(dynamic cacheoptimization).它在保持静态算法获取最优物化集能力的基础上,将cache机制直观、快速的动态特性结合进来,以提高数据仓库的动态自适应性能.在cache机制具体实现中提出了一种新颖的空间申请方法,可以充分利用系统剩余空间提高查询响应性能.实验结果在表明算法有效、可行的同时,也显示出该算法可以在一定程度上克服静态物化集存在的空间-性能饱和效应(space-performance saturation effect,简称SPSE),使通过增加物化空间进一步提高数据仓库对查询的响应速度成为可能.     

Incremental Design of a Data Warehouse

A data warehouse (DW) can be seen as a set of materialized views defined over remote base relations. When a query is posed, it is evaluated locally, using the materialized views, without accessing the original information sources. The DWs are dynamic entities that evolve continuously over time. As time passes, new queries need to be answered by them. Some of these queries can be answered using exclusively the materialized views. In general though new views need to be added to the DW.In this paper we investigate the problem of incrementally designing a DW when new queries need to be answered and possibly extra space is allocated for view materialization. Based on an AND/OR dag representation of multiple queries, we model the problem as a state space search problem. We design incremental algorithms for selecting a set of new views to additionally materialize in the DW that: (a) fits in the extra space, (b) allows a complete rewriting of the new queries over the materialized views, and (c) minimizes the combined new query evaluation and new view maintenance cost. Finally, we discuss methods for pruning the search space so that efficiency is improved.     

数据仓库的集合刷新维护算法

本文提出了一种版本控制集合刷新算法ＶＳＲＡ,它采用增量维护和批处理思想,首先根据原始数据的变化集合,计算出实体化视图的刷新集合,然后据此集合实体化视图,同时利用版本控制保持数据仓库与当前数据库状态的一致性,达到对数据仓库联机维护的目的。ＶＳＲＡ不但减少了数据仓库与数据库之间的通信开销,而且提高了实体化视
视图的刷新效率。严格的版本控制使用户可以随时使用数据仓库进行联机分析处理（ＯＬＡＰ）,并得到正确一     

InterBase-KB: integrating a knowledge base system with a multidatabase system for data warehousing

This paper describes the integration of a multidatabase system and a knowledge-base system to support the data-integration component of a data warehouse. The multidatabase system integrates various component databases with a common query language; however, it does not provide capability for schema integration and other utilities necessary for data warehousing. In addition, the knowledge base system offers a declarative logic language with second-order syntax but first-order semantics for integrating the schemes of the data sources into the warehouse and for defining complex, recursively defined materialized views. Furthermore, deductive rules are also used for cleaning, checking the integrity and summarizing the data imported into the data warehouse. The knowledge base system features an efficient incremental view maintenance mechanism that is used for refreshing the data warehouse, without querying the data sources.     

Selective Versioning for Transaction Management in Data Warehousing

To speed up online analytical processing, data warehousing systems materialize views derived from several operational databases. When the operational databases happen to change, the materialized views get stale. To enhance the freshness of the materialized views, this article proposes a new concurrency control scheme that makes use of selective versioning to aid analytical transactions in continuously accessing fresh data.     

数据仓库中实体化视图的一致性维护问题的研究

实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,但在具体的实现过程中面临着实体化视图的一致性维护问题。由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低实体化视图中数据的新鲜度,并影响OLAP查询结果的真实性和有效性。为此本文针对视图的一致性维护问题,介绍了视图中数据的维护方法,同时还就实体化视图结构的维护,提出了使视图重计算代价最小化的解决方案和基本算法。     

Data mining-based materialized view and index selection in data warehouses

Materialized views and indexes are physical structures for accelerating data access that are casually used in data warehouses. However, these data structures generate some maintenance overhead. They also share the same storage space. Most existing studies about materialized view and index selection consider these structures separately. In this paper, we adopt the opposite stance and couple materialized view and index selection to take view–index interactions into account and achieve efficient storage space sharing. Candidate materialized views and indexes are selected through a data mining process. We also exploit cost models that evaluate the respective benefit of indexing and view materialization, and help select a relevant configuration of indexes and materialized views among the candidates. Experimental results show that our strategy performs better than an independent selection of materialized views and indexes.