Web仓储系统中数据时新性标准及其重要意义

Web仓储是使用物化视图方法有效利用Web信息的重要技术。Web仓储系统进行刷新的目标是追求最大的系统时新性,不同的数据时新性标准,决定着不同的系统刷新方案。文章提出了一种基于“状态-效果”的系统时新性标准。分析和实验都表明,所介绍的标准和传统的基于“状态”的标准有着本质不同,它不仅倾向于用户查询结果的最佳化,视图刷新方案也有较强的可操作性,特别适合于复杂多变的Web环境。     

Web仓储系统的视图刷新方案

1 Web仓储的时新性标准 WWW的迅猛发展使其成为全球信息传递与共享日益重要的信息资源。Web仓储使用物化视图构建信息集成系统,是对Web信息进行充分利用的一种有效方法。Web仓储具有高稳定性,查询速度非常快,非常适合决策分析等需要对信息进行深度加工的应用。与使用虚视图方法进行集成的系统不同,Web仓储系统中的首要任务是物化视图的构建和维护,而视图刷新则是物化视图维护工作的主体。     

Web数据集成系统基于QC模型的物化视图选择

在Web数据集成系统中,物化视图能够有效地减少网络传输代价,提高系统的查询效率．如何选择查询进行物化,使得选中的查询满足集成层的空间限制,同时获取最大物化收益,成为集成系统中一个迫切需要解决的问题．传统方法没有考虑到海量XML查询之间的包含关系,其选择的物化视图中可能包含冗余的信息．针对上述问题,提出了①Web数据集成系统中海量查询集合的QC(query containment)模型,该模型能够捕捉查询之间最常见的包含关系;②基于QC模型的物化视图选择算法,算法考虑了物化视图选择相关的主要因素,包括查询提交的频率、空间代价、查询重写能力和查询结果的完备性,提出了查询位图的物化视图组织方式,从而获取更加合理的物化视图选择方案．实验结果证明了该方法的有效性．     

使用模式树和物化视图进行XML查询

使用模式树解析XQuery查询，将经常被查询的XML节点信息存储到物化视图中，利用物化视图和用户查询的交叉部分，直接从物化视图中获取用户的查询内容。对于两者不完全匹配的部分，使用补充规则，使得能部分使用物化视图，以提高查询效率。文章还给出了模式树的匹配算法。     

一种数据仓库联机维护的集合刷新算法

提出了一种版本控制集合刷新算法（VSRA）.它采用增量维护、版本控制和批处理机制保证数据仓库的联机维护和数据一致性.VSRA不仅减少了数据库和数据仓库之间的通信流量,而且提高了实体化视图的刷新效率.用户可以随时使用VSRA进行联机分析处理,并能得到正确的结果.     

基于聚类的动态物化视图选择研究

物化视图选择方法大多是静态的,违背了联机分析处理和决策支持系统的动态本质.现有的动态算法也不能实现完全的动态化,为此提出了一种数据仓库中基于聚类的动态物化视图选择算法CBD-MVS(clustering-based dynamic materialized view selection),该算法采用层次聚类技术对用户查询语句进行聚类,提出视图合并算法建立候选物化视图,利用BPUS(benefit per unit space)算法生成最终应该被物化的视图.实验结果表明该算法是有效可行的,由于采用聚类技术,实现了完全的动态化.     

数据仓库环境中可扩展的动态物化视图选择方法

数据仓库通常要对大量的数据进行运算,以精简的结果来回答用户的查询,这一特点使得物化视图技术在数据仓库中尤为重要.然而现有支持物化视图自动选择的方法是静态的,它违背了联机分析处理(OLAP)和决策支持系统(DSS)的动态本质.本文提出了可扩展的动态物化视图方法,通过将整个物化视图选择问题(MVS)分解为三个阶段,降低了问题的复杂度,提高了物化视图的有效性.通过动态调整,物化视图能即时适应查询需求.算法复杂度分析证明了方案的可扩展性.动态调整算法模拟实验验证了方案具有很好的自适应性.     

数据仓库中实体化视图的一致性维护问题的研究

实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,但在具体的实现过程中面临着实体化视图的一致性维护问题。由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低实体化视图中数据的新鲜度,并影响OLAP查询结果的真实性和有效性。为此本文针对视图的一致性维护问题,介绍了视图中数据的维护方法,同时还就实体化视图结构的维护,提出了使视图重计算代价最小化的解决方案和基本算法。     

数据仓库的集合刷新维护算法

本文提出了一种版本控制集合刷新算法ＶＳＲＡ,它采用增量维护和批处理思想,首先根据原始数据的变化集合,计算出实体化视图的刷新集合,然后据此集合实体化视图,同时利用版本控制保持数据仓库与当前数据库状态的一致性,达到对数据仓库联机维护的目的。ＶＳＲＡ不但减少了数据仓库与数据库之间的通信开销,而且提高了实体化视
视图的刷新效率。严格的版本控制使用户可以随时使用数据仓库进行联机分析处理（ＯＬＡＰ）,并得到正确一     

一种改进的物化视图动态批量调整算法

针对物化视图集实时调整容易出现"抖动",物化视图集不稳定的缺点,本文提出一种改进的物化视图动态批量调整算法,根据在一个统计周期内收集到的查询调整物化视图集.算法先判断查询集合是否满足调整条件,若满足则根据视图访问频率生成候选视图,再调用物化视图批量选择算法;若不满足则调用物化视图集动态调整算法.该算法不需要频繁计算,而且查询集合能反映用户的查询趋势,调整后的物化视图集对用户查询具有较高的适应性.文中实验从执行时间、物化视图集整体性能等方面验证了该算法的有效性.     

数据仓库中基于实体化辅助视图的视图增量维护

为了加快对大量数据的查询处理速度，通常在数据仓库以实视图方式存储数据，当基础数据发生变化时，这些实视图也必须随着更新，因而视图自维护和一致性维护成为数据仓库的重要问题。本文提出利用视图计算的中间结果创建辅助视图，在数据仓库中进行实体化，采用有效的增量维护算法计算实视图的精确变化，实现数据仓库视图自维护。     

XML物化视图远程增量维护在试验任务数据接口同步中的应用

在试验任务中引入XML文档数据接口,一方面提高了远程数据查询分析的效率,另一方面也产生了XML物化视图的维护带来的高系统开销的问题.针对该问题,采用XML物化视图远程增量维护的方法,通过系统原型设计、系统部署、同步机制,可有效地实现试验任务数据接口同步.结果表明,在不影响试验任务数据处理与传输的实时性及可靠性的条件下,XML物化视图远程增量维护有效地实现了指挥显示系统数据接口的一致性.     

Incremental Design of a Data Warehouse

A data warehouse (DW) can be seen as a set of materialized views defined over remote base relations. When a query is posed, it is evaluated locally, using the materialized views, without accessing the original information sources. The DWs are dynamic entities that evolve continuously over time. As time passes, new queries need to be answered by them. Some of these queries can be answered using exclusively the materialized views. In general though new views need to be added to the DW.In this paper we investigate the problem of incrementally designing a DW when new queries need to be answered and possibly extra space is allocated for view materialization. Based on an AND/OR dag representation of multiple queries, we model the problem as a state space search problem. We design incremental algorithms for selecting a set of new views to additionally materialize in the DW that: (a) fits in the extra space, (b) allows a complete rewriting of the new queries over the materialized views, and (c) minimizes the combined new query evaluation and new view maintenance cost. Finally, we discuss methods for pruning the search space so that efficiency is improved.     

实例化视图选择算法PBC

在数据仓库中,如何选择实例化视图是一个重要的问题。针对一类特定的数据立方体,该文提出了一个基于代价策略的实例化视图选择算法。通过对一个实际数据集的分析,发现在数据立方体中有很多父子视图具有相同的体积,其原因是用于产生数据立方体的基本关系的属性之间存在着密切的联系。显然,对这类数据立方体不能像算法PBS那样按照体积的大小来选择要实例化的视图。为此,设计了算法PBC,不但可以快速地给出满足条件的实例化视图集,而且可以准确地找到具有最短平均响应时间的实例化视图集,避免了在用户给出过大的参数时,实例化一些无益于缩短查询响应时间的视图。实验结果表明,算法PBC是有效的。     

物化视图增量保持的改进算法

对于定义在若干基本表上的物化视图，当基本表发生变化时，物化视图也需要相应地更新，如何有效地进行物化视图的增量保持是一个非常重要的问题。文章提出了一种在O(nlogn)时间内构造最优Delta传播树的二分贪心算法，并给出了算法正确性证明。     

A heuristic approach to selecting views for materialization

XML data warehouses are becoming more popular as data is harvested from the web or as output from web services. As these warehouses tend to grow significantly over time, various techniques for expediting queries have been developed. One such technique is to materialize some or all of the queries in advance of query processing. These views are then subject to change either when underlying data changes or view definitions themselves are modified by users. The work in this paper focuses on changes to view definitions or view adaptation as it is known. Our approach is to segment the materialized view into fragments to minimize the effect of view changes. One crucial aspect to this approach is how to select the best fragments for materialization. In this paper, we introduce a new approach to selecting fragments based on heuristics derived from costs associated with the view graph. Copyright © 2013 John Wiley & Sons, Ltd.     

数据仓库多视图的并发控制分析

对传统的２ＰＬ协议冲突操作概念加以扩展,本文提出用依赖图方法判断数据仓库实例化视图调度是可串行化．数据仓库的不同实例化视图访问同一数据源时,这些视图之间的一致性可能得不到保证．本文设计了多视图一致性算法－画笔算法．该算法具有简单性和可扩展性．     

数据仓库中多数据源物化视图的一种有效更新算法

数据仓库中存储着大量的汇总数据以支持查询和相关决策的制定，这些汇总数据常常是定义在若干数据源上的物化视图．当数据源发生变化时，物化视图也需要相应的更新，这必然给数据仓库带来庞大的开销，因而如何有效地对物化视图进行更新成为一个非常重要的问题．利用BinPartition算法可以使计算费用达到最低，随后证明了该算法的正确性并分析了其时间复杂性．     

分布式数据源的实视图维护算法研究

数据仓库作为决策支持系统的集成化数据中心,其数据可以认为是定义在多个不同数据源的实视图集。近年来数据仓库中实视图维护算法的研究激起很多学者的重视。当多个独立的数据源出现并发更新时传统的实视图维护算法可能导致视图维护异常,本文提出了一个双向扫描并行处理实视图维护(BSP)算法,能确保实视图与数据源的完全一致性,并通过实验与其它类似的算法进行了比较,说明本算法具有较高的效率。     

保持时新性的WebView自适应物化和维护策略

WebView是指存储在WebRepository中的Web页面。WebView对于很多系统来说都非常有用,它可以给用户的查询和分析带来更快的效率,特别适合联机分析处理(OLAP)和决策支持。然而当使用Repository中的信息为用户服务时,笔者无法保证所提供的信息是最新的(与源数据保持up-to-date)。在这种情况下,虽然把这些信息返回给用户,实际上却不知道这些信息是否可以满足用户的需要。为了提高数据质量,系统需要尽可能提高数据时新性(Freshness),保持Repository与数据源相一致。该文围绕数据时新性,对系统存储哪些页面,这些页面又如何更新和维护才能取得系统能力和效率之间的平衡进行讨论,并提出一种基于效益的时新性保持方法(Profit-basedFreshness-keepingMethod,PFM),同时给出了它的近似解。实验结果说明,该方法在系统效率和数据时新性综合评估方面优于传统方法,同时对Web环境具有良好的适应性。