基于动态镜像的实时数据仓库存取预处理技术研究

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(Fly-Weight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。     

数据仓库中汇总表和数据立方体维护的研究

商务数据仓库系统中,数据分析人员对数据仓库的抽取查询越来越频繁。使用什么样的技术来提高数据仓库的查询速度以及维护数据仓库是一个重大技术问题。本文提出汇总delta表的概念,将数据的改变划分为增值和更新两个阶段,缩短了以往在更新数据时数据仓库锁定的时间,提高了查询效率。同时,通过数据立方体的构建,更直观的呈现出数据分析模型。     

联机分析在公共财政管理中的应用

本文提出利用联机分析技术将公共财政以及实时数据仓库中的业务数据集成,来建立公共财政管理系统。决策者通过OLAP实现多维数据分析,对数据仓库中的数据进行查询和在线分析,快速发现数据之间的规律;利用数据挖掘工具对数据仓库中的数据进一步发掘出有用的知识;甩决策模型库来实现多个广义模型进行组合辅助决策,更加有效地、实时地决策分析。     

基于时间戳实化视图动态维护技术的研究

由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据变化的一致性,否则会降低实体化视图中数据的新鲜度,并影响OLAP查询结果的真实性和有效性.为此,本文提出了基于时间戳的动态视图维护技术.该技术采用版本链控制技术,通过时间戳的控制进一步使视图更新和查询的同步进行,有效地解决了由于OLTP更新事务和OLAP事务同时访问数据所发生冲突的问题,在满足视图联机实时维护的同时,更好的提高了数据仓库的新鲜度和OLAP的查询效率.     

基于大学生精准资助的多源异构数据仓库系统研究

本文针对大学生精准资助设计多源异构数据仓库系统。首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析。此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平。     

实时数据仓库的一种实现方法①

为了改善传统的数据仓库只能分析历史数据,数据抽取周期过长以及无法满足实时分析的要求等缺点,提出了一种实时数据仓库的装载方法,该方法将采取复制表结构、设置查询限制等条件实现在数据仓库中数据持续高效的装载,并且阐述了如何使用数据仓库架构以及客户终端OLTP查询来实现实时数据的整合。     

Web数据仓库的异步迭代查询处理方法

数据仓库信息量的飞速膨胀对数据仓库提出了巨大挑战.如何提高Web环境下数据仓库的查询效率成为数据仓库研究领域重要的研究问题.对Web数据仓库的体系结构和查询方法进行了研究和探讨.在分析几种Web数据仓库实现方法的基础上,提出了一种Web数据仓库的层次体系结构,并在此基础上提出了Web数据仓库的异步迭代查询方法.该方法充分利用了流水线并行技术,在Web数据仓库的查询处理过程中不同层次的结点以流水线方式运行,并行完成查询的处理,提高了查询效率.理论分析表明,该方法可以有效地提高Web数据仓库的查询效率.     

数据仓库环境中可扩展的动态物化视图选择方法

数据仓库通常要对大量的数据进行运算,以精简的结果来回答用户的查询,这一特点使得物化视图技术在数据仓库中尤为重要.然而现有支持物化视图自动选择的方法是静态的,它违背了联机分析处理(OLAP)和决策支持系统(DSS)的动态本质.本文提出了可扩展的动态物化视图方法,通过将整个物化视图选择问题(MVS)分解为三个阶段,降低了问题的复杂度,提高了物化视图的有效性.通过动态调整,物化视图能即时适应查询需求.算法复杂度分析证明了方案的可扩展性.动态调整算法模拟实验验证了方案具有很好的自适应性.     

基于关系数据库的ROLAP中实视图的选择

联机分析处理(OLAP)是伴随着数据仓库出现的一种数据分析处理技术,其特点是使分析人员能够更充分地利用数据仓库中的数据资源,从多种角度、多个层次,快速地构建易为用户理解的并全面反映企业行为特征的数据快照,从而可使用户更加深入地了解企业的发展状况和趋势。ROLAP是OLAP中使用最广泛的一种类型。文中对影响ROLAP查询效率的关键技术进行了讨论,提出了一个改进的实视图动态选择算法。该算法从存储空间、查询频率、更新代价三个方面综合评价每个实视图,有效地保证了ROLAP查询的响应时间。     

基于关系数据库的ROLAP中实视图的选择

联机分析处理（OLAP）是伴随着数据仓库出现的一种数据分析处理技术,其特点是使分析人员能够更充分地利用数据仓库中的数据资源,从多种角度、多个层次,快速地构建易为用户理解的并全面反映企业行为特征的数据快照,从而可使用户更加深入地了解企业的发展状况和趋势。ROLAP是OLAP中使用最广泛的一种类型。文中对影响ROLAP查询效率的关键技术进行了讨论,提出了一个改进的实视图动态选择算法。该算法从存储空间、查询频率、更新代价三个方面综合评价每个实视图,有效地保证了ROLAP查询的响应时间。     

一种基于信息动态打包的数据仓库的设计方法

叙述了数据仓库的信息打包法的相关技术,提出一种基于动态打包的数据仓库设计方法,该方法采用了维度和类别动态重技术,提供可以个修改的数据存储方式,从而使所设计的数据仓库具有真正自适应的数据结构,较好地满足企业未来查询和分析的需要。     

用于聚集值近似查询的基于密度的树索引结构

如何快速有效地对数据立方体上的聚集查询给出近似的回答,是数据挖掘和数据仓库研究领域中的核心问题之一。现有大多数聚集查询算法在同一个数据立方体上只能支持某种特定的而非多种类型的聚集查询。本文给出了一种新的框架AdenTS,即基于密度的自适应树结构,它可以回答同一数据立方体上的各类聚集查询,也提出了一些近似和启发式技术,改善了查询结果和精度。实验结果表明,这种方法在支持的查询种类和性能上是更好的。     

RB+树——一种列存储数据的树型索引结构

索引技术是提高海量数据查询效率的关键技术之一.传统索引如B+树等在更新事务环境中具有较好的性能,然而在面向列存储的分析型数据仓库查询环境下,时间空间代价较大.根据列存储数据仓库查询环境的特点,提出一种新型树型索引--RB+树(reduced B+-tree).该索引对传统B+树结构进行了改进,并结合自底向上创建索引树的方法,使得索引的空间利用率、创建和查找效率得到显著的提高.进一步将RB+树应用于列存储数据仓库中,建立了行号索引、列值索引,特别地为解决星型模型中多表连接问题提出连接索引,有效地提高了列存储数据仓库中元组重构与多表连接的效率.在数据仓库基准数据集SSB上的实验验证了方法的有效性.     

数据仓库中实现图的建立与维护

数据仓库技术是分布式异构数据库系统集成的一种较为先进的解决方法,实视图是数据仓库中存储的主要信息实体。实视图不仅是数据仓库中的数据的基本组织方式,而且采用实现图来定义和存储一些经过抽取及综合计算的数据,将有利于提高数据仓库的查询性能。实视图的建立和更新维护是其实现的主要技术问题,本文提出的实现图增量维护法和实现图版本链控制法,可以较好地满足不同种类实视图的实时更新维护。     

基于层次位图连接索引的数据仓库查询优化

在数据仓库的联机分析处理的查询处理中,经常会涉及到大量数据的复杂即席查询.用户通过提交联机分析处理查询对数据进行分析和决策支持,这通常需要较快的查询响应速度.因此,提高联机分析处理的查询性能就成为了数据仓库领域的关键问题.为了提高数据仓库的查询性能,结合维表层次结构的特点,提出一种将分段位图索引和位图连接索引有效结合的方法.实验证明,该方法节省了位图索引的储存空间,减少了I/O开销,有效地提高了数据仓库的查询效率.     

基于索引视图实现动态数据仓库的实时数据加载

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要进行战术性的分析,数据仓库中必须有动态变化的最新数据,实现数据仓库的“动态”特性的关键又在于实现“动态数据获取”,即实现实时数据捕获加载。提出了基于索引视图实现动态数据仓库的实时数据加载,并通过实验验证了其可行性。该方法对进一步深入研究实时数据捕获技术有一定的借鉴作用。     

实时数据仓库中支持QoS的更新和查询任务调度

实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.     

RFID数据仓库上的多时空粒度近似聚集查询

随着物联网的发展,以RFID为代表的物联网传感器数据的存储、查询、处理等课题正成为研究的热点。结合数据仓库时空维度和列存储的思想,建立了一种列式RFID数据仓库,并根据RFID的时空特性,设计了一种支持连续聚集查询的多时空粒度数据结构和快速更新算法。它去除了传统聚集查询的部分冗余操作,适合处理大规模RFID数据仓库上的连续实时聚集查询。通过实验证明,该模型与算法在一些典型的物联网应用中取得了较高的效率,可广泛地适用于海量RFID数据仓库上的OLAP分析。     

用字典法压缩数据仓库数据方案

数据仓库中的数据量是呈几何级数增长的。数据量的急剧增长严重影响数据仓库系统的性能,降低数据库系统的查询效率。文章在分析数据仓库数据特性的基础上,提出了使用字典法压缩数据仓库数据的方案。在对数据进行压缩的同时,也极大地改善了数据库系统的性能。     

实时数据仓库技术的研究

实时数据仓库是数据仓库技术的一个新的发展方向.本文研究总结了实时数据仓库的实现技术和体系结构,并重点研究了数据的实时更新技术,在此基础上提出了一种实用性较强的实时数据仓库的实现方法.