支持非覆盖维的扩展多维数据模型

非覆盖维等复杂结构维的处理一直都是数据仓库领域的难题,本文在详细分析非覆盖维特性的基础上,提出了一个扩展的多维数据模型,改变了传统的级别间的映射关系的定义方式,定义了从父级别到子级别分区的映射关系,从而实现了对非覆盖维和非平衡维的支持,并能够完整地表达各种复杂维层次结构语义.同时,基于DAG图描述的维层次结构,定义了基于该多维模型的立方体代数和OLAP操作.将多维数据库概念模型中的维与度量的转换操作引入到OLAP操作集合中,使其支持复杂维的转化操作,进而丰富和增强基于该模型的OLAP系统的分析能力.     

基于层次有序维的分组聚集算法

在联机分析处理(OLAP)中,有效地维度模型对海量数据的即席复杂分组聚集查询起着关键的作用.在偏序和映射的基础上,通过定义层次有序维,提出一种基于层次有序维的分组聚集算法.该算法利用维属性之间的聚集关系,通过约束层次链中的元素次序,实现了分组聚集计算中多表连接转换为维范围的查询,提高了连接和聚集效率.最后,实验结果验证了该算法的有效性.     

MOLAP带层次的维聚集实现

随着数据库技术的广泛应用和发展,产生了数据仓库、联机分析处理等一系列新技术,并且在实践中得以逐步应用.对于不同类型的联机分析处理技术的研究应用,以关系型的居多,而多维型的研究应用相对较少.通过对多维联机分析处理进行的研究可知,维聚集的实现是一个重点,而带层次的维聚集的实现是一个难点.探讨了多维联机分析处理带层次的维聚集的实现,在进行了分析的基础上,给出了类的设计,之后根据算法用代码予以实现,通过实例进行了验证.     

一种基于维层次编码的OLAP聚集查询算法

联机分析处理(OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询，在其SQL语句中通常包含多表连接和分组聚集操作，因而减少多表连接和压缩关键字，以及对查询数据进行有效地分组聚集操作，成为ROLAP查询处理的关键问题。提出了一种基于维层次编码的新型预分组聚集算法DHEPGA．DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀，来快速检索出与查询关键字相匹配的维层次编码，求得维层次属性的查询范围，减少了I／O开销，提高了OLAP查询效率。理论分析和实验结果表明，DHEPGA算法性能是非常有效的。     

多维数据模型中维层次结构的自动生成算法及其实现

多维数据模型是数据仓库及联机分析处理的核心,目前主要有两种:星型模型和雪花模型。维层次结构是多维数据模型最重要的概念之一。该文提出了一个算法,它能够在雪花模型中根据维表间的依赖关系构造维的层次结构。指出使用该算法的前提并进行了证明,随后实现了算法。文章最后提出了在星型模型中构造维的层次结构的基本过程。     

数据仓库中维的建模和查询

维是数据仓库的重要组成部分，也是OLAP的主要查询对象，但标准的星形／雪花模型对实际应用中维的建模存在明显缺陷，而且SQL语言对维实体、维层次结构不能提供直接、有效的支持，使得OLAP查询的表达较为繁琐、冗长。为此，提出了一个基于关系数据库的SQL（D）数据模型，它给出了层次链、层次树、维的正式定义，支持不平衡、异构的维层次结构；并对SQL作了相应的扩充，支持维的定义、维层次比较、维的引用和维聚集层次的指定，使得原先冗长、复杂的OLAP查询表达式变得简洁、易于理解。最后对扩充的语义给出实现算法。     

一种不完全维组合格及其增量构造算法

数据仓库多维模型中的维结构具有层次性的特点,并且动态决策分析也有在维的不同层次间切换的需求,因此维在逻辑上一般采用层次结构来组织．传统的代数格模型只支持单维单关键字,维组合格模型则对代数格模型进行了扩展,能够支持单维复合关键字．进一步改进了维组合格模型,引入了不完全维组合格的概念,以实现在多维数据立方体的维模型建模阶段对立方体视图空间的约简．给出了维组合格上的基本操作,并应用这些基本操作实现了一种由维格增量构造不完全维组合格的算法．     

一个面向OLAP应用的多维数据查询语言及其在对象关系数据库中的实现

该文提出了一个面向联机分析处理(OLAP)的多维查询语言,为多维查询的方便表达提供了一个直观的高层界面。这一查询语言的独特之处在于能够很好地支持具有继承关系的维层次结构,这种维层次结构在传统的关系型的ROLAP中是难于用星型/雪花模式表示的。文章将这一查询语言实现于对象关系数据库之上。并通过实例进行说明,对象关系数据库所特有的基本类型扩展能力、复杂对象的表示以及继承机制,使得对多维数据的描述更加灵活、多维操作更为高效。     

多维数据建模在短消息通信数据分析中的应用

联机分析处理（OLAP）是支持复杂的数据分析需求的重要技术。将OLAP多维数据建模应用于电信行业的短消息通信业务。针对特定的短消息通信的数据分析需求．设计短消息通信数据分析系统的多维模型,并利用SQL Server以及相关工具成功地实现该系统。     

数据仓库系统中一种改进的维层次聚集Cube存储结构

提出利用Cube中的维层次（dimension hierarchy）聚集技术来创建高性能的维层次聚集Cube（dimension hierarchy aggregate cube,DHAC）．充分利用DHAC已保存的维层次信息,对Cube中多维数据的查询和更新效率进行了优化,并且支持Cube的上探、下钻等语义操作．在DHAC中进行数据插入和删除等数据更新时,由下向上用更新前后的差值对受到更新结点影响的所有祖先结点进行增量更新．实现了在插入新维或维层次时不需要重新构建聚集Cube就可以实现Cube的模式更新．对维层次聚集Cube与传统Cube进行了算法性能分析和比较,理论分析和实验结果都表明,所提出的DHAC性能最佳．     

一种数据仓库的多维数据模型

数据模型是数据仓库研究的核心问题之一.很多研究表明,传统数据模型(如实体联系模型和关系模型)不能有效地表示数据仓库的数据结构和语义,也难以有效地支持联机分析处理(on-line analysis processing,简称OLAP).最近,人们提出了几种多维数据模型.但是,这些多维数据模型在表示数据仓库的复杂数据结构和语义以及OLAP操作方面仍显不足.该文以偏序和映射为基础,提出了一种新的多维数据模型.该数据模型能够充分表达数据仓库的复杂数据结构和语义,并提供一个以OLAP操作为核心的操作代数,支持层次结构间的复杂聚集操作序列,能够有效地支持OLAP应用.该数据模型支持聚集函数约束的概念,提供了表示层次结构间聚集函数约束的机制.     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

Discovering OLAP dimensions in semi-structured data

OLAP cubes enable aggregation-centric analysis of transactional data by shaping data records into measurable facts with dimensional characteristics. A multidimensional view is obtained from the available data fields and explicit relationships between them. This classical modeling approach is not feasible for scenarios dealing with semi-structured or poorly structured data. We propose to the data warehouse design methodology with a content-driven discovery of measures and dimensions in the original dataset. Our approach is based on introducing a data enrichment layer responsible for detecting new structural elements in the data using data mining and other techniques. Discovered elements can be of type measure, dimension, or hierarchy level and may represent static or even dynamic properties of the data. This paper focuses on the challenge of generating, maintaining, and querying discovered elements in OLAP cubes.We demonstrate the power of our approach by providing OLAP to the public stream of user-generated content on the Twitter platform. We have been able to enrich the original set with dynamic characteristics, such as user activity, popularity, messaging behavior, as well as to classify messages by topic, impact, origin, method of generation, etc. Knowledge discovery techniques coupled with human expertise enable structural enrichment of the original data beyond the scope of the existing methods for obtaining multidimensional models from relational or semi-structured data.     

向量计算Array OLAP查询处理技术

多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置。多核处理器遵循以LLC（Last Level Cache,最后一级cache）大小为中心的优化技术,而众核处理器,如Phi、GPU协处理器,则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计。随着处理核心数量的增长,计算框架更倾向于面向大规模处理核心的、代码执行效率高并且扩展性强的设计思想。提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP,简化OLAP的存储模型和查询处理模型。在Array OLAP计算框架中,维表规范化为基于向量的维过滤器,事实表规范化为带有多维索引的度量属性。通过多维索引计算,一个多维查询被简化为事实表上的向量索引扫描并根据度量表达式进行聚集计算。规范化的向量查找和向量索引扫描具有较好的代码执行效率,并且阶段化的处理模型更好地适应不同的计算平台,将计算阶段分配给最适合的计算平台。同时,Array OLAP是一种面向数据仓库模式特点的设计,向量处理模型设计简单,对于数据仓库维表较小且增长缓慢的特点具有较好的效率。描述了在不同平台上的Array OLAP计算框架并且通过基准测试评估Array OLAP的性能,通过与当前的内存分析型数据库的性能对比,Array OLAP性能超过主流的内存分析型数据库并且可以平滑地迁移到新的硬件平台。     

Specifying OLAP Cubes on XML Data

On-Line Analytical Processing (OLAP) enables analysts to gain insight about data through fast and interactive access to a variety of possible views on information, organized in a dimensional model. The demand for data integration is rapidly becoming larger as more and more information sources appear in modern enterprises. In the data warehousing approach, selected information is extracted in advance and stored in a repository, yielding good query performance. However, in many situations a logical (rather than physical) integration of data is preferable. Previous web-based data integration efforts have focused almost exclusively on the logical level of data models, creating a need for techniques focused on the conceptual level. Also, previous integration techniques for web-based data have not addressed the special needs of OLAP tools such as handling dimensions with hierarchies. Extensible Markup Language (XML) is fast becoming the new standard for data representation and exchange on the World Wide Web. The rapid emergence of XML data on the web, e.g., business-to-business (B2B) e-commerce, is making it necessary for OLAP and other data analysis tools to handle XML data as well as traditional data formats.Based on a real-world case study, this paper presents an approach to specification of OLAP DBs based on web data. Unlike previous work, this approach takes special OLAP issues such as dimension hierarchies and correct aggregation of data into account. Also, the approach works on the conceptual level, using Unified Modeling Language (UML) as a basis for so-called UML snowflake diagrams that precisely capture the multidimensional structure of the data. An integration architecture that allows the logical integration of XML and relational data sources for use by OLAP tools is also presented.     

LC模型简介及其在OLAP层次分析上的应用

OLAP技术为企业数据分析提供了极大的便利,LC模型是一种用于进行OLAP建模的软件数据模型。本文对LC模型进行了简要的介绍,把OLAP的层次分成了对称层次与非对称层次,并使用LC模型对两种层次进行了一定的解析,这样。使我们加深了对OLAP层次的了解,有利于OLAP的建模。     

属性维概念及其操作的研究

Dimension member attribute is used to describe the property of dimension members. It is not fully understood and well defined in OLAP research area.This paper focuses on a special kind of dimension member attributes,which can be used as dimensions by themselves. We call them attribute dimensions.In order to facilitate this kind of necessity of multidimensional data modeling in many real-world applications,the traditional multidimensional structure is extended and a group of operations are given to formulate corresponding multidimebsuibak qyerues.