一种有效的高维Cube划分与并行分布式处理方法

提出一种高维Cube的划分和并行分布式处理方法PHD_Cube,将高维Cube分割成若干个低维立方体mini-Cube,利用数据网格技术和并行分布式处理系统等并行处理技术来创建这些分割的分段共享mini-Cube及其聚集Cuboids。实验结果表明,PHD_Cube方法的性能优越。     

数据仓库系统中一种改进的维层次聚集Cube存储结构

提出利用Cube中的维层次(dimension hierarchy)聚集技术来创建高性能的维层次聚集Cube(dimension hierarchy aggregate cube, DHAC).充分利用DHAC已保存的维层次信息,对Cube中多维数据的查询和更新效率进行了优化,并且支持Cube的上探、下钻等语义操作.在DHAC中进行数据插入和删除等数据更新时,由下向上用更新前后的差值对受到更新结点影响的所有祖先结点进行增量更新.实现了在插入新维或维层次时不需要重新构建聚集Cube就可以实现Cube的模式更新.对维层次聚集Cube与传统Cube进行了算法性能分析和比较,理论分析和实验结果都表明,所提出的DHAC性能最佳.     

种基于OLAP的Cube存储结构

Cube计算对OLAP有着极其重要的作用。本文根据数据仓库模式的前端用户接口之一OLAP,设计了一个多维的超压缩立方体结构HierarchicalCompressCube(CHCube)HH,并详细讨论了它的创建、增量更新及快速查询算法。在创建CHCube结构时,充分利用了元数据信息,因而在OLAP查询及更新等操作上具有很好的时空有效性。在实际的OLAP应用系统中,使得对多维数据的描述更加灵活,对多维数据的操作更加高效。     

数据仓库系统中层次式Cube存储结构

区域查询是数据仓库上支持联机分析处理(on-line analytical processing,简称OLAP)的重要操作.近几年,人们提出了一些支持区域查询和数据更新的Cube存储结构.然而这些存储结构的空间复杂性和时间复杂性都很高,难以在实际中使用.为此,提出了一种层次式Cube存储结构HDC(hierarchical data cube)及其上的相关算法.HDC上区域查询的代价和数据更新代价均为O(log^dn),综合性能为O((logn)^2d)(使用C_qC_u模型)或O(K(logn)^d)(使用C_qn_q+C_un_u模型).理论分析与实验表明,HDC的区域查询代价、数据更新代价、空间代价以及综合性能都优于目前所有的Cube存储结构.     

GSFC--基于图结构的Free Cube存储方法

free cube利用发掘基本关系表维值之间的蕴含规则,去除data cube中内在冗余,有效减小data cube体积．但是还存在一些值得进一步研究的问题．首先,直接地表示free cube仍然不够精简从而浪费了存储空间．其次,只提到了查询的基本思想,没有给出具体的查询技术．针对这些问题,提出了基于图结构的存储方法GSFC,利用前缀压缩进一步减小free cube体积．同时,该方法结合了存储和索引结构,有效解决free cube的查询问题．最后给出了计算和查询算法,并利用实验来证明算法的有效性．     

一种基于维层次编码的OLAP聚集查询算法

联机分析处理(OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询,在其SQL语句中通常包含多表连接和分组聚集操作,因而减少多表连接和压缩关键字,以及对查询数据进行有效地分组聚集操作,成为ROLAP查询处理的关键问题。提出了一种基于维层次编码的新型预分组聚集算法DHEPGA．DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀,来快速检索出与查询关键字相匹配的维层次编码,求得维层次属性的查询范围,减少了I／O开销,提高了OLAP查询效率。理论分析和实验结果表明,DHEPGA算法性能是非常有效的。     

用于数据仓储的一种改进的多维存储结构

对于数据仓库中数据的物理存储组织,目前主要有关系和多维数组两种方式.这两种方式各有自己的优缺点,从提高联机分析处理(online analytical processing,简称OLAP)查询处理性能的角度出发,多维数组方式相对较优,目的主要是解决数据仓库的多维存储结构问题.针对当前多维数组存储组织方式存在的一些问题,提出了Cube(立方体)逻辑存储和物理存储的概念,首先将原多维数据空间划分为逻辑子空间,逻辑块再划分为多个物理块.在物理存储时充分考虑了多维数组的大容量和高稀疏度的问题,并采用新的多维数组的分布和压缩方法.这些概念和方法有效地解决了维内部层次结构的聚集操作和Cube操作的效率问题,显著提高了涉及维内部层次的聚集查询的响应速度,同时还解决了增量维护的效率问题.     

数据仓库中的一种立方体数据模型

数据仓库和联机分析处理(OLAP)是商业数据处理领域中的两个最重大的新技术。OLAP应用要求对数据仓库中存储的大量数据进行分析,用标准关系数据库技术来实现非常复杂的查询是相当困难的。所以,在数据仓库中,数据被组织成立方体数据模型。该文提出了一种简单、直观的数据立方体模型以及在这个立方体上支持OLAP操作的代数。为复杂的查询提供了简要的表述方法。     

一种基于维层次聚集树的Cube增量更新算法

提出利用Cube中的维层次聚集树（dimension hierarchy aggregate tree,简称DHA-Tree）来对聚集Cube进行增量更新维护,在维层次聚集Cube中进行数据插入和删除等数据更新时,充分利用维层次聚集树中的维层次前缀,由下向上用更新前后的差值对受到更新结点影响的所有祖先结点进行增量更新.在插入新维数据时,在不需要重新构建聚集Cube就可以对聚集Cube进行增量更新,从而减少了Cube的更新时间.对基于维层次聚集树的聚集Cube与传统Cube进行了算法性能分析和比较,结果表明本文所提出的聚集Cube的增量更新算法性能最佳.     

OLAP数据仓库在电网调度决策中的研究与应用

以某电力系统为研究背景,在对原有的数据源进行分析和重新组织的基础上,构建电网调度数据仓库,并建立多维雪花模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现负荷预估和调度的科学化,并说明OLAP数据仓库能够为电网调度管理人员提供有效的决策信息。     

Parallel Data Cube Storage Structure for Range Sum Queries and Dynamic Updates

I/O parallelism is considered to be a promising approach to achieving high performance in parallel data warehousing systems where huge amounts of data and complex analytical queries have to be processed. This paper proposes a parallel secondary data cube storage structure (PHC for short) to efficiently support the processing of range sum queries and dynamic updates on data cube using parallel computing systems. Based on PHC, two parallel algorithms for processing range sum queries and updates are proposed also. Both the algorithms have the same time complexity, O(logdn/P). The analytical and experimental results show that PHC and the parallel algorithms have high performance and achieve optimum speedup.     

一种改进的并行连接算法Diag-Join及其性能分析

介绍了一种改进的并行连接算法：Diag-Join算法,并将它运用到并行环境中。实验表明,Diag-Join算法在内存足够时可以取得最好的性能,即使在内存较小的情况下,仍能得到令人满意的效果。     

分布式并行网络数据存储技术

1 引言到目前为止的信息系统中,都是以服务器和客户端为中心,存贮系统被定位于周边设备。不过,近年来随着社会信息化进程的加快,信息量急剧增加,例如在因特网上存在着数以亿计的WWW网页,而著名的门户网站每个星期要制造出数以T(Tera)Byte计算的信息。此时因特网的心脏部已经不再是“服务器”,实际上已经成为“存贮系统”。与此同时,高速网络技术、数据库技术、人工智能、多媒体技术等的发展和彼此渗透结合,不断扩展着数据存储新的研究和应用领域,为新的     

HDC结构的数据更新算法实现

数据更新是数据仓库上支持联机分析处理的一种重要操作。增量更新是一种有效的数据更新方法。实现了二维层次式数据立方体(Cube)存储结构HDC的建立以及基于此结构的数据增量更新算法。     

步进立方体算法的SOB数据结构的改进

为了对步进立方体算法进行加速,首先分析了在等值面生成时此算法出现蜕变点的原因1,并提出了相应的解决方法;然后论述了一种加速步进立方体方法的数据结构——基于层和对象(SOB)的结构,并同八叉树和行程编码方法进行了比较.实验数据表明当数据体中存在一个对象时,SOB方法和八叉树方法的绘制时间没有大的差别,而当数据体中存在多个对象或等值面时,虽然八叉树方法的绘制时间是SOB方法的几倍,但SOB方法的存储容量要比八叉树方法大一些.可见,在数据量不是很大的情况下,以差别不大的存储空间来换取较少的等值面生成时间是可行的,其比八叉树方法有较高的效率,尤其在用户需要选择感兴趣的对象进行绘制时,比八叉树和行程编码更具有灵活性.     

一种改进的GP-CLIQUE自适应高维子空间聚类算法

GP-CLIQUE算法是基于高斯过程的CLIQUE改进算法,但是此算法中存在固定划分网格和人为输入密度阈值这两个不足.提出了一种改进GP-CLIQUE的算法——REG-CLIQUE算法.该算法利用相对熵对每一维数据进行自适应网格划分,引入二叉树存储信息,删除冗余维,解决了固定划分网格的缺陷,提高了聚类结果的精度;同时,提出密度阈值的计算公式,根据数据集本身用递归算法计算密度阈值,解决了人为输入的不足,大大降低算法对先验知识的依赖性.实验结果表明,该算法在时间、聚类准确度等方面都优于GP-CLIQUE算法和CLIQUE算法.