函数依赖对商覆盖立方体生成效率的影响

提出一种新的商覆盖立方体生成算法DDFS。指出在基本表维属性之间可能存在函数依赖;分析了这种函数依赖对DFS算法的影响;按照决定子在前的原则调整了DFS算法对基本表进行水平分割时所依据的维属性的顺序;对于存在函数依赖的维属性对,节省了判断是否存在类函数依赖的操作。采用weather数据集进行的实验结果表明,采用DDFS计算商覆盖立方体所需时间仅为采用DFS算法时的76%。得出DDFS较之DFS可以缩短商覆盖立方体生成时间。     

浓缩商覆盖立方体技术研究

提出一种新的浓缩商覆盖立方体的数据立方体压缩技术,在商覆盖立方体中省略了部分只依据基本表即可快速应答查询的基本单元组,从而缩小其体积。给出浓缩商覆盖立方体的生成算法和查询算法。实验结果表明,浓缩商覆盖立方体的元组数量仅为原商覆盖立方体的62%,验证了浓缩商覆盖立方体技术的有效性。     

一种新的封闭立方体查询算法

提出了一种新的封闭立方体查询算法,缩小了查询时需搜索的记录的范围,提高了查询效率。给出了相关的理论分析和证明,并给出相关的封闭掩码集生成算法。实验结果和理论分析证明了新算法是有效的,在75%的情况下能将需查询范围包含的记录数减少到传统方法的92%左右,提高了对封闭立方体的查询效率。     

压缩数据集上的快速Cube计算方法

现有压缩数据集上的Cube计算方法只适用于稀疏数据,针对该问题,设计一种用于压缩常量和基本单一元组的压缩方法并提出一种新的Cube算法。该算法在计算过程中无需解压缩、计算速度快、数据压缩率高,适用于冰山计算。实验结果表明,与自底向上立方体算法相比,新算法计算速度快、所需存储空间小。     

基于Double Marching Cubes的表面重建算法

为克服基于Marching Cubes的表面重建算法在绘制三维表面时因二义性面的存在而使生成的表面网格易出现错误连接而形成层间空洞的不足,提出了基于Double Marching Cubes的表面重建算法.该算法采用双立方体体素作为生成表面网格的基本单元,以双立方体的12个特征点的标记情况为依据,建立一个双立方体体素索引表,通过查找索引表的方法绘制三维表面.该算法在建立双立方体索引表时就排除掉了二义性面的所有错误连接方式,因而生成的表面网格不会出现层间空洞,避免了为消除二义性面所进行的复杂计算,加快了表面重建的速度.     

基于Map/Reduce的外壳片段立方体并行计算方法

针对高维、维度分层的大数据集,提出一种基于Map/Reduce框架的并行外壳片段立方体构建算法。算法采用Map/Reduce框架,实现外壳片段立方体的并行构建与查询。构建算法在Map过程中,计算出各个数据分块所有可能的数据单元或层次维编码前缀;在Reduce过程中,聚合计算得到最终的外壳片段和度量索引表。实验证明,并行外壳片段立方体算法一方面结合了Map/Reduce框架的并行性和高扩展性,另一方面结合了外壳片段立方体的压缩策略和倒排索引机制,能够有效避免高维数据物化时数据量的爆炸式增长,提供快速构建和查询操作。     

Star Cube--一种高效的数据立方体实现方法

一个具有n个维的数据立方体有2^n个视图,视图越多,用于维护数据立方体的时间也就越长。通过将维分成划分维和非划分维,数据立方体可以转换成star cube．stal cube由一个综合表和那些仅包含划分维的视图组成。star cube使用前缀共享和元组共享技术不仅减少了所需的存储空间,还大大减少了计算和维护时间。在把一个分片限制在一个I/O单位的条件下,star cube的查询响应时间与数据立方体基本相同。实验结果也表明,star cube是一种在时空两方面均有效的数据立方体实现技术。     

多路方体聚集完全立方体计算算法

数据立方体的预计算对于提高联机分析处理性能至关重要。在借鉴多路数组聚集完全立方体计算算法的基础上,提出了利用数据结果集驱动的完全立方体计算算法。算法在扫描完成一个方体的同时,完成方体沿各个维攀升形成的多个新方体的聚集值的计算,从而完成多路方体聚集。该算法支持大数据量立方体的计算。应用结果表明,算法可行,且易于实现。     

集合上封闭立方体的计算

随着原始数据记录数的增多,数据立方体在存储空间和计算时间上的消耗都越来越大,封闭立方体是减少数据立方体的存储空间的有效手段。提出一种新的封闭数据立方体的生成算法,针对大量的原始数据集,通过预处理,采用类似BUC算法的计算顺序自上而下递归输出封闭单元,使用实际数据做了相关研究的实验,实验结果表明该算法能有效提高生成速度。     

基于定位的数据聚类新算法

针对现有聚类算法计算复杂度普遍较高的问题,提出了一种基于定位的方法。该算法采用空间定位的方法将数据对象映射到特征空间中,并利用空间立方体的某些特殊顶点定位任一数据点;通过计算数据点与空间立方体顶点群的距离差异,完成聚类过程。在电信数据集上的实验结果表明,算法的时间复杂度降至O(N)级别。     

Efficient Incremental Maintenance for Distributive and Non-Distributive Aggregate Functions

Data cube pre-computation is an important concept for supporting OLAP （Online Analytical Processing） and has been studied extensively. It is often not feasible to compute a complete data cube due to the huge storage requirement. Recently proposed quotient cube addressed this issue through a partitioning method that groups cube cells into equivalence partitions. Such an approach not only is useful for distributive aggregate functions such as SUM but also can be applied to the maintenance of holistic aggregate functions like MEDIAN which will require the storage of a set of tuples for each equivalence class. Unfortunately, as changes are made to the data sources, maintaining the quotient cube is non-trivial since the partitioning of the cube cells must also be updated. In this paper, the authors design incremental algorithms to update a quotient cube efficiently for both SUM and MEDIAN aggregate functions. For the aggregate function SUM, concepts are borrowed from the principle of Galois Lattice to develop CPU-efficient algorithms to update a quotient cube. For the aggregate function MEDIAN, the concept of a pseudo class is introduced to further reduce the size of the quotient cube, Coupled with a novel sliding window technique, an efficient algorithm is developed for maintaining a MEDIAN quotient cube that takes up reasonably small storage space. Performance study shows that the proposed algorithms are efficient and scalable over large databases.     

Semi-Closed Cube: An Effective Approach to Trading Off Data Cube Size and Query Response Time

The results of data cube will occupy huge amount of disk space when the base table is of a large number of attributes. A new type of data cube, compact data cube like condensed cube and quotient cube, was proposed to solve the problem. It compresses data cube dramatically. However, its query cost is so high that it cannot be used in most applications. This paper introduces the semi-closed cube to reduce the size of data cube and achieve almost the same query response time as the data cube does. Semi-closed cube is a generalization of condensed cube and quotient cube and is constructed from a quotient cube. When the query cost of quotient cube is higher than a given threshold, semi-closed cube selects some views and picks a fellow for each of them. All the tuples of those views are materialized except those closed by their fellows. To find a tuple of those views, users only need to scan the view and its fellow. Thus, their query performance is improved. Experiments were conducted using a real-world data set. The results show that semi-closed cube is an effective approach of data cube.     

基于形式概念分析的约简数据立方体研究

数据立方体格和形式概念格比较研究表明,两者都基于序结构,并且采用形式概念分析理论(FCA)的等价特征组与数据立方体覆盖等价类对数据单元有相同的划分结果.将FCA与概念格理论引入数据立方体研究,首次提出聚集概念格(ACL)结构.ACL与一般概念格同构,能完整保存立方体中的所有聚集结果,实现与商立方体相同比例的约简.ACL结构仍比较复杂,在ACL基础上,又提出一种约简聚集概念格结构(RACL),该结构只存储非对象概念,而不是所有概念.RACL与基本表联合仍然是完整立方体结构,但能实现更大的约简.给出了ACL和RACL的高效的查询方法,并使用模拟数据和实际数据作了一些实验.理论和实验都表明RACL结构比现有方法更节省空间,同时查询效率也较高.     

Incremental maintenance of quotient cube based on galois lattice

Data cube computation is a well-known expensive operation and has been studied extensively. It is often not feasible to compute a complete data cube due to the huge storage requirement. Recently proposed quotient cube addressed this fundamental issue through a partitioning method that groups cube cells into equivalent partitions. The effectiveness and efficiency of the quotient cube for cube compression and computation have been proved. However, as changes are made to the data sources, to maintain such a quotient cube is non-trivial since the equivalent classes in it must be split or merged. In this paper, incremental algorithms are designed to update existing quotient cube efficiently based on Galois lattice. Performance study shows that these algorithms are efficient and scalable for large databases.     

有效的近似数据方体维护算法

尽管利用预计算可以提高OLAP的查询效率,但是,由于存储空间的限制,预计算整个数据方体是不现实的.最近提出的综合数据方体通过将数据单元进行等价划分的方法解决了这个问题.然而,当数据源发生改变的时候,要对这样的数据方体进行维护是很困难的,即使只有一条元组发生了变化,所有的聚集值都必须重新计算,代价非常高.实际上,在有些应用环境中,人们更关注查询响应的速度,在查询结果的精度上可以放低一些要求.本文提出了如何对近似的综合数据方体进行增量维护的方法.实验证明,这些方法是非常有效的.     

基于数据立方体的属性核计算方法

商业智能系统应用联机分析处理技术将数据组织为多维数据立方体。该文建立了数据立方体中非空单元与决策表中等价类的一一映射关系。通过复用数据立方体中的聚合结果,提出一种基于数据立方体计算相容决策表属性核的方法,并证明了该方法的正确性。利用UCI数据集进行实验,结果表明在大数据量下该方法具有较好的时间效率。     

GSFC--基于图结构的Free Cube存储方法

free cube利用发掘基本关系表维值之间的蕴含规则,去除data cube中内在冗余,有效减小data cube体积．但是还存在一些值得进一步研究的问题．首先,直接地表示free cube仍然不够精简从而浪费了存储空间．其次,只提到了查询的基本思想,没有给出具体的查询技术．针对这些问题,提出了基于图结构的存储方法GSFC,利用前缀压缩进一步减小free cube体积．同时,该方法结合了存储和索引结构,有效解决free cube的查询问题．最后给出了计算和查询算法,并利用实验来证明算法的有效性．