一种适应性的流式数据聚集计算方法

针对流式数据聚集查询问题,提出了一种基于适应性层次聚集树的计算方法。适应性层次聚集树结构基于多层次时间窗口模型,将距离当前时刻较近的数据保存为细粒度数据,而相对久远的数据仅保留高层聚集信息;适应性层次聚集树中粒度的划分取决于相应时间间隔的数据密度。稀疏密度的时间间隔对应粗粒度的划分,而高密度的间隔对应细粒度的划分。并且提出了相应的构建维护以及聚集查询计算方法。实验结果表明,该方法在非均匀分布条件下的流式数据聚集计算中具有较为明显的优势。     

港口数据MOLAP中层次维的存储

从港口企业面临的决策需求出发,分析港口现有数据来构建港口数据立方体。多维联机分析处理（MOLAP）是在数据立方体上进行的应用查询,支持维层次是MOLAP的一个重要特征,一般层次维是以数组形式进行存储的,但是数组存储不仅不能体现维的层次特征,还使得数据单元出现冗余。针对数组存储的不足,采用维层次存储树来保存层次维信息,体现了维的层次特性,消除了冗余数据,方便层次维的查询和更新,且各层维成员采用二进制编码方式,不仅节省了存储空间,还提高了查询效率。     

一种基于多时间粒度的实时客流查询优化算法

随时间实时变化的客流数据属于时间序列数据,本文根据客流数据的接收频率,应用关系模型实现客流数据的存储建模;为了减弱数据采集频率对实时客流查询效率的影响,建立多时间粒度的客流视图,可提高实时客流查询的计算效率.     

基于细粒度关系的XML数据存储实现

分析了基于关系数据库的XML数据存储现状,阐明了树结构XML数据模型与平面结构关系数据模型之间的不匹配性,在此基础上对存储粒度进行了研究,着重分析了细粒度模型的原理.使用Java实现了一个XML关系存储系统,用于管理和操作XML数据,讨论了采用细粒度模型存储XML数据的具体实现流程,项目的实施表明,相对于中粒度和粗粒度,细粒度方法使XML数据操作变得灵活方便.     

水利普查成果分析中数据立方体计算研究

n维的立方体将生成2n个聚集立方体.如何进行立方体计算,在存储空间和查询时间方面寻求平衡,成为多维分析应用中的关键问题.基于部分物化的策略,并结合水利普查数据特征,改进Minimal cubing方法,提出了层次维编码片段方法HDEF cubing.该方法利用编码长度较小的层次维编码及其前缀,快速检索出与查询关键字相匹配的层次维编码,减少了多表连接操作,从而提高查询效率.以水利普查数据为例,验证了改进的立方体计算方法能高效地对立方体进行存储和查询,适用于水利普查成果分析.     

基于列存储机制下多维数据仓库模型的优化与研究

通过对分布式列存储机制下多维数据仓库模型的研究,考虑到多维数据仓库模型上的关联和聚集操作常常会引入大量的数据迁移,提出一种有效的列存储机制下多维数据仓库模型的优化方法即结合层次编码技术。采用维表层次全局域编码和维表层次局部域编码相结合的方式对传统星型模型维表中的层次信息进行二进制编码整合,将维表的层次信息压缩进事实表形成无连接星型模型,并针对新模型下的数据特征提出一种复合压缩策略,以期减少分布式列存储机制下的OLAP操作引入的数据迁移并降低数据存储空间,提升系统的查询性能。实验结果表明,该优化方法是可行且有效的。     

数据仓库中维表模式的优化

针对数据仓库使用雪花模式组织维表而带来的太多连接开销,以查询的时间开销和维表的存储开销作为衡量标准建立代价估算模型,设计基于遗传算法的维表模式优化算法。目的是实现维表模式自动调整,使系统在维表模式方面的维表存储开销和查询时间开销和最小。试验结果表明以较小的空间代价可以较大幅度地提高查询速度。     

基于层次聚簇的Cube存储结构的研究

数据仓库中的维数据通常都是有层次的,基于维层次路径的聚簇能有效地在物理空间上将关联数据组织到一起,减少查询访问磁盘的次数。而现在的Cube存储结构都关注于Cube操作的计算和存储,忽视了这一特点。论文提出基于维层次聚簇的Cube存储结构HC(HierarchicallyClustered)Cube及相关算法,解决了目前存在的问题。     

MIS:无线传感器网络中一种基于多级映射索引的存储方法

合理的数据存储策略是节约无线传感器网络能量的重要手段之一,但是目前提出的存储方法往往没有考虑周期查询和ad hoc查询并存的情况,以及网络拓扑和查询响应时间约束等因素,因而会对系统带来额外的开销.提出了一种基于多级映射索引的数据存储方法,综合周期查询的响应时间约束和网络拓扑结构对网络分层,并在每层建立相应的数据索引,使处于不同层次的节点采用不同的数据存储方式,同时支持大量的ad hoc查询.实验证明,这种基于多级映射索引的数据存储方法能够大量地节约能量,并保证在有限的响应时间内处理更多的节点数据并返回结果.     

一种多对象时间序列数据存储设计

本文讨论了在现有的数据存储和索引技术的基础上,结合固定周期产生状态数据设备的检测特点定义了一种存储结构和索引结构,以获得更高的空间利用率和查询效率。首先深入分析状态数据所具有的时间和设备二维性并定义了相应的二维存储结构,分别针对每一维建立了索引,然后分析了基于此结构的存储和查询方法。     

数据仓库中维的建模和查询

维是数据仓库的重要组成部分，也是OLAP的主要查询对象，但标准的星形／雪花模型对实际应用中维的建模存在明显缺陷，而且SQL语言对维实体、维层次结构不能提供直接、有效的支持，使得OLAP查询的表达较为繁琐、冗长。为此，提出了一个基于关系数据库的SQL（D）数据模型，它给出了层次链、层次树、维的正式定义，支持不平衡、异构的维层次结构；并对SQL作了相应的扩充，支持维的定义、维层次比较、维的引用和维聚集层次的指定，使得原先冗长、复杂的OLAP查询表达式变得简洁、易于理解。最后对扩充的语义给出实现算法。     

Sequenced spatiotemporal aggregation for coarse query granularities

Sequenced spatiotemporal aggregation (SSTA) is an important query for many applications of spatiotemporal databases, such as traffic analysis. Conceptually, an SSTA query returns one aggregate value for each individual spatiotemporal granule. While the data is typically recorded at a fine granularity, at query time a coarser granularity is common. This calls for efficient evaluation strategies that are granularity aware. In this paper, we formally define an SSTA operator that includes a data-to-query granularity conversion. Based on a discrete time model and a discrete 1.5 dimensional space model, we generalize the concept of time constant intervals to constant rectangles, which represent maximal rectangles in the spatiotemporal domain over which an aggregation result is constant. We propose an efficient evaluation algorithm for SSTA queries that takes advantage of a coarse query granularity. The algorithm is based on the plane sweep paradigm, and we propose a granularity aware event point schedule, termed gaEPS, and a granularity aware sweep line status, termed gaSLS. These data structures store space and time points from the input relation in a compressed form using a minimal set of counters. In extensive experiments, we show that for coarse query granularities gaEPS significantly outperforms a basic EPS that is based on an extension of previous work, both in terms of memory usage and runtime.     

数据仓库系统中一种改进的维层次聚集Cube存储结构

提出利用Cube中的维层次（dimension hierarchy）聚集技术来创建高性能的维层次聚集Cube（dimension hierarchy aggregate cube,DHAC）．充分利用DHAC已保存的维层次信息,对Cube中多维数据的查询和更新效率进行了优化,并且支持Cube的上探、下钻等语义操作．在DHAC中进行数据插入和删除等数据更新时,由下向上用更新前后的差值对受到更新结点影响的所有祖先结点进行增量更新．实现了在插入新维或维层次时不需要重新构建聚集Cube就可以实现Cube的模式更新．对维层次聚集Cube与传统Cube进行了算法性能分析和比较,理论分析和实验结果都表明,所提出的DHAC性能最佳．     

A structured approach for cooperative query answering

This paper proposes the use of a type abstraction hierarchy as a framework for deriving cooperative query answers. The type abstraction hierarchy integrates the abstraction view with the subsumption (is-a) and composition (part-of) views of a type hierarchy. Such a framework provides multilevel object representation, which is an important aspect of cooperative query answering. The concept of pattern that specifies one or more conditions on an object is also proposed. Patterns have smaller granularity than types, and thus provide more specific semantic information. Cooperative query answering consists of query relaxation, generalization, specialization, and association on patterns. Query relaxation can be explicitly specified by the user or implicitly performed by the system. The implicit and explicit relaxations can also be combined and performed interactively by both the system and the user. CSQL, an extension of SQL for cooperative query answering, is also proposed. Preliminary experimental results reveal that the proposed type abstraction hierarchy provides an organized structure representing concepts at different knowledge levels in various domains, and provides a systematic and efficient method for cooperative query answering     

维上带层次数据立方的自底向上计算

通过扩展 BUC算法 ,提出了 HBUC算法 ,自底向上地计算维上带层次的数据立方 .HBU C算法的关键在于对层次之间的映像关系进行了合理地编码 ,并选择了恰当的层次扫描路线 ,这些不仅能够保证 HBU C算法继承和扩展BUC算法的优化过程 :Write- Ancestors和 Collapsing,而且使粗粒度级的聚集计算因为共享细粒度级的排序结果而得到加速 ,从而大大提高了 HBUC的计算效率 .     

Advanced topic modeling for social business intelligence

Social business intelligence combines corporate data with user-generated content (UGC) to make decision-makers aware of the trends perceived from the environment. A key role in the analysis of textual UGC is played by topics, meant as specific concepts of interest within a subject area. To enable aggregations of topics at different levels, a topic hierarchy has to be defined. Some attempts have been made to address the peculiarities of topic hierarchies, but no comprehensive solution has been found so far. The approach we propose to model topic hierarchies in ROLAP systems is called meta-stars. Its basic idea is to use meta-modeling coupled with navigation tables and with dimension tables: navigation tables support hierarchy instances with different lengths and with non-leaf facts, and allow different roll-up semantics to be explicitly annotated; meta-modeling enables hierarchy heterogeneity and dynamics to be accommodated; dimension tables are easily integrated with standard business hierarchies. After outlining a reference architecture for social business intelligence and describing the meta-star approach, we formalize its querying expressiveness and give a cost model for the main query execution plans. Then, we evaluate meta-stars by presenting experimental results for query performances and disk space.     

方面化双核中间件模型

本文从框架扩展性、依赖关系可管理性和AOP支持粒度的角度分析了三种典型的中间件平台的架构及内核结构。针对它们存在的问题,提出了一种新的方面化中间件模型--双核中间件模型。该模型具有更好的可扩展性、依赖关系管理能力和细粒度AOP支持,同时还加入了组件移动性支持,更好地满足了按需定制计算的需求。     

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。     

数据流中一种快速启发式频繁模式挖掘方法

在现有的数据流频繁模式挖掘算法中,批处理方法平均处理时间短,但需要积攒足够的数据,使得其实时性差且查询粒度粗;而启发式方法可以直接处理数据流,但处理速度慢.提出一种改进的字典树结构--IL-TREE(improved lexicographic tree),并在其基础上提出一种新的启发式算法FPIL-Stream(frequent pattem mining based on improved lexicographic tree),在更新模式和生成新模式的过程中,可以快速定位历史模式.算法结合了倾斜窗口策略,可以详细记录历史信息.该算法在及时处理数据流的前提下,也降低了数据的平均处理时间,并且提供了更细的查询粒度.     

二维协同工作空间的并发操作加锁协议

提出一种用于在二维工作空间中协同作业的并发操作加锁协议和相应的锁调度算法，协议采用悲观锁，以抽象的二维空间为并发操作的对象，支持任意锁粒度，具有无死锁性质．加锁协议和算法存一个实时分布式协同绘图系统中实现．协议的实现采用多Agent系统模型。将面向Agent的程序设计中Agent的情绪值的概念用于控制锁的释放和调度，支持并发操作者之间的主动协同和细粒度感知．