| 分布式聚集函数支持的内存OLAP并行查询处理技术 |
| |
| 引用本文： | 张延松,张 宇,黄 伟,王 珊,陈 红.分布式聚集函数支持的内存OLAP并行查询处理技术[J].软件学报,2009,20(Z1):165-175. |
| |
| 作者姓名： | 张延松 张 宇 黄 伟 王 珊 陈 红 |
| |
| 作者单位： | 数据工程与知识工程教育部重点实验室(中国人民大学),北京 100872;中国人民大学 信息学院,北京 100872;哈尔滨金融高等专科学校 计算机系,黑龙江 哈尔滨 150030;哈尔滨金融高等专科学校 计算机系,黑龙江 哈尔滨 150030;数据工程与知识工程教育部重点实验室(中国人民大学),北京 100872;中国人民大学 信息学院,北京 100872;数据工程与知识工程教育部重点实验室(中国人民大学),北京 100872;中国人民大学 信息学院,北京 100872;数据工程与知识工程教育部重点实验室(中国人民大学),北京 100872;中国人民大学 信息学院,北京 100872 |
| |
| 基金项目： | Supported by the National High-Tech Research and Development Plan of China under Grant No.2009AA01Z149 (国家高技术研究发展计划(863)); the Union Project with Beijing Municipal Education Commission (BMEC) on Industry-Study-Research of China (北京市教委产学研合作项目); the Renmin |
| |
| 摘 要： | 根据OLAP查询的特点和内存数据库的性能特征提出了由多个内存数据库组成的并行OLAP查询处理系统,将OLAP应用中的多维聚集查询分布到各个计算节点并行进行聚集计算,并将聚集计算的结果进行合并输出.与其他并行处理方法相比,该算法充分利用OLAP DB结构中维表远小于事实表的特性,根据数据库中事实表的数据量和节点的数据处理能力进行水平数据库分片,并根据聚集函数的可分布计算特性提高查询处理的并行度,延迟并行查询处理中的合并过程,充分利用节点的并行处理能力,减少并行查询处理过程中的数据通信量,提高系统并行查询处理性能.该算法易于实现,具有较好的可扩展性和性能,适用于企业级海量数据处理领域的需求.
|
| 关 键 词： | 并行查询处理 内存OLAP数据库 延迟聚集计算 |
| 收稿时间： | 5/1/2009 12:00:00 AM |
| 修稿时间： | 2009/7/20 0:00:00 |
Distributed Aggregate Functions Enabled Parallel Main-Memory OLAP Query Processing Technique |
| |
| ZHANG Yan-Song,ZHANG Yu,HUANG Wei,WANG Shan and CHEN Hong.Distributed Aggregate Functions Enabled Parallel Main-Memory OLAP Query Processing Technique[J].Journal of Software,2009,20(Z1):165-175. |
| |
| Authors: | ZHANG Yan-Song ZHANG Yu HUANG Wei WANG Shan and CHEN Hong |
| |
| Abstract: | A multi-node parallel main-memory OLAP system is proposed in this paper which is considered by the character of OLAP queries and the performance of main-memory database system. In this system, multi-dimensional OLAP queries with aggregate functions are distributed to each computing node to get aggregate results and final result can be available by merging all the aggregate results from multiple computing nodes. Comparing with other solutions, this system uses horizontal distribution policy to distribute massive data in multi-node with only consideration of memory capacity of computation node. According to feature of distributed aggregate function, system can improve parallel processing capacity by lazy results merging which can reduce the volume of message between nodes, the overall performance of parallel query processing can be improved. This system is easy to deploy, it is also practical with good scalability and performance for the requirements of enterprise massive data processing. |
| |
| Keywords: | parallel query processing main-memory OLAP DB lazy aggregate computing |
|
| 点击此处可从《软件学报》浏览原始摘要信息 |
|
点击此处可从《软件学报》下载全文 |
|
