| 基于MapReduce的分布式ETL体系结构研究 |
| |
| 引用本文： | 宋杰,郝文宁,陈刚,靳大尉,赵水宁. 基于MapReduce的分布式ETL体系结构研究[J]. 计算机科学, 2013, 40(6): 152-154 |
| |
| 作者姓名： | 宋杰 郝文宁 陈刚 靳大尉 赵水宁 |
| |
| 作者单位： | 解放军理工大学工程兵工程学院 南京210007 |
| |
| 基金项目： | 本文受国家自然科学基金项目(70971137)资助 |
| |
| 摘 要： | 针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——M DETL(MapReduce Distributed ETL).该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率.
|
| 关 键 词： | ETL MapReduce 分布式 |
| 收稿时间： | 2012-08-28 |
| 修稿时间： | 2012-11-09 |
Research of Distributed ETL Architecture Based on MapReduce |
| |
| SONG Jie,HAO Wen-ning,CHEN Gang,JIN Da-wei and ZHAO Shui-ning. Research of Distributed ETL Architecture Based on MapReduce[J]. Computer Science, 2013, 40(6): 152-154 |
| |
| Authors: | SONG Jie HAO Wen-ning CHEN Gang JIN Da-wei ZHAO Shui-ning |
| |
| Affiliation: | Engineering Institute of Corps of Engineers,PLA University of Science & Technology,Nanjing 210007,China;Engineering Institute of Corps of Engineers,PLA University of Science & Technology,Nanjing 210007,China;Engineering Institute of Corps of Engineers,PLA University of Science & Technology,Nanjing 210007,China;Engineering Institute of Corps of Engineers,PLA University of Science & Technology,Nanjing 210007,China;Engineering Institute of Corps of Engineers,PLA University of Science & Technology,Nanjing 210007,China |
| |
| Abstract: | |
| |
| Keywords: | ETL MapReduce Distributed |
| 本文献已被 万方数据 等数据库收录！ |
|
点击此处可从《计算机科学》下载全文 |
|
