JPPF在构建高性能ETL过程中的应用

数据仓库中数据规模的不断膨胀和数据实时性需求的提高使得对ETL过程性能要求越来越高.通过对并行处理框架JPPF分析,提出了利用JPPF构建高性能ETL系统架构方案和一种ETL数据处理任务提交算法.经过测试和性能对比证明了该方案在处理包含大规模计算任务的ETL过程优势明显.     

并行ETL过程的研究与实现

文章首先介绍了ETL过程和实现并行ETL过程的意义。结合现有技术对并行ETL过程的设计与实现进行了探讨,归纳了当前实现中需要用到的核心技术。提出了一种利用集群系统和并行管道技术构建并行ETL过程的有效解决方案。