基于MPP和Hadoop的低价值密度结构数据联合处理方法的设计与实现

针对当前RDBMS、MPP等关系型数据管理系统在处理低价值密度数据过程中的诸多不足，提出了一种基于MPP和Hadoop的海量低价值密度的机构化数据处理方案。该方案通过结合MPP和Hadoop技术解决了目前处理手段 I/O性差的问题，并在很大程度上提高了系统的可扩展性；同时，该方案明显降低了低价值密度数据的分析成本，具有明显的经济意义。实验结果表明：该方案能够用于处理海量低价值密度数据，解决目前低价值密度数据操作方案I/O性能低、读写响应慢、价格高昂等缺点，达到设计要求。