基于HADOOP集群的数据采集和清洗 |
| |
作者单位: | ;1.71320部队;2.河南工程学院计算机学院 |
| |
摘 要: | 互联网的到来,使计算机行业蓬勃发展,各公司的业务数据也都到达P级别的数据量。本文结合Hadoop框架的中Hive和Hbase,对各个模块进行了详细的描述,重点分析了集群搭建步骤,及如何对集群的数据进行采集和清洗,并通过建立表来存储分析结果。
|
关 键 词: | 海量数据 Hadoop hive 数据采集 数据清洗 |
Data Acquisition and Data Cleaning Based on the Hadoop Cluster |
| |
Abstract: | |
| |
Keywords: | |
|
|