| 基于Hadoop的测试数据处理系统设计与实现 |
| |
| 引用本文： | 刘有耀,李彬. 基于Hadoop的测试数据处理系统设计与实现[J]. 电子技术应用, 2015, 41(7): 140-143 |
| |
| 作者姓名： | 刘有耀 李彬 |
| |
| 作者单位： | 西安邮电大学专用集成电路设计中心,陕西西安,710061 |
| |
| 摘 要： | 提出一种基于Hadoop软件框架进行海量测试数据处理的解决方案。在深入研究Hadoop分布式系统构架、HDFS分布式文件系统以及Map Reduce分布式编程模型的基础上,设计并实现了二进制测试数据文件到HDFS的传输机制以及基于Map Reduce的测试数据分布式格式转换系统。最后搭建实验环境,验证了整个系统的正确性并对分布式格式转换系统进行性能评估。与本地单机相比,系统在处理海量数据时具有更高的效率及更好的可拓展性。
|
| 关 键 词： | 半导体测试数据 分布式存储 Hadoop Map Reduce |
The design and implementation of test data processing system based on Hadoop |
| |
| Liu Youyao,Li Bin. The design and implementation of test data processing system based on Hadoop[J]. Application of Electronic Technique, 2015, 41(7): 140-143 |
| |
| Authors: | Liu Youyao Li Bin |
| |
| Abstract: | |
| |
| Keywords: | semiconductor testing data distributed storage Hadoop MapReduce |
| 本文献已被 万方数据 等数据库收录！ |
|
