基于HDFS的海量文件存储优化设计 |
| |
引用本文: | 李娜.基于HDFS的海量文件存储优化设计[J].电脑编程技巧与维护,2016(7):63-65. |
| |
作者姓名: | 李娜 |
| |
作者单位: | 陕西学前师范学院计算机与电子信息系,西安,710001 |
| |
摘 要: | 针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS)。该方案采用了分类处理的设计思想,区别对待大文件和小文件。对大文件不做任何处理,按照HDFS原有的流程完成既定的操作;对小文件的存取,经过缓存、预读、合并等机制的处理,从而在提高Namenode内存利用率和Datanode空间利用率的基础上,提高了小文件的读写性能。区别对待文件的处理以及对小文件的一系列的处理,对用户来说都是透明的,因此,该方案并不会增加用户使用HDFS的复杂性。
|
关 键 词: | HDFS技术 海量数据 Hadoop分布式文件系统 |
本文献已被 维普 万方数据 等数据库收录! |
|