SFFS:低延迟的面向小文件的分布式文件系统 |
| |
引用本文: | 王鲁俊,龙 翔,吴兴博,王 雷.SFFS:低延迟的面向小文件的分布式文件系统[J].计算机科学与探索,2014(4):438-445. |
| |
作者姓名: | 王鲁俊 龙 翔 吴兴博 王 雷 |
| |
作者单位: | 北京航空航天大学计算机学院,北京100191 |
| |
基金项目: | The National Natural Science Foundation of China under Grant No. 61272167 (国家自然科学基金); the National High Technology Research and Development Program of China under Grant No. 2011AA01A204 (国家高技术研究发展计划(863计划)); the National Science and Technology Major Special Project of China under Grant No. 2012ZX01039-004 (国家科技重大专项“核高基”项目). |
| |
摘 要: | 社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS(Hadoop distributed file system),是面向大文件而设计的,在存储小文件时会产生元数据开销过大,访问延迟较高等问题,不能适应存储海量小文件的应用环境。分析了TFS(Taobao file system)的系统架构和读写流程,发现TFS在每次读/写过程中至少要建立3次网络连接,增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题,提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案,并实现了分布式文件系统SFFS(small-file file system)。性能测试表明,SFFS和TFS相比,写延迟降低了76.6%,读延迟降低了约10%。通过对系统结构的分析,相比于TFS,SFFS在中心节点的负载更轻,失效恢复更快,在可用性方面更有优势。
|
关 键 词: | 小文件 低延迟高可用 分布式存储 |
本文献已被 CNKI 维普 等数据库收录! |
|