首页 | 官方网站   微博 | 高级检索  
     

支持分布式存储删冗的相似文件元数据集合索引
引用本文:孙竞,余宏亮,郑纬民.支持分布式存储删冗的相似文件元数据集合索引[J].计算机研究与发展,2013,50(1):197-205.
作者姓名:孙竞  余宏亮  郑纬民
作者单位:1. 深圳清华大学研究院 广东深圳 518057
2. 清华大学计算机科学与技术系 北京 100084
3. 灾备技术国家工程实验室 北京 100876
基金项目:国家发改委高技术产业发展基金项目(发改投资[2010]560号);国家“八六三”高技术研究发展计划基金项目(2012AA102601,2012AA012602)
摘    要:分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.

关 键 词:分布式存储系统  数据重复删除  位置敏感Hash函数  相似数据段  元数据集合

Index of Meta-Data Set of the Similar Files for Inline De-Duplication in Distributed Storage Systems
Sun Jing , Yu Hongliang , Zheng Weimin.Index of Meta-Data Set of the Similar Files for Inline De-Duplication in Distributed Storage Systems[J].Journal of Computer Research and Development,2013,50(1):197-205.
Authors:Sun Jing  Yu Hongliang  Zheng Weimin
Affiliation:(Research Institute of Tsinghua University in Shenzhen, Shenzhen, Guangdong 518057) (Department of Computer Science and Technology, Tsinghua University, Beijing 100084) (National Engineering Laboratory for Disaster Backup and Recovery, Beijing 100876)
Abstract:
Keywords:
本文献已被 CNKI 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号