一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法.利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围.对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现.     

云加密数据安全重复删除方法

在云环境存储模式中,采用用户端数据加密虽然能够有效降低数据的存储安全风险,但同时会使云服务商丧失重复数据鉴别能力,导致存储开销随数据量增大而不断攀升.加密数据重复删除技术是解决该问题的方法之一,现有方案通常基于可信第三方设计,安全性假设过强,执行效率较低.基于椭圆曲线与密文策略属性加密两种高安全密码学原语,构造了重复加密数据识别与离线密钥共享两种安全算法,进而实现一种无需初始数据上传用户与可信第三方实时在线的加密数据重复删除方法.详细的安全性与仿真实验分析,证明该方法不仅实现数据的语义安全,同时能够保证系统的高效率运行.     

基于重复数据删除的多用户文件备份系统

针对在文件备份服务器中存在大量重复数据的问题,设计了一种基于重复数据删除的文件备份系统,为位于不同地理位置的多个用户提供备份服务。该系统不仅删除用户内部的重复数据,也删除不同用户之间的重复数据,进一步节省存储空间,与此同时,采用了一定的安全机制来防止数据丢失以及用户数据信息泄漏。实验结果表明了系统的可行性,为多用户构建统一的备份中心提供了一种新的解决方案。     

基于离线密钥分发的加密数据重复删除方法

重复数据删除技术受到工业界和学术界的广泛关注.研究者致力于将云服务器中的冗余数据安全的删除,明文数据的重复删除方法较为简单.而用户为了保护隐私,会使用各自的密钥将数据加密后上传至云服务器,形成不同的加密数据.在保证安全性的前提下,加密数据的重复删除较难实现.目前已有的方案较多依赖在线的可信第三方.提出一种基于离线密钥分发的加密数据重复删除方案,通过构造双线性映射,在不泄露数据隐私的前提下,验证加密数据是否源自同一明文.利用广播加密技术实现加密密钥的安全存储与传递.任意数据的初始上传者能够借助云服务器,以离线方式验证后继上传者的合法性并传递数据加密密钥.无需可信第三方在线参与,实现云服务器对加密数据的重复删除.分析并证明了方案的安全性.仿真实验验证了方案的可行性与高效性.     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

相似索引：适用于重复数据删除的二级索引

由于EB（extreme binning）使用文件的最小块签名作为文件的特征, 它不适合处理主要包括小文件的数据负载, 会导致较差的重复数据删除率。为了改进EB, 提出了相似索引。它把相似哈希作为文件的特征, 是一种适用于以小文件为主的数据负载的重复数据删除的二级索引。实验结果表明, 相似索引的重复数据删除率比EB高24. 8%; 相似索引的内存使用量仅仅是EB的0. 265%。与EB相比, 相似索引需要更少的存储使用量和内存使用量。     

基于MD5和布鲁姆过滤器的重复数据删除算法

针对目前重复数据处理技术的低效性和不可靠性,本文提出了一种基于MD5算法和布鲁姆过滤器的重复数据删除算法。新算法采用两级布鲁姆过滤器并有效结合MDS算法的方式,在发挥布鲁姆过滤器空间效率的同时汲取了MD5算法的可靠性,使得文件级别和数据块级别的重复数据删除策略交替工作。测试分析表明,新算法性能稳定并且实现了高效且可靠的重复数据删除功能。     

基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

烟草工业数据灾备中重复数据删除技术研究

首先介绍了烟草工业灾备中重复数据删除技术重要要性,然后介绍了重复数据删除的最主要两种方法：基于哈希算法的重复数据删除和基于内容识别的重复数据删除。最后重点分析设计了适用于某综合营销平台系统数据备份恢复的重复数据删除策略,以减少网络带宽占用、节省存储空间、保护业务数据,为综合营销和智能决策的发展提供强有力的支撑。     

基于二级索引的重复数据删除系统中性能相关参数的量化分析与研究

随着重复数据删除技术应用的普及,性能已成为影响其应用效果的核心要素.已有研究提出了基于二级索引结构的重复数据删除模型以提升系统读写性能,但没有对模型中一些参数的选择进行量化分析.对基于二级索引结构的重复数据删除模型中块大小等一些性能相关的参数进行了分析研究,设计了相关实验,对这些参数与读写性能的关系进行了量化描述,对本类模型在实际环境中的应用有很好的指导意义,同时为下一步性能优化工作提供了重要的数据基础.     

布隆过滤器在重复数据删除中的应用

重复数据删除技术是一种数据缩减技术,它可以减少对物理存储空间的需求,从而满足日益增长的数据存储需求。该文将Bloom过滤器应用于重复数据删除技术中,加入两级fingerprint映射表,经过多个高效率的散列函数的计算,以引入较小的"假阳性错误率"为代价,增大磁盘的空余量。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

一种基于流水线的重复数据删除系统读性能优化方法

重复数据删除技术已逐渐应用到以云计算为代表的主存储系统中,这些系统对读响应时间的高要求使读性能成为重复数据删除系统中需要解决的重要问题,而已有研究对如何提高重复数据删除系统读性能关注很少.针对这一问题,对重复数据删除系统中读取流程和性能瓶颈进行了量化分析,提出了一种基于流水线的数据读取模型,然后通过并行计算机制对模型进行了进一步的优化.基于这一模型设计实现了实验系统,通过实验证明:对于网络安全监测日志文本数据和虚拟机镜像文件,应用此模型后,重复数据删除系统读速度的提高可达5倍以上;基于流水线的数据读取模型适用性强,对提高不同消冗率的数据读速度均有明显作用.     

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

相似性-局部性方法相关参数分析

大数据时代到来,备份数据量增大给存储空间带来新的挑战。重复数据删除技术在备份存储系统中正逐渐流行,但大量数据访问,造成了磁盘的很大负担。针对重复数据删除技术存在的块索引查询磁盘瓶颈问题,文中提出了文件相似性与数据流局部性结合方法改善磁盘I/O性能。该方法充分发挥了各自的优势,相似性优化了索引查找,可以检测到相同数据检测技术不能识别的重复数据;而数据局部性保留了数据流的序列,使得cache的命中率提高,减少磁盘访问次数。布鲁过滤器存储数据块索引可节省大量查询时间和空间开销。对于提出的解决方法所涉及的重要参数如块大小、段大小以及对误判率的影响做了深入分析。通过相关实验评估与性能分析,实验数据与结果为进一步系统性能优化问题提供了重要的数据依据。     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

重复数据删除技术的存储空间利用率测评研究

在大数据时代,为了提高存储空间利用率,重复数据删除技术被广泛应用.然而,重复数据删除技术的重删效果如何评价,它对存储系统的存储空间利用率影响程度如何等问题,目前还没有有效的测评指标和测评方法来解决.为此,对3种典型的重复数据删除技术进行了分析,研究了存储空间利用率的测评指标和测评方法,然后通过理论分析和真实数据实验对其可行性和有效性进行了验证.分析和实验结果表明:设计的测评指标和测评方法实际可行,能定量的评估存储空间利用率,有利于数据中心存储效率的提高,从而实现绿色存储和节能减排,并能减少企业的资源浪费和提高投资回报率.