存储系统中的局部修复阵列码模型

对于单容错和双容错的存储系统,在磁盘修复过程中发生的任何故障都可能引起数据丢失,导致修复失败,保证数据的修复效率对于存储系统的可靠性至关重要。RDP码在进行单盘故障修复时使用混合恢复算法能减少25%的读取总量,但是在进行双盘故障修复时需读取所有的元素。针对目前难以同时提升单双盘故障修复效率的问题,对RDP码进行拓展,提出了一种具有局部修复性质的阵列码模型——DRDP码。DRDP码在RDP码的基础上将部分数据列按水平线进行异或计算生成局部水平校验列,并将其参与到全局校验列的编码计算中,从而缩短了修复链,使其拥有局部修复的功能。通过理论分析,DRDP码拥有良好的编译码复杂度和更新效率,大幅节省了单盘故障修复读取开销,并对双盘故障修复读取开销进行了优化,同时能修复75%三盘故障的情况。实验结果表明,与RDP码、LRRDP码和RDP(p,3)码相比,DRDP码的编码时间可节省8.23%～32.89%、单盘故障修复时间可节省7.08%～35.01%、双盘故障修复时间可节省5.07%～29.26%。     

基于EVENODD码的单盘故障快速恢复算法

在基于EVENODD码的阵列存储系统中,考虑单个磁盘故障时的快速恢复问题,通过减少恢复过程中数据的读取量来减少恢复时间,提高数据存储的可靠性。理论上证明了对于任意单个磁盘的故障恢复,需要从系统中其他盘读取的数据量的下界,并设计出一种新的混合恢复算法,使得恢复过程中的数据读取量达到该理论下界。相比于传统恢复算法,混合恢复算法综合利用了EVENODD码的两类校验进行单盘恢复,能够有效地减少恢复时所需的数据读取量。实验结果表明混合恢复算法在恢复时间和磁盘访问时间方面相比于传统算法有明显的提高。     

RDP码存储系统节点故障恢复的读盘优化

实际的分布式存储系统面临着频繁的磁盘故障。为了保障数据可靠性,纠删码被广泛地部署在大规模存储系统中。在基于纠删码的存储系统中,快速有效地修复故障磁盘上的数据对于维护数据可靠性有重要意义。研究最重要的容两错纠删码——RDP(Row-diagonal parity)编码的磁盘故障修复问题,优化修复过程中磁盘访问的连续性。提出的单磁盘故障修复方案在保证读取数据量最小的前提下,最大程度避免了磁盘数据的随机读取,保持数据读取的连续性。通过在实际的分布式存储系统中实验,验证了该修复方案的实际性能,证实该算法可以很好地改善混合修复方案的随机读取引起的修复速度下降问题,最终提高了修复效率。     

基于局部冗余混合编码的故障快速恢复方法

最大距离可分（MDS）码中校验块均为全局校验块,重构链长度随着存储系统规模扩大而增长,重构性能逐渐降低。针对上述问题提出一种新型的非最大距离可分（Non-MDS）码：局部冗余混合编码Code-LM（s,c）。首先,为缩小重构链长度,任意条带单元组内只有局部校验块,分别为组内水平校验块和水平对角校验块,并设计了局部冗余混合编码的校验布局;然后,根据不同校验块的生成规则,设计了失效数据块的4种重构方式,不同失效块的重构链具有公共块;最后,根据两个故障磁盘所在条带单元组距离不同,将双盘故障分为3种情况,并设计了对应的重构算法。理论分析和实验结果表明,存储规模相同时,与RDP相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少84%和77%;与V²-Code相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少67%和73%。因此局部冗余混合编码可支持故障磁盘快速恢复,提高存储系统可靠性。     

基于事务回退的事务存储系统的故障恢复

针对事务存储系统机制下的容错问题,提出一种基于事务回退的事务存储系统的故障恢复方法.该方法利用事务存储系统自身的版本管理机制,避免了额外的检查点数据保存开销,从而实现了事务存储系统高效的故障恢复.通过对容错事务存储系统的隔离性证明了该方法的正确性.最后,使用包括4个SPLASH-2典型用例在内的5个测试程序对该方法进行了性能测试.实验结果表明,与经典的Checkpointing机制相比,该方法在避免了额外的检查点数据保存开销的同时,还具有较低的故障恢复开销.     

基于简单再生码的分段编码方案

简单再生码将可容多错的RS纠删码与简单的异或运算相结合,在达到容忍任意n－k个节点故障可靠性的基础上,可以实现对单个失效节点的高效快速修复。对简单再生码的失效节点修复过程进行改进,提出一种新的基于简单再生码的分段编码方案,将f个具有相同下标的编码块分成两段,将每段中的编码块进行异或操作,生成一个新的校验块。对该方案的存储开销、磁盘读取的开销以及修复带宽开销进行性能分析和仿真实验,结果表明提出的基于简单再生码的分段编码方案在增加少量存储开销的同时,其修复带宽和磁盘读取的开销性能有了很大程度的优化,进一步验证了改进方案的正确性和有效性。     

磁盘阵列多级恢复系统的设计与实现

随着磁盘容量的不断增大,磁盘读写出错的概率也相应增加。为缩短磁盘阵列在磁盘出错后所需的恢复时间、降低磁盘阵列重构的频度,提出一种磁盘阵列的多级恢复系统MARS。该系统根据磁盘的不同健康状态调用盘内坏扇区映射MARS-1,盘间数据迁移MARS-2和磁盘重构MARS3恢复磁盘阵列。实验结果表明,多级恢复系统能有效减少磁盘阵列恢复的时间,降低磁盘阵列的重构次数,减少对系统I/O性能的影响。     

测试海量存储系统可用性的故障注入法

阐述了针对海量存储系统的可用性测试方法,采用基于故障注入的方法测试系统的恢复时间,给出了故障对系统可用性的影响评价,设计了模拟系统正常运行的负载设置方法、手动注入故障和模拟SCSI磁盘故障的方法。     

异构环境下纠删码的数据修复方法综述*

在大规模云存储系统中,由于磁盘或网络故障造成的存储节点失效事件频发,系统需要数据冗余技术以保证数据的可靠性和可用性。纠删码,相对于副本方式而言,能大大提高存储空间的利用率,但纠删码在冗余数据修复方面的代价较副本方式高很多。目前针对纠删码的冗余数据修复研究大都无差别对待每个存储节点,然而实际分布式存储系统中,节点通常存在带宽资源、计算资源、存储容量资源等方面的差异性,这些资源的异构性对冗余数据修复性能影响很大。本文指出影响修复性能的关键因素,选取带宽开销、磁盘访问开销、修复时间、参与修复的节点数量和修复代价作为修复性能的评价标准;分析了现有研究方法如何降低这五种开销,重点讨论了这些方法的优缺点;阐述当前异构分布式存储系统中纠删码修复技术的研究现状;最后指出纠删码数据修复技术中尚未解决的一些难题和未来纠删码修复技术可能的发展方向。     

基于轮转部署的RAID6分布式存储系统扩容方案

随着用户数据和新型应用的爆炸式增长,存储系统需要更大的存储空间和更好的I/O性能,导致对原有存储系统进行扩容。研究基于RDP编码的存储系统的扩容问题。已有的扩容方案RS6、SDM等没有考虑到校验块的轮转部署与负载均衡等因素,导致扩容后的系统中各磁盘的负载不平衡。在基于校验块轮转部署的基础上,提出一种新型RDP扩容方案RSR。基于RSR的扩容方案,扩容后的系统中各磁盘上的数据块与校验块的分布都是均衡的。通过在Disksim上的一系列模拟实验证明,RSR的数据块和校验块迁移量上达到了最优,并且在扩容后的系统访问性能也接近于最优。     

Failure recovery algorithms for multimedia servers

In this paper, we present two novel disk failure recovery methods that utilize the inherent characteristics of video streams for efficient recovery. Whereas the first method exploits the inherent redundancy in video streams (rather than error-correcting codes) to approximately reconstruct data stored on failed disks, the second method exploits the sequentiality of video playback to reduce the overhead of online failure recovery in conventional RAID arrays. For the former approach, we present loss-resilient versions of JPEG and MPEG compression algorithms. We present an inherently redundant array of disks (IRAD) architecture that combines these loss-resilient compression algorithms with techniques for efficient placement of video streams on disk arrays to ensure that on-the-fly recovery does not impose any additional load on the array. Together, they enhance the scalability of multimedia servers by (1) integrating the recovery process with the decompression of video streams, and thereby distributing the reconstruction process across the clients; and (2) supporting graceful degradation in the quality of recovered images with increase in the number of disk failures. We present analytical and experimental results to show that both schemes significantly reduce the failure recovery overhead in a multimedia server.     

结合社区发现和局部恢复码的区块链扩容研究

区块链全节点需要存储完整的账本,不能满足数据快速增长的需求,其存储扩容成为当前研究热点之一。现有最优研究成果虽然结合分片和RS(Reed-Solomon)纠删码技术,降低了存储开销,实现了数据可恢复,但存在网络开销较高和跨节点数据请求效率较低的问题。因此,提出了一种基于社区发现和局部恢复码（local reconstruction codes,LRC）的区块链存储扩容方案,一定程度上解决了这些问题。改进现有基于传导性的社区发现方法,在此基础上提出了一种区块链节点分组方法,使平均连接速度更快的节点分为一组,有效地缩短了跨节点请求区块的响应时间;采用了更优的LRC码来替代RS纠删码,利用更少的原始数据实现单点故障数据恢复,降低了网络开销。大量实验结果表明提出的存储方案在保持目前最优方案的数据恢复能力和存储开销的基础上,能有效减少网络开销和跨节点请求区块的时间。     

一种新型的能够防止两块磁盘失败的技术

海量存储系统的建设是目前计算机系统最热门和发展最快的领域,存储系统的主要部分是在线存储系统。RAID(磁盘阵列)对于提升存储系统的效率、数据的高可靠性、防止数据破坏和业务停顿具有重大意义。目前实际应用中的RAID 1,RAID 0+1,RAID 4,RAID 5都只能防止单块磁盘的损坏,实际生产中已经出现了很多由于双盘损坏造成业务长时间停顿的事故。在介绍了通用的RAID级别的基础上,介绍了一种新型的对角线奇偶校验方法,结合水平奇偶校验,可以防止两块磁盘损坏。通过可靠的数学分析,可以看到该方法可以极大提高磁     

连续媒体服务器存储系统中的容错算法

连续媒体服务器(如VOD服务器)要对大量连续媒体数据(如声频、视频)进行管理,按一定速率为用户提供连续的媒体服务。因此,在这样的系统中,作为存储设备的磁盘阵列要具有高可靠性和一定的容错能力。文章提出一种基于奇偶检验的数据重构恢复算法,以保证系统中只有一个盘出现故障时,能使服务器及时重构出故障盘上的数据,并且算法充分利用了媒体流内在特性———回放时数据的连续性,与目前使用的标准故障恢复算法相比,大大减少了磁盘在线故障后数据重构过程的系统开销。最后通过分析、比较证明了算法的有效性。     

面向流式数据处理系统的高效故障恢复方法

针对流式数据处理系统Flink无法高效处理单点故障的问题,提出了一种基于增量状态和备份的故障容错系统Flink+。首先,提前建立备份算子和数据通路;然后,对数据流图中的输出数据进行缓存,必要时使用磁盘;其次,在系统快照时进行任务状态同步;最后,在系统故障时使用备份任务和缓存的数据恢复计算。在系统实验测试中,Flink+在无故障运行时没有显著增加额外容错开销;而在单机和分布式环境下处理单点故障时,与Flink系统相比,所提系统在单机8任务并行度下故障恢复时间减少了96.98%,在分布式16任务并行度下故障恢复时间减少了88.75%。实验结果表明,增量状态和备份方法一起使用可以有效减少流式系统单点故障的恢复时间,增强系统的鲁棒性。     

RAID0.5: design and implementation of a low cost disk array data protection method

RAID has long been established as an effective way to provide highly reliable as well as high-performance disk subsystems. However, reliability in RAID systems comes at the cost of extra disks. In this paper, we describe a mechanism that we have termed RAID0.5 that enables striped disks with very high data reliability but low disk cost. We take advantage of the fact that most disk systems use offline backup systems for disaster recovery. With the use of these offline backup systems, the disk system needs to only replicate data since the last backup, thus drastically reducing the storage space requirement. Though RAID0.5 has the same data loss characteristics of traditional mirroring, the lower storage space comes at the cost of lower availability. Thus, RAID0.5 is a tradeoff between lower disk cost and lower availability while still preserving very high data reliability. We present analytical reliability models and experimental results that demonstrate the enhanced reliability and performance of the proposed RAID0.5 system.     

一种基于隐马尔可夫模型的虚拟机失效恢复方法

随着虚拟化技术的发展与普及,越来越多的企业将关键业务系统部署到了虚拟化平台上。虚拟化技术降低了企业的硬件和管理成本,但同时也给系统的可靠性带来了严峻挑战。传统的方法通过运行时系统状态备份的方法来提高系统的失效恢复能力,但该方法会引入了巨大的系统开销。提出了一种基于隐马尔可夫模型的系统失效恢复性能优化方法。通过对系统运行时状态的预测分析,计算系统未来运行状态的概率趋势,并在运行过程中动态调整系统失效恢复功能与正常业务功能之间的资源分配,从而降低了系统的运行时性能开销,提高了业务系统服务能力。实验分析显示,该方法可以在保障系统可靠性的同时有效地降低系统的性能开销,在系统运行状态稳定的情况下,最高可以降低2/3的系统响应时间。     

双容错磁盘阵列校验散布布局的优化

采用模拟退火算法,对双容错磁盘阵列RAID6的数据布局进行校验散布优化,并且根据理想数据布局最主要的标准"重构负载均匀分布",以及对性能影响也较大的标准"校验负载均匀分布",对这种校验散布算法进行了验证,最后通过仿真实验,测试它的性能,并做出分析,结果显示该方法使RAID6在降级模式和重构模式下的负载得以均匀分布,从而使它的性能得以提高。