一种低单盘故障恢复开销的局部修复码

如今随着存储系统规模的扩大和廉价磁盘的大量使用,单一磁盘故障在存储系统中发生故障的概率也不断上升。而在基于RDP编码的阵列存储系统中,恢复单个故障磁盘,需要读取全部的剩余数据磁盘,读取开销大,故障恢复时间长。而故障时间长就会导致系统在恢复过程中出错的概率增大,影响系统整体的稳定性。为进一步降低单个磁盘故障恢复的读取开销,减少恢复时间,提升存储系统可靠性,提出一种局部修复RDP码,通过增加一个局部冗余列来减少故障恢复时需要读取的数据量。实验结果表明改进方法在降低读取开销和减少恢复时间方面相对于传统的RDP单盘故障恢复方法有明显提高,并且能够恢复75%的三盘故障情况。     

RDP码存储系统节点故障恢复的读盘优化

实际的分布式存储系统面临着频繁的磁盘故障。为了保障数据可靠性,纠删码被广泛地部署在大规模存储系统中。在基于纠删码的存储系统中,快速有效地修复故障磁盘上的数据对于维护数据可靠性有重要意义。研究最重要的容两错纠删码——RDP(Row-diagonal parity)编码的磁盘故障修复问题,优化修复过程中磁盘访问的连续性。提出的单磁盘故障修复方案在保证读取数据量最小的前提下,最大程度避免了磁盘数据的随机读取,保持数据读取的连续性。通过在实际的分布式存储系统中实验,验证了该修复方案的实际性能,证实该算法可以很好地改善混合修复方案的随机读取引起的修复速度下降问题,最终提高了修复效率。     

存储系统中的局部修复阵列码模型

对于单容错和双容错的存储系统,在磁盘修复过程中发生的任何故障都可能引起数据丢失,导致修复失败,保证数据的修复效率对于存储系统的可靠性至关重要。RDP码在进行单盘故障修复时使用混合恢复算法能减少25%的读取总量,但是在进行双盘故障修复时需读取所有的元素。针对目前难以同时提升单双盘故障修复效率的问题,对RDP码进行拓展,提出了一种具有局部修复性质的阵列码模型——DRDP码。DRDP码在RDP码的基础上将部分数据列按水平线进行异或计算生成局部水平校验列,并将其参与到全局校验列的编码计算中,从而缩短了修复链,使其拥有局部修复的功能。通过理论分析,DRDP码拥有良好的编译码复杂度和更新效率,大幅节省了单盘故障修复读取开销,并对双盘故障修复读取开销进行了优化,同时能修复75%三盘故障的情况。实验结果表明,与RDP码、LRRDP码和RDP(p,3)码相比,DRDP码的编码时间可节省8.23%～32.89%、单盘故障修复时间可节省7.08%～35.01%、双盘故障修复时间可节省5.07%～29.26%。     

基于RAID6编码的校验盘故障修复算法

针对基于RAID6编码的分布式存储系统中校验盘故障修复问题,提出一种快速修复算法。通过对RDP和EVENODD编码的理论分析,利用节点的计算编码能力,传输经过编码的数据块来修复校验盘,减少修复过程中的数据传输量,缩短修复时间。理论分析表明,相比于传统修复算法,该算法可显著减少校验盘故障修复过程中耗费的带宽资源,提高修复效率。     

低编译复杂度的双容错阵列码

纠删码技术是独立磁盘冗余阵列-6(RAID-6)的双容错能力的底层实现技术，它的性能是左右RAID-6性能的重要因素。针对RAID-6中常用阵列纠删码的I/O不平衡和数据恢复速度慢的问题，提出一种基于异或（XOR）的混合阵列码——J码（J-code）。J-code采用新的校验生成规则，首先，利用原始数据构造的二维阵列计算出对角校验位并构造新的阵列；然后，利用新阵列中数据块之间的位置关系计算得到反对角校验位。此外，J-code将原始数据与部分校验位存储于同一磁盘，能减少编译码过程中的异或（XOR）操作次数和单盘恢复过程中读取数据块的个数，从而降低编译码复杂度和单盘故障修复的I/O成本，缓解磁盘热点集中现象。仿真实验结果表明，相较于RDP(RowDiagonal Parity)、EaR(Endurance-aware RAID-6)等阵列码，J-code的编码时间减少了0.30%～28.70%，单磁盘故障和双磁盘故障的修复用时分别减少了2.23%～31.62%和0.39%～36.00%。     

RS柯西码编码算法改进研究

针对RS(Reed-Solomon)算法编码过程涉及有限域运算,复杂度高,效率低,运算代价难以被大规模分布式存储系统所接受等问题,提出了一种RS柯西码编码改进算法。该算法用贪心算法选取局部最优柯西矩阵,减少柯西码的计算量。同时,引入二进制矩阵替换柯西矩阵中的有限域元素进行阵列化,将有限域运算转换为异或运算,并对阵列进行运算优化,进一步减少计算量,增加柯西码的编码效率。根据仿真实验表明,改进后RS柯西码与通过遍历得到的最优柯西矩阵的柯西码相比,计算量更小,与编码效率著称的阵列码中的EVENODD码和STAR码相比,编码效率更高。并且具有类似阵列码性质,能够选择更简单高效的译码方法,在一定程度上提高解码效率。     

基于局部冗余混合编码的故障快速恢复方法

最大距离可分（MDS）码中校验块均为全局校验块,重构链长度随着存储系统规模扩大而增长,重构性能逐渐降低。针对上述问题提出一种新型的非最大距离可分（Non-MDS）码：局部冗余混合编码Code-LM（s,c）。首先,为缩小重构链长度,任意条带单元组内只有局部校验块,分别为组内水平校验块和水平对角校验块,并设计了局部冗余混合编码的校验布局;然后,根据不同校验块的生成规则,设计了失效数据块的4种重构方式,不同失效块的重构链具有公共块;最后,根据两个故障磁盘所在条带单元组距离不同,将双盘故障分为3种情况,并设计了对应的重构算法。理论分析和实验结果表明,存储规模相同时,与RDP相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少84%和77%;与V²-Code相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少67%和73%。因此局部冗余混合编码可支持故障磁盘快速恢复,提高存储系统可靠性。     

一种基于3容错阵列码的RAID数据布局

在EVENODD码的基础上,提出一种新的基于EEOD码的RAID数据布局,只需要3个额外的磁盘保存校验信息,能容许任意3个磁盘同时故障,并给出了EEOD的代数定义,理论上证明了EEOD码的MDS性质.从一种新的途径讨论了EEOD码的译码过程:用图的回路表示通过"异或"运算得到的校验方程组,把译码过程归结为图回路的叠加,进而校验方程组图中度为偶数的顶点逐步消除.讨论了基于EEOD码阵列布局的性能,与其它RAID结构相比,容灾能力大幅度提高,编码和译码过程只需要简单的异或运算,但是空间利用率影响非常小,并且EEOD具有很好的性能,具有很好的应用前景.     

找回损坏磁盘中的文本数据

软盘损坏是经常的事,如果有一张存有很多数据的磁盘损坏时将给工作带来很大损失,但是磁盘损坏时往往不是整个磁盘扇区全部损坏,很可能是某一关键扇区数据损坏导致整个磁盘的数据无法读出,而绝大多数的数据扇区中仍然完整地保存着原来的内容,这就给磁盘数据的恢复提供了条件,下面就有关问题谈一下体会。 磁盘文件读取错误的因素 1、磁盘的0磁道损坏,这是一种常见的磁盘故障,当0磁道损坏时,整个磁盘将无法读取并且不能格式化,此时宣告磁盘作废,对于一般的用户来说相当于磁盘中的数据全部丢失。     

RAID控制器中矩阵重构方法研究

对于数据重构,纠删码提供了一个特定的编码方法,用于保护那些在磁盘阵列中的多重失效.在RAID的应用中,用纠删码为条块数据丢失建模,以便优化重构算法来重构整个条块.换句话说,它们只应用于高度相关的扇区故障,也就是在丢失磁盘上连续的扇区.定位了两个更一般的问题:①由分散或不相关的擦除导致丢失的数据的恢复;②由单个磁盘(存在许多故障时)导致的部分但连续的丢失数据的恢复.对两个问题所建议的方法是完全一般化的,并且能够应用于任何纠删码,但是此方法最适合基于异或的编码.对于分散的擦除,典型的是为每一个丢失扇区的数据规定了两种结果:要么这个丢失的数据被宣布为不可恢复,要么宣布为可恢复.并且,为只依赖于可读扇区的重构提供一个规则.简而言之,这个方法既完整又具有建设性.     

故障硬盘的数据备份与销毁

硬盘承载着重要数据,它的精密度很高,而且它内部的机械运动快速而准确。一旦这个精密装置的某一部分出现了故障,存储在里面的数据就无法访问,甚至有可能会永久丢失。修复硬盘,找回数据,是数据恢复工程师的神圣使命。一般来说,经修复的硬盘稳定性已大为下降,所以不建议继续使用。但硬盘不用后也不能随意丢弃,因为里面还存储有机密数据,应当将其数据销毁。本文就针对带有坏扇区故障硬盘的数据如何实现数据备份与销毁,以便用户能读出(或销毁)其中重要的数据。     

减少重建数据量的冗余编码技术研究

为防止硬件故障或机器宕机导致的数据丢失,冗余编码技术被广泛应用于分布式存储系统中来保证数据的可靠性。然而,传统的冗余编码技术,如里德-所罗门码,存在着重建数据量大的问题。副本技术在重建丢失数据时只需要读取和传输丢失的数据,而冗余编码需要读取和传输更大的数据量,从而消耗更多的磁盘I/O带宽和网络带宽。因此,基于冗余编码的分布式存储系统在重建数据时将消耗更长的时间,从而将整个系统长时间暴露在一种降级的模式下,进而增加了发生永久性数据丢失的风险。为解决这个问题,减少重建数据量的冗余编码技术不断被提出,然而只有这些冗余编码与传统的里德-所罗门码的比较,缺少它们在存储系统的综合比较。系统地从减少重建数据量等几个重要方面研究了这些减少重建数据量的冗余编码技术,从而为实际系统中采用合适的编码提供重要参考和依据。     

Disk scheduling in video editing systems

Modern video servers support both video-on-demand and nonlinear editing applications. Video-on-demand servers enable the user to view video clips or movies from a video database, while nonlinear editing systems enable the user to manipulate the content of the video database. Applications such as video and news editing systems require that the underlying storage server be able to concurrently record live broadcast information, modify prerecorded data, and broadcast an authored presentation. A multimedia storage server that efficiently supports such a diverse group of activities constitutes the focus of this study. A novel real-time disk scheduling algorithm is presented that treats both read and write requests in a homogeneous manner in order to ensure that their deadlines are met. Due to real-time demands of movie viewing, read requests have to be fulfilled within certain deadlines; otherwise, they are considered lost. Since the data to be written into disk is stored in main memory buffers, write requests can be postponed until critical read requests are processed. However, write requests still have to be processed within reasonable delays and without the possibility of indefinite postponement. This is due to the physical constraint of the limited size of the main memory write buffers. The new algorithm schedules both read and write requests appropriately, to minimize the amount of disk reads that do not meet their presentation deadlines, and to avoid indefinite postponement and large buffer sizes in the case of disk writes. Simulation results demonstrate that the proposed algorithm offers low violations of read deadlines, reduces waiting time for lower priority disk requests, and improves the throughput of the storage server by enhancing the utilization of available disk bandwidth     

针对Flash存储介质的数据恢复技术研究

针对Flash存储介质的数据恢复技术是信息安全领域中一个非常重要的研究课题。Flash存储介质有其独特的、不同于磁存储介质的存储特性,所以在数据存储方式上也与磁存储介质有所不同。针对Flash存储介质的存储特性而设计的闪存文件系统通过闪存转换层来实现数据的读写和芯片的管理。因此从文件系统级和芯片级两个方面对Flash存储介质的数据恢复技术进行了研究,并提出了下一步工作方向。     

计算机数据恢复技术的原理与实现

数据恢复不仅可以对文件进行恢复,还可以恢复物理损伤的磁盘上的数据。同样,也可以恢复不同操作系统的数据。从本质上看,数据恢复也是从存储介质上读取数据的过程,只不过采用常规的方法没有效果,需要采用特殊的技术和方法。     

浅谈磁盘数据丢失的原理以及恢复方法

目前很多人的重要资料都保存在硬盘、U盘、数码存储卡、Mp3等等设备上,磁盘数据恢复是在磁盘发生故障而不能读取数据,或是操作失误以及病毒侵袭等等造成数据丢失,使用专门的设备或是软件将数据从硬盘上提取出来的服务。     

连续媒体服务器存储系统中的容错算法

连续媒体服务器(如VOD服务器)要对大量连续媒体数据(如声频、视频)进行管理,按一定速率为用户提供连续的媒体服务。因此,在这样的系统中,作为存储设备的磁盘阵列要具有高可靠性和一定的容错能力。文章提出一种基于奇偶检验的数据重构恢复算法,以保证系统中只有一个盘出现故障时,能使服务器及时重构出故障盘上的数据,并且算法充分利用了媒体流内在特性———回放时数据的连续性,与目前使用的标准故障恢复算法相比,大大减少了磁盘在线故障后数据重构过程的系统开销。最后通过分析、比较证明了算法的有效性。     

数据依赖约束下的任务调度资源选择算法

大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑。在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2DC)。任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略。实验结果表明：所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率。