RDP码存储系统节点故障恢复的读盘优化

实际的分布式存储系统面临着频繁的磁盘故障。为了保障数据可靠性,纠删码被广泛地部署在大规模存储系统中。在基于纠删码的存储系统中,快速有效地修复故障磁盘上的数据对于维护数据可靠性有重要意义。研究最重要的容两错纠删码——RDP(Row-diagonal parity)编码的磁盘故障修复问题,优化修复过程中磁盘访问的连续性。提出的单磁盘故障修复方案在保证读取数据量最小的前提下,最大程度避免了磁盘数据的随机读取,保持数据读取的连续性。通过在实际的分布式存储系统中实验,验证了该修复方案的实际性能,证实该算法可以很好地改善混合修复方案的随机读取引起的修复速度下降问题,最终提高了修复效率。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

SCSI冗余路径驱动程序在Windows NT下的设计和实现

该文研究了在NT系统中RDP设备驱动程序的设计原理和实现方法。RDP驱动程序通过对磁盘I/O请求的挂接和处理,实现故障切换和负载均衡。在路径发生故障时RDP驱动程序将I/O切换到其它路径,以增加系统的可用性。通过将I/O负载均衡分布在各SCSI路径,以增加系统数据吞吐能力。     

异构磁盘阵列DSUraid5数据分布方法

通过分析以往的异构磁盘阵列数据算法，提出了DSUraid5数据分布方法。根据磁盘性能参数，给磁盘设定不同的条带单元，提出虚拟同构磁阵的概念，解决校验块的计算及分布问题。通过结合动态条带单元和左对称校验单元布局方法，使磁阵中各磁盘达到负载均衡或基本均衡。模拟实验结果表明，与raid5相比，DSUraid5数据分布方法的性能可提升40％，适应于不同场合。     

基于动态布局的块级网络存储系统VISA

高性能、可扩展的网络存储系统在当今数据密集型应用中日益重要.分布式RAID作为一种存储体系结构,被广泛应用在集群和分布式计算环境中,但其机械的数据放置策略会导致在数据一致性维护中读写性能的下降.基于分布式RAID和存储虚拟化的理念,提出了一种新型块级网络存储系统VISA(virtual interface storage architecture).VISA系统不仅可以实现本地和远程的快速存储访问,而且可以根据当前各存储节点的负载状况和数据布局策略,将用户I/O请求的逻辑块地址动态映射到物理块地址,从而达到负载均衡与高性能的统一.测试结果显示,使用这种动态映射策略的VISA系统与传统的采用分布式RAID结构的IP-SAN相比,顺序写性能提高了78.66%～141.77%,顺序读性能提高了34.89%～51.73%.     

基于局部冗余混合编码的故障快速恢复方法

最大距离可分（MDS）码中校验块均为全局校验块,重构链长度随着存储系统规模扩大而增长,重构性能逐渐降低。针对上述问题提出一种新型的非最大距离可分（Non-MDS）码：局部冗余混合编码Code-LM（s,c）。首先,为缩小重构链长度,任意条带单元组内只有局部校验块,分别为组内水平校验块和水平对角校验块,并设计了局部冗余混合编码的校验布局;然后,根据不同校验块的生成规则,设计了失效数据块的4种重构方式,不同失效块的重构链具有公共块;最后,根据两个故障磁盘所在条带单元组距离不同,将双盘故障分为3种情况,并设计了对应的重构算法。理论分析和实验结果表明,存储规模相同时,与RDP相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少84%和77%;与V²-Code相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少67%和73%。因此局部冗余混合编码可支持故障磁盘快速恢复,提高存储系统可靠性。     

云存储多卷负载均衡的LSM键值存储系统

单个云存储卷的IOPS和带宽性能受到限制，通过组合使用多个云存储卷的方式能以较低的费用获得更高的性能.但是，现有工作缺乏针对多云存储卷优化的LSM键值存储系统的探究.首先将现有多路径或哈希负载均衡的方案应用于使用多云存储卷的LSM键值存储系统，相对单个大容量卷的性能有显著提升；但是，现有多卷负载均衡方案的写数据策略，无法感知LSM键值存储系统的数据布局特点，导致各成员卷之间仍然存在负载不均衡的问题，不能充分发挥出多卷的最大性能.为此，提出一种云存储多卷负载均衡的LSM键值存储系统TANGO.在LSM键值存储系统由compaction新生成的sstable落盘之前，先根据统计的各个成员卷的关键信息，判断sstable与各成员卷的键范围重叠情况，然后选择键范围重叠最小的成员卷进行写入；针对读为主的负载，无法通过compaction达到负载均衡，TANGO采用后台数据迁移方式进一步达到负载均衡.在亚马逊云存储卷上的评估表明，相比相同存储容量的单卷，采用了TANGO方案的同等容量的多卷可提高7倍左右的性能；相比其它多卷方案，TANGO能提升20%以上的性能，且各成员卷间负载更加均衡.     

一种低单盘故障恢复开销的局部修复码

如今随着存储系统规模的扩大和廉价磁盘的大量使用,单一磁盘故障在存储系统中发生故障的概率也不断上升。而在基于RDP编码的阵列存储系统中,恢复单个故障磁盘,需要读取全部的剩余数据磁盘,读取开销大,故障恢复时间长。而故障时间长就会导致系统在恢复过程中出错的概率增大,影响系统整体的稳定性。为进一步降低单个磁盘故障恢复的读取开销,减少恢复时间,提升存储系统可靠性,提出一种局部修复RDP码,通过增加一个局部冗余列来减少故障恢复时需要读取的数据量。实验结果表明改进方法在降低读取开销和减少恢复时间方面相对于传统的RDP单盘故障恢复方法有明显提高,并且能够恢复75%的三盘故障情况。     

Unix系统SCSI冗余路径驱动程序的设计和实现

在主机和存储系统之间连接多条SCSI路径，在路径发生故障时RDP驱动程序将I／O切换到其他路径，以增加系统的可用性。通过将I／O负载均衡分布在各SCSI路径，能增加系统带宽。讨论了在Unix系统中RDP设备驱动程序的设计原理和实现。