一种基于多层次校验的低恢复成本纠删码

随着纠删码在分布式存储系统中的实际应用,纠删码为存储系统提供了更加优秀的存储效率,但当节点丢失时,相较于传统副本技术更多的网络传输带宽开销成为了造成系统性能瓶颈的关键因素。为了解决MDS编码高带宽开销对系统性能的影响,一类新型编码方案——分组码被应用在分布式存储系统中,相较于传统MDS编码能够有效地降低节点修复时的数据传输量,从而减少网络带宽需求。在Pyramid分组码的基础上进行层次扩展,提出一种HLRC（hierarchical local repair codes）纠删码。HLRC相较于LRC引入了层次编码模型,将原始数据块构建为编码矩阵,根据层次进行分别编码,生成包含数据块范围不同的局部校验块;每个层次包含的数据块数量不同,可以保证修复节点时的低修复成本,同时还拥有较高的存储效率。HLRC相较于Pyramid拥有额外的校验块冗余,能够降低校验块出错和多节点出错时的恢复开销。在基于Ceph的分布式存储系统中的实验结果表明,HLRC与Pyramid等分组码相比,单节点修复开销最高可降低48.56%,多节点修复开销最高可降低25%。     

基于纠删码的HDFS存储方案

HDFS 文件系统通过多副本备份的方式解决数据损坏或丢失的问题,但是随着存储系统内容增多,在数据量级很大的时候,这种容灾方案消耗的额外存储空间是实际存储内容的数倍,不利于系统资源长期积累。文章提出使用纠删码编/解码文件代替 HDFS 的副本备份容灾策略,在保证数据安全性的前提下大大提高了存储空间利用率,降低存储额外消耗。     

纠删码存储系统中基于网络计算的高效故障重建方法

目前分布式存储系统的规模越来越大,不论存储设备是磁盘还是固态盘,系统都始终面临着数据丢失的风险.传统分布式存储系统大多采用基于三副本的高可靠性技术,但为了追求较低的存储开销,大量系统正在转向基于纠删码的可靠性方法.但是在纠删码方案下,重建故障数据需要读取多个存储设备,这将导致大量的网络传输和存储I/O操作,增大系统恢复开销.为了能够在不损失其他性能的同时降低恢复开销,利用软件定义网络(software defined networking, SDN)技术,提出一种基于网络计算的高效故障重建方案——网络流水线(in-network pipeline, INP),其中SDN 控制器利用网络的全局拓扑信息构造重建树,系统依据重建树进行数据传输,并在交换机上完成部分计算,减少向后传输的网络流量,从而消除网络瓶颈,提升恢复性能.测试评估了不同网络带宽下INP的恢复效率.实验结果表明：与传统的纠删码系统相比,INP总是能大幅减少网络流量,并且在一定带宽条件下,能够接近正常读的时间开销.     

基于纠删码的云计算存储备份及恢复策略

如何保障云存储系统中数据的可靠性是云计算领域的热点问题。副本备份技术是保障数据可靠性的重要手段,但是存在占用存储空间大、存储效率低等问题。纠删码能够提供优化的数据冗余度,以防止数据丢失,恰当地使用纠删码可以提高空间的利用效率并获得较好的数据保护效果,在通讯方面已经得到广泛应用。将纠删码引入云存储系统中,代替副本备份策略,以提高云存储系统的性能。实验表明该方案可以有效提高数据可靠性和空间利用率。     

基于多斜率码链的阵列纠删码

针对当前大多阵列纠删码容错能力偏低以及构造时需要满足的约束条件较强的问题,提出一类基于码链构造的阵列纠删码。该阵列纠删码使用不同斜率码链组织数据元素和校验元素间的关系,从而能达到理论上不受限制的容错能力;而在构造时避开了类似素数约束的强约束条件,易于实用和扩展。仿真实验结果表明,相对于RS（Reed-Solomon）码,基于多斜率码链阵列纠删码在运算效率上的提升超过了2个数量级;在固定的容错能力下,存储效率能随着条块尺寸的增加而提高。此外,该类阵列码的修复代价和更新代价为一个固定常量,不会随着系统规模的扩大或容错能力的提高而增加。     

RS类纠删码的译码方法

RS(Reed-Solomon)码可以根据应用环境构造出任意容错能力的码字,有很好的灵活性,且使用RS纠删码作为容错方法的存储系统能达到理论最优的存储效率.但是,与异或(exclusive-OR, XOR)类纠删码相比,RS类纠删码译码计算的时间开销过大,这又很大程度上阻碍了它在分布式存储系统中的使用.针对这一问题,提出了一类RS纠删码的译码方法,该方法完全抛弃了当前大多RS类纠删码译码方法中普遍使用的矩阵求逆运算,仅使用计算复杂度更小的加法和乘法,通过构造译码变换矩阵并在此矩阵上执行相应的简单的矩阵变换,能够直接得出失效码元由有效码元组成的线性组合关系,从而降低译码计算复杂度.最后,通过理论证明了该方法的正确性,并且针对每种不同大小的文件,进行3种不同大小文件块的划分,将划分得到的数据块进行实验,实验结果表明：在不同的文件分块大小情况下,该新译码方法较其他方法的译码时间开销更低.     

基于纠删码的HDFS存储调度技术

云计算环境下,对数据的实时处理要求高,降低时延、加快数据处理,可以提高客户对数据服务的满意度。在HDFS存储系统下,纠删码技术可以极大节省数据副本的存储空间,并能较好地实现冷数据的存储和使用。通过分析存储节点的负载率和性能指标对文件获取的平均时延的影响,设计了一种基于负载信息和吞吐量的调度算法。通过实验验证发现,调度算法在时延方面最高减少了20%平均时延,服务的稳定性提高了15%,使数据处理更加高效。     

纠删码的分析与研究

纠删码是一种以数据包为单位进行前向纠错的技术,对提高网络通信的质量和可靠性有着重要的意义。本文首先概述了纠删码的原理及其研究进展,将其系统的分为三类,RS类纠删码、级联低密度纠删码和数字喷泉码。详细介绍了这三类纠删码的编译码过程,分析了其产生的背景及特点。讨论了纠删码在多播传输、广播信道、深空通信、网络通信与数据传输等领域中的应用,并对其发展方向进行了展望。     

基于数据挖掘的存储数据纠删码容错方法仿真

在存储数据的纠删码容错中,针对传统存储数据纠删码容错方法容错速度较低的问题,提出一种基于数据挖掘的存储数据纠删码容错方法。采用数据挖掘方法对存储数据纠删码进行重构,计算存储数据纠删码的丢失片段;利用CHR算法对存储数据纠删码进行异构修复,通过建立存储数据纠删码容错模型实现存储数据的纠删码容错。为了验证存储数据纠删码容错方法的有效性,将存储数据纠删码容错方法与传统存储数据纠删码容错方法进行对比,实验结果得出:上述方法与基于流水线的存储数据纠删码容错方法、基于RapidRaid码的存储数据纠删码容错方法、基于非规则LDPC码的存储数据纠删码容错方法的容错速度分别为:286Mbps/s、262Mbps/s、243Mbps/s、232Mbps/s,比较可知,所提方法的容错速度最快,证明了上述方法的优越性。     

煤矿物联网中自适应FEC的丢包恢复研究

煤矿井下巷道由于长距离多跳、环境影响等因素造成了井下无线传感器网络数据传输可靠性较差。提出自适应FEC的丢包恢复策略,该策略基于指数加权移动平均法估计信道的丢包率自适应地调整冗余,以簇为单位进行编译码转发,与其他自适应FEC算法相比,该策略计算过程简单,自适应精度较高。理论分析和仿真实验表明,该策略在长距离多跳网络中能以较少的冗余数据最大限度的恢复丢包,从而减少节点重传次数,提高了煤矿物联网的可靠性和实时性。     

基于纠删码的细粒度云存储调度方案

针对云存储系统中数据获取时延长以及数据下载不稳定的问题,提出了一种基于存储节点负载信息和纠删码技术的调度方案。首先,利用纠删码对文件进行编码存储以降低每份数据拷贝的大小,同时利用多个线程并发下载以提高数据获取的速度;其次,通过分析大量存储节点的负载信息确定影响时延的性能指标并对现有的云存储系统架构进行优化,设计了一种基于负载信息的云存储调度算法LOAD-ALGORITHM;最后,利用开源项目OpenStack搭建了一个云计算平台,根据真实的用户请求数据在云平台上进行部署和测试。实验结果表明,相比于现有的工作,调度算法在数据获取时延方面最高能减少15%的平均时延,在数据下载稳定性方面最高能降低40%的时延波动。该调度方案在真实的云平台环境下能有效地提高数据获取速度和稳定性,降低数据获取时延,达到更好的用户体验。     

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

Coding scheme based on spherical polar coordinate for control over packet erasure channel

Like feedback strategy, coding scheme is an important part of networked control system design as well. On the basis of spherical polar coordinate, a novel coding scheme is proposed for stabilization problem of discrete linear time invariant system subject to packet erasure channel with feedback. The coding scheme uses encoder without access to control inputs. In the case that a decoder does not use control inputs, a definite relation between the quantized data and the corresponding quantization error is established, which helps to analyze the stability of system, and a selective quantization method is adopted, by which finite data rate is obtained. In the case that a decoder uses control inputs, instead of quantizing the system state at each time step as usual, the encoder quantizes the initial state all the time by updating quantizer. Sufficient conditions guaranteeing the system stable are presented for two cases, respectively, and the corresponding design methods for coding schemes are given. Copyright © 2012 John Wiley & Sons, Ltd.     

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。     

Joint video adaptation and erasure code for video broadcast in wireless networks

Advances in wireless access technologies such as WiMax and LTE have accelerated the development of wireless video applications.Though existing erasure codes are designed for wireless data broadcasting,their potential can only be realized for wireless video broadcasting if the distortions associated with video packets and their complex decoding dependency are taken into consideration.In this paper,we propose the greedy video erasure code(GVEC)to minimize average video distortion by accounting for the temporal scalable decoding dependency among video frames e.g.I,P and B frames in MPEG.GVEC is a greedy algorithm and sufers from high computational complexity.For practical implementation,we have designed the joint video adaptation and erasure code(JVEC)with lower complexity,which can generate erasure codes on the fly to guarantee the decoding of important video frames.Simulation results show that the performance of JVEC is very close to that of GVEC,and is superior to that of existing erasure codes.Our results also show the existence of a performance tradeof between video distortion and video packet throughput.     

适用于丢包信道的多描述图像量化方法

为提高不可靠网络条件下传输图像的重建质量,提出一种结合遗传算法和小波变换的多描述图像编码方法。利用离散小波变换(DWT)将源图像分解为4个重要性不同的子带,通过自适应遗传算法优化的量化步长对子带系数进行均匀量化,增大引入相关后各个图像描述中的低频信息比重。3组测试图像的仿真分析结果表明,在丢失2或3数据包时,相校基于固定步长的MDTC.DWT/UQ方法,该方法具有更好的鲁棒性,用假设检验的方法进一步验证了该方法的有效性。     

改进的基于小波包变换的语音特征提取算法

针对语音信号的非平稳特性,传统的应用短时分析技术容易丢失信息的现状,提出了一种利用小波包变换的技术对语音信号的共振峰特征（FDWPT）进行提取的方法。对整个语音信号进行多分辨分析的小波包变换,这样可以得到每个频带的小波分解值,结合共振峰的频率特性,选取适当的小波包分解结点,对这些结点建立共振峰参数,使用矢量量化模型进行识别,从而提高了说话人识别的效果。