基于拉丁方的最优局部修复码构造

使用构造的具有(r,t)-局部性的局部修复码(LRCs)难以同时实现最小距离最优和码率最优。对此，提出一种基于拉丁方的LRCs构造算法，将拉丁方中的数字元素按照一定规律转换为二进制元素，再结合矩阵的克罗内克积构造所需的校验矩阵，从而构造具有(r,2)-局部性的单校验二元局部修复码(BLRCs)。进一步提出了基于正交拉丁方的LRCs构造算法，并用于构造具有任意可用性t的BLRCs。理论分析结果表明，构造的这2种LRCs的最小距离均达到了最优的最小距离界。与基于直积码和基于阵列低密度奇偶校验码构造的LRCs相比，所提算法实现了更优的码率。     

云存储系统中基于MSR码的局部性修复编码

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案. 具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性. 性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优.     

基于Hadamard矩阵构造部分重复码

针对分布式存储系统故障节点修复问题,提出一种部分重复(FR)码的构造算法。由Hadamard矩阵经过简单变换直接构造FR码。随后引入了分组思想,由8阶Hadamard矩阵构造分组FR码(HGFR),构造更加简洁直观,实现多故障节点在局部修复组内进行精确无编码修复。理论分析发现,与RS码和SRC简单再生码相比,设计的HGFR码在分布式存储系统节点发生故障时的修复局部性、修复复杂度和修复带宽开销都降低,且修复效率提高,减少了故障节点的修复时间。     

哈夫曼树的异构部分重复码构造

针对分布式存储系统中数据被访问频率的不同,提出一种基于哈夫曼树的可变重复度的异构部分重复(HVFR)码,将不同访问频率的数据块作为哈夫曼树带有确定权值的叶子节点,构造哈夫曼树并确定数据块的重复度,利用成对平衡设计构造异构部分的重复码,能够提高热数据的并行访问速度和系统存储效率. 性能分析和实验结果表明,与里所码以及简单再生码相比,HVFR码可以显著减少故障节点的修复时间及修复局部性,提高热数据的并行访问速度,达到负载均衡,且计算复杂度低.     

基于循环矢量构造的精确修复MDS编码

为解决分布式存储系统节点精确修复的问题,构造了一类最小存储再生编码,该编码属于最大距离可分(MDS)删除码. 利用循环矢量构造生成矩阵,将冗余数据与系统数据混合存储,编码过程中所有的运算都属于伽罗华2域. 采用该编码的存储系统,在发生单节点故障时,精确修复的最小带宽为理论最小值,在系统正常工作时,能为单用户提供最大理论值的可用带宽. 与最小存储再生码和最小带宽再生码相比,编码矩阵简单,解码计算量较小,能提供较高的可用带宽.     

基于Hadamard向量的新型(k+2,k)MSR码

在分布式存储系统中,再生码是一种能够最优修复节点丢失数据的编码策略.在存储空间有限的前提下,设计出一种高码率的最小存储再生码可以进一步提高存储空间的利用率.利用Hadamard向量设计出一种新型高码率最小存储再生码,实现最优精确修复所有系统节点数据.这种新的编码策略将Hadamard向量进行变型,同时改变了Hadamard向量放置在编码矩阵中的位置.与原有的(k+2,k)Hadamard MSR码策略不同,将编码矩阵中的Hadamard向量从主对角线位置移至非主对角线上时,能够减少修复过程中有限域上的运算次数.从而使这种新型再生码策略在能够精确修复系统节点数据的同时,进一步降低数据修复过程中的计算复杂度.     

非均匀故障保护的分组修复码构造

考虑到实际分布式存储系统中存在热度不同的文件,构造了一种基于非均匀故障保护的分组修复码（GRC-NFP）,可对热文件和高故障概率节点提供更高等级保护,并降低多故障节点修复的磁盘读取开销.在文件冷热分组后,用所存目标节点故障概率表征数据块故障概率,并排序,存入长度依次递增的多个数据分组,并生成组编码块.性能分析和实际系统部署结果表明,与里德-所罗门码和分组修复码相比,GRC-NFP可在存储开销较小的条件下拥有较高的容错能力和较低的修复局部性,并且使热文件能够受到更有效地保护.系统部署下较少的编码和故障修复时间进一步证明了GRC-NFP的可行性.     

基于Hadamard矩阵的最优局部修复码构造

现有的局部修复码大多能满足最小距离最优的边界条件,但是在满足最小距离最优情况下构造维度最优的局部修复码还比较困难。针对上述问题,提出一种基于Hadamard矩阵的最优局部修复码的构造方法,通过对Hadamard矩阵进行扩展,构造局部修复码的校验矩阵,进而通过此校验矩阵构造最优局部修复码。首先,基于Hadamard矩阵构造局部修复码的校验矩阵,通过校验矩阵构造的局部修复码的最小距离可以达到最优最小距离界,但是其维度没有达到最优维度边界条件;为进一步提高维度,将校验矩阵中的关联矩阵0和1元素互换得到新的关联矩阵,通过和新的关联矩阵级联进行扩展,构造的扩展局部修复码不仅可以达到最小距离最优,且能达到维度最优的边界条件。与现有局部修复码相比,该构造的局部修复码是最小距离和维度最优的局部修复码,且其码率也更逼近局部修复码最优码率的边界。     

分布式存储系统的数据冗余策略

针对分布式存储系统的数据可用性问题展开了深入的研究,提出了一种支持纠删码的冗余倍数估计算法,根据数据统计特征获取单个数据块最优冗余方案;并基于该算法模型设计了一种适用于分布式存储系统的数据冗余策略,旨在消耗最小的存储开销获得最优的数据可用性.在实现该数据冗余策略的过程中,为了优化理论算法模型的工程可行性,提出了基于采样计算中间经验参数的方法,有效地利用目标存储数据的统计特征降低算法的计算复杂度.仿真实验验证了这种数据冗余策略的可行性和有效性.     

面向海量无线电监测数据的分布式存储系统研究

提出了一种针对海量无线电监测数据的分布式存储系统的体系结构。结合Hadoop云计算平台和HBase分布式数据库的存储特点,在Linux平台下设计了针对海量无线电监测数据的分布式存储系统。该系统旨在对海量分布式无线电监测数据进行快速、高效、可靠地处理,用以满足无线电监测管理部门对监测数据的存储、检索和分析的需求。     

一种新的3容错扩展RAID码

随着存储系统规模的扩大,如何提高存储系统可靠性成为一个必须解决的问题. 目前的双容错独立冗余磁盘阵列(RAID)码已经无法满足存储系统可靠性要求. 在双容错行对角奇偶校验(RDP)码的基础上,提出了一种编码冗余率和纠错能力达到编码最优的新的扩展RDP-RAID码,可以允许任意3磁盘同时故障,并给出了一种基于二元矩阵变换的简单和直观的译码算法. 与STAT码和EEOD码相比,扩展RDP-RAID码的编译码复杂度、更新复杂度、存储效率的综合性能可达到最优,存储可靠性高.     

现代MRO系统的可扩展数据管理策略研究

现代MRO系统是对产品全生命周期中各种不同类型数据进行统一管理和存储的数据管理平台,既要具有海量存储的能力,亦需要具有可扩展性。而现存的MRO系统,要么只关注存储问题,要么只解决可扩展性问题。提出了一种二层数据管理模型,上层利用内存存储解决可扩展性,下层使用分布式键值存储(KV存储)达到海量存储的目的。通过在应用程序和KV存储系统之间添加键分组的中间层,使得实时处理所需要的键被组合起来缓存在一个节点上,既满足了实时应用的特性,又提高了动态可扩展性。首先给出了实时处理键组的数据模型,其次介绍实时处理键组的创建和删除协议,最后提出了支持实时处理键组的海量数据存储系统结构并对系统进行了评价,取得良好的效果。     

一种有效的局部可修复码的构造方法

为了能够同时优化局部可修复码的平均信息修复度、平均修复度以及更新复杂度,并降低构造局部可修复码的算法复杂度,通过分析Tanner图的特点,提出了一种新的构造方法。首先,对局部校验节点进行设计,在满足局部可修复码的平均信息修复度为最优的基础上,通过区分局部组的特点,对重叠组进行分类构造,优化码的平均修复度;其次,对全局校验节点进行设计,优化码的更新复杂度;最后对构造码的算法复杂度进行分析和对比。结果表明,所提出的方法优化了以上所述的性能,且降低了局部可修复码在构造过程中的复杂度。     

高性能计算的海量存储系统新型访问策略分析

为解决海量信息处理中实时访问的"I/O墙"问题,提高海量信息分布式存储系统的性能,提出了一种基于HPC的存储部件新型访问策略.首先分析了传统访问模型存在的问题;其次研究了存储部件直通路模式的工作机理,建立了存储系统的多层次、分布式模型,根据不同层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;继而分析了直通路访问模式下的存储路径时间开销;最后在模拟环境下进行存储部件访问的性能测试,并在实际应用系统中对该策略进行验证.验证测试结果表明,该方法能够有效提高存储系统性能,满足海量信息处理的实时性需要.     

海量磁存储阵列控制算法软优化

RAID (Redundant Arrays of Inexpensive Disks)据存储技术综合应用了磁盘镜像(Mirror)技术、数据延展(条带化)技术以及奇偶校验技术,提高了海量数据磁存储的速率与可靠性.软RAID存储系统能有效降低硬RAID存储系统的硬件复杂度,最大限度提升存储系统的I/O性能.文中主要围绕...     

分布式存储系统中带宽最优的数据修复策略

针对基于网络编码的分布式存储,研究了满足给定重建时间(即节点修复数据所耗时间)约束条件的节点数据修复问题,提出了重建时间约束下的最优节点数据修复策略,建立了该策略的优化模型并显式给出最优解.数值分析结果表明,该修复策略能在给定的重建时间阈值内最小化修复带宽,而且该修复带宽随着重建时间阈值的增加而快速下降.     

H Base 下时态信息索引策略研究

针对海量非结构化时态信息存储与快速检索的需求,提出使用Hadoop 平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;设计了多级分布式哈希索引表算法（ tDHT）,实现对时态列族的时态属性值的高效、快速的检索。通过将时态属性值向二维空间映射,实现时态数据向空间对象的转化,采用对空间数据的处理方法对时态数据区域进行划分,生成多级时态数据子区域,利用分布式哈希表思想设计HBase存储的多级索引表目录。实验结果表明,该索引策略具有较高的性能,可以在一定程度上加快对HBase中时态信息的检索速度。     

基于非均匀循环编码的分组修复码构造

考虑到实际分布式存储系统中节点故障情况的多样性,该文提出一种基于非均匀循环编码的分组修复码(GRC-NCC),使高故障率节点得到更有效的保护.具体地,根据节点故障率对存储节点进行非均匀分组,将数据块依次存入长度递增的节点分组,再使用跨条带循环编码的思路生成组编码块和全局校验块.性能分析以及实验仿真表明,GRC-NCC虽...     

基于水平纠删码的云存储数据布局方法

针对云存储系统的扩展性和数据容错问题,设计了一种基于水平阵列纠删码的通用云存储系统方案,系统可按存储节点子集进行规模扩展;给出了一种可容3列随机删除错的数据布局方法,并利用校验数据位与信息数据位之间的对应关系,寻找到一种具有低计算复杂度的数据重构算法,提高了丢失数据的恢复性能.理论分析和原型系统测试表明,本布局方法与存储方案适合于构建对数据编译码复杂度、系统扩展性都具有较高要求的云存储系统.     

基于云存储技术的数据安全策略研究

当今,在互联网和云计算技术背景下,企业海量的数据通过网络被放置在云存储系统中,云存储平台服务主要通过网络环境来实现,数据的安全性是用户非常关注的问题。在探讨云存储系统基本概念和优势的基础上,分析了云存储面临的安全隐患,并研究了云存储系统下数据的安全防范措施,以求进一步保证云存储数据的安全。