随机阵列码:一种高容灾易扩展的RAID存储容灾方法

针对大数据存储容灾系统中数据存储的可靠性和扩展性等问题,提出一种具有较高容灾能力且高效易扩展的存储容灾方法,称之为随机阵列码。通过研究 上随机矩阵列满秩的性质,并将其应用在RAID阵列存储容灾方案中。首先,依据RAID存储系统环境配置和容灾需求设置条带参数,构建相应规模且满足特定性质的随机矩阵作为编码矩阵,并利用它将数据分块编码存储到不同磁盘上。当发生磁盘损毁、扇区失效等原因造成数据丢失时,可依据相应的校验矩阵及剩余的编码分块进行失效数据的高概率译码恢复。从而,实现了数据高效、可靠地容灾存储。实验及理论表明,① 上的随机矩阵,在随机概率p=0.5,矩阵行列差 时,即具有高概率列满秩的性质。②随机阵列码在编码参数上,不再受到素数或有限域规模的限制,具有灵活的设置方式,同时其容灾能力也可根据容灾需求灵活扩展。③随机阵列码基于XOR运算,与相关文献提出的RS码,CRS码方法相比,具有较高的编译码速率,特别是在较大规模存储容灾系统中表现良好。④在存储空间利用率上,与相关文献提出的Tornado码和LT码相比,随机阵列码随着规模的增长,趋于近似MDS码,具有较高的存储空间利用率。随机阵列码为大数据存储容灾技术的概率性存储容灾方案提供了一种新的解决思路,具有高效,可靠,易扩展等特点,可实现一般化存储容灾方案的订制,此外,也可与其它的存储容灾技术结合使用,共同构建特定需求下的存储容灾系统。     

一种动态数据多副本持有性证明方案

为检查云存储服务中提供商是否按服务等级协议的约定完整地存储了多个文件副本,提出了一种基于同态Hash的动态多副本持有性证明方案hHash-MRPDP.一方面,hHash-MRP-DP通过对文件加密和对密文进行掩码运算来生成多个副本;另一方面,利用同态Hash对密文的每个数据块计算一个验证标签,从而可以根据Hash的同态性质对所有副本进行批量持有性检查.在实现对多副本批量持有性检查的同时,hHash-MRPDP还具有能定位及修复错误块、可扩展以支持数据更新、能抵抗替换、重放和伪造攻击,以及低计算、存储和通信负载等特点.     

基于小世界模型和对等代理的副本定位模型

针对目前数据网格环境中已有的副本定位方法和P2P中的数据定位方法提出了一种基于小世界模型和对等代理的副本定位模型。利用小世界特性和物理网络的远近划分各个虚拟组织（VO），在VO内部采用一个代理用来存储该域内的全局副本定位信息，在VO间各个代理是对等的关系，采用对等代理机制进行副本定位，并对其高效性、可靠性及可扩展性进行了评价分析。     

基于march算法的网络多维数据优化存储方法

传统的多维数据优化存储方法存在存储性能较差,信噪比较低的问题。为此,提出一种基于march算法的网络多维数据优化存储方法。根据映射函数,对网络多维数据进行映射函数整数编码;通过映射获得多维数组的坐标值,完成维数据组织构建;依据二进制编码获取更高的网络多维数据存储效率;利用顺序存储与分块存储完成度量数据组织,通过块的压缩存储节约数据存储占用空间;利用march算法测试网络多维数据存储方法,完成存储方法的优化。实验结果表明,在不同压缩比时,该方法在数据存储过程中的最高信噪比可达96;在不同稀疏度时,该方法在数据存储过程中的信噪比依旧较高,具备较优的数据存储性能。     

容错存储编码算法的分析研究

对现有的客错存储算法，如副本算法、Quorum系统以及各种编码算法在动态网络环境下进行了分析，通过仿真表明LT编码用于大规模分布式容错存储系统具有诸如安全、自适应、高可用性等良好性能。     

一种P2P分布式系统高可靠数据恢复模型

交叉存储和并行传输给出的数据失效模型,虽然达到了可靠存储、快速数据恢复的目标,但是其假定了下载速度随着并行传输数的增加呈现线性增长,其约束过于理想.提出一种基于并行传输策略、泊松分布理论和数据交换中心机制的数据恢复模型,模型引入非线性速度和函数,取消了对物理网络并行传输速度的假定与约束.从理论上分析了各种参数对数据恢复模型性能的影响.实验结果与理论分析一致,模型在使用了与双副本相同存储空间和网络流量影响一致的前提下,有效地降低了数据的失效概率.     

种P2P分布式系统高可靠数据恢复模型

叉存储和并行传输给出的数据失效模型，虽然达到了可靠存储、快速数据恢复的目标，但是其假定了下载速度随着并行传输数的增加呈现线性增长，其约束过于理想.提出一种基于并行传输策略、泊松分布理论和数据交换中心机制的数据恢复模型，模型引入非线性速度和函数，取消了对物理网络并行传输速度的假定与约束.从理论上分析了各种参数对数据恢复模型性能的影响.实验结果与理论分析一致，模型在使用了与双副本相同存储空间和网络流量影响一致的前提下，有效地降低了数据的失效概率.     

一种适合移动云节点的可靠存储模型

多维异构的情况下,完全副本的存储方式网络传输负担重,单个节点的能耗消耗大,可用性低。针对于此,该文提出了两种适合移动节点的存储模型:1) 交叉存储策略;2) 比例存储策略。模型中移动节点不再存储数据的完全副本,同时根据移动节点的带宽差异性的特点,将存储和并行传输统筹考虑,降低速度缓慢节点对于整体性能的影响。实验表明,该文并行传输模型相比传统的传输算法,既聚集了较大的带宽,也节省了存储空间。     

基于插件模式的私有云存储系统的存储池设计

为满足私有云存储系统中采用不同底层存储介质的需求,提出了一种基于插件模式的私有云存储系统的存储池设计.在数据存储层与数据管理层之间建立统一存储层,包含各类插件并基于适配插件提供的动态性能参数,由统一存储层管理器制定存储策略和IO策略,以平衡存储节点流量,提高存储池的整体性能.实验结果表明,该设计可以提高企业存储资源利用率,提升异构存储横向扩展能力,有效降低私有云存储服务的整体运营成本.     

基于价值模型的数据副本替换算法

针对网格环境下数据的高度动态性特点，提出了一种基于价值模型的数据副本替换算法，给出了副本价值计算方法，并把它应用到数据副本替换中，即在进行数据复制过程中存储空间不够用时，删除掉价值最低的副本。该数据副本替换算法实现了数据分布和复制的优化，有效提高了数据网格环境下网格任务访问数据的最大吞吐量。实验表明，采用基于价值模型的副本替换算法，有效的提高了网格任务访问数据副本的效率。     

网格副本选择策略算法的研究

副本管理是数据网格中一个重要的组成部分,良好的数据副本管理策略是提高数据网格服务质量(Qos)的一个重要方面,本文主要对副本管理策略中的副本选择策略进行了研究。数据副本的选择策略讨论的是在己知的多个数据副本中如何根据当时的网络状态选择一个最佳的数据副本。本文提出了基于遗传算法的副本选择策略,这种选择策略考虑了多个副本请求对应多个副本资源的最佳分配方案,利用遗传算法得到最佳的数据副本分配方案,使副本的选择策略更高效。     

基于键值存储的元数据集群副本一致性研究

设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。     

基于价值模型的数据副本替换算法

针对网格环境下数据高度动态性的特点,提出了一种基于价值模型的数据副本替换算法,给出了副本价值计算方法,并把它应用到数据副本替换中.即在进行数据复制过程中,存储空间不够时,删掉价值最低的副本.算法实现了数据分布和复制的优化,有效提高了数据网格环境下网格任务访问数据的最大吞吐量.实验表明,采用基于价值模型的副本替换算法,有效地提高了网格任务访问数据副本的效率.     

北京多源历史空间信息展示平台设计与实现

运用JCR内容仓库、地理信息系统及网络技术,对各种历史空间数据和非空间数据进行了有效的存储、查询及管理,实现了基于历史地图兴趣点的动态标注和多源异构数据可视化展示,为历史空间信息的普及应用提供了有效的解决方案.     

面向教育资源云存储系统的副本管理

根据教育领域中资源访问的聚集性等特征,以教育资源云存储系统架构为基础,设计了副本热度表征副本访问聚集性程度,实现了基于时空特征的副本相关数值计算;同时运用服务集概念和Hadoop分布式文件系统(HDFS)的存储机制提出了三方面的副本管理策略;最后在已开发的教育云存储系统ERS-cloud上进行了一系列实验,结果表明该策略能有效提升教育云存储系统应用效率.     

基于喷泉码的分布式鲁棒存储

一种基于喷泉码的分布式鲁棒数据存储技术,可以保证数据的可靠存储和高效获取.将喷泉码及其改进型的LT码和Raptor码的原理运用于分布式网络数据存储中,指出要恢复M个数据包,只须接收略大于M个数据包即可,一部分数据包丢失的影响可以忽略,从而实现了数据存储的鲁棒性和高效性.讨论了影响存储鲁棒性的关键因素.     

一种适用于WSN的数据存储方法

无线传感器网络（WSN）是以数据为中心的网络,如何对传感器节点采集的感知数据进行有效的存储和查询访问已经成为WSN研究的重点。提出一种基于层次路由的分布式数据存储方法,降低了WSN网络的通信负载且使得网络内各节点能耗更加均衡,从而有效地延长了无线传感器网络的生存时间．     

网格环境中基于p-中值选址的副本放置算法

针对现有的副本放置中存在的问题,基于p-中值选址的方法,提出了一种动态的多副本放置算法.该算法预先设置副本的数量,根据网络带宽、存储空间和文件请求次数等条件,求解目标函数--全局费用的最小化,从而确定副本的位置,并随着网格环境的变化而调整.采用Optor-Sim模拟器实验,分析了副本数量、存储空间与副本放置的关系.结果表明:与LRU和基于经济模型的方法相比,该算法能减少数据访问时间和网络利用率.     

石油数据存储备份系统的设计与实现

为了有效的保护软件园宝贵的石油数据资源的安全,本文对现有的几种存储技术的优缺点进行了分析,提出软件园区数据存储中心存储备份总体框架,采用了SAN和NAS相结合的先进的存储技术和IBM的存储备份软件,最终实现了园区本地数据的安全存储,恢复以及高效应用的存储中心模式的双重备份的存储备份系统。分析企业数据的特点,建立数据备份策略元模型。制定了存储备份策略及对备份服务器进行时时的监控。     

分布式存储中数据分布策略的分析与研究

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基于节点容量感知的负载均衡策略.最后,针对当前分布式存储中数据应用环境中数据分布策略可扩展性以及灵活性的不足,并结合所得的研究成果写出了个人心得,提出一种更加合理的数据分布策略.