分布式存储系统建模技术研究

分布式存储系统的I/O性能影响着分布式系统的执行效率。由于影响系统性能的潜在因素错综复杂,所以分布式存储系统的性能和建模技术一直是重点和难点。本文深入分布式存储系统建模技术研究现状和关键问题。为分布式存储系统的设计、调优和评估起到积极的指导作用。     

P2P分布式存储系统

设计了一个基于P2P的分布式存储系统.该存储系统采用高可扩展的P2P体系结构,将大量分散的节点组织成一个逻辑网络,充分利用原先被忽视的端系统资源,构建大规模分布式存储系统.该存储系统采用高效的结构化P2P路由机制、动态自适应的副本管理、信任机制和激励机制为用户提供高效、可靠的分布式存储服务.     

面向数据中心的安全网络存储系统设计

针对各类数据中心存储系统建设需求,开展了存储系统设计需求分析,重点针对存储系统可靠性、安全性需求,进行了安全网络存储系统备份恢复机制、安全保密机制设计,针对数据中心大数据存储加密处理需求,开展了存储加密运算高性能和可靠性设计研究,提出了灵活可配置的存储加密策略,可适配具有不同加密性能或可靠性需求的应用场景,能够适配各类数据中心存储区域网络建设安全保密需求.     

一种全分布式的数据迁移算法DBDS

数据迁移是大规模存储系统实现负载平衡的重要手段,可有效提高数据访问的性能。然而,现有数据迁移机制大多依赖于集中式算法,存在扩展性方面的不足。提出一种全分布式的数据迁移算法DBDS(Dimension By Dimension Spreading)来解决系统扩展性方面的问题。仿真实验表明,该算法在保证负载全局均衡性的同时,可有效降低迁移过程的消耗,适用于大规模分布式存储系统。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

面向多虚拟机的分布式存储系统

通过分析虚拟桌面系统对存储系统的要求,设计并实现了面向多虚拟机的分布式存储系统——虚拟机存储系统(virtual machine storage,VMStore)。分布式技术具有灵活性和可扩展性,因此采用分布式技术提高多虚拟机存储系统的吞吐率。在元数据管理中采用直接块索引结构以获得更好的快照性能,并采用去冗余技术减少多虚拟机镜像之间的冗余数据。实验结果显示存储系统具有较好的吞吐能力,且快照和去冗余的开销对整个系统的影响较小。     

集群环境下分布式索引分析

近年来,随着数据规模的增长,分布式存储已广泛应用。对于分布式存储系统中,应用非主键访问数据存在的性能问题,分析了存储系统中可以实现索引的关键技术。在以分布式索引为基础,探究索引组织形式,提出关于索引的设计,分析分布式索引维护与数据相一致的问题。基于此,利用分布式数据库系统,设计分布式索引组织形式,从而完成索引的性能测试。     

一类精确修复多个节点的简单再生码

海量数据环境下要求存储系统具有高扩展性、高可靠性和低成本等特点。大规模存储系统的节点因数目巨大而易频繁失效,为保证节点的可用性,系统会利用冗余数据对失效节点进行修复。作为一种新的容错技术,再生码可有效降低分布式存储系统中失效节点修复时需要的下载数据量。基于简单再生码,为分布式存储系统设计一种新的编码方式。它不仅可容忍多个节点同时出错并进行修复,而且编码形式简单并具有较高的码率。     

试析面向CDP应用的新型分布式存储模型的设计理念与结构

一个完整的连续数据保护(CDP, ContinuousDataProtection)系统离不开高效存储系统的支持。本文率先提出了一种分布式存储模型,并面向CDP应用设计出了一种可靠安全、高效透明的分布式存储系统。相较于传统的CDP系统而言,本文着力强调将分布式存储应用于CDP应用的重要性。凭借元数据与数据分离的设计理念,实现数据的分级存储,可以有效提高CDP服务器运作效率,降低操作成本。本文从CDP应用服务化概述、设计缘由与设计理念、设计系统的结构分析等方面阐述了高效存储系统的必要性。     

用户级通信在软件分布式共享存储系统中的应用与分析

通过信能不高是影响软件分布式共享存储系统性能的主要因素之一,用户级通信技术能够充分发挥高速网络的硬件性能,减少数据拷贝次数,降低软件件开发销,明显改善了带宽和延迟,为软件分布式共享存储系统性能的提高开避了新的途径,设计并实现了一个面向软件分布式存储系统的用户级通信库,它不仅改善了系统的通禽性能,同时也使得系统的并行计算性能得到改善,从而十分显著地提高了软件分布式共享存储系统的整体性能。     

分布式I/O日志回放系统的设计与实现

随着存储系统的快速发展,需要对不同存储系统的性能进行评测,以I/O日志为基础在实际应用环境中测试存储系统性能,更为客观和准确。提出了一种分布式环境下日志回放系统,通过中央控制器,能够方便地控制多个节点,同时对分布式存储系统进行性能测试,并对该系统的设计和实现过程进行了详细述。     

试析面向CDP应用的新型分布式存储模型

一个完整的连续数据保护(CDP,Continuous Data Protection)系统离不开高效存储系统的支持。本文率先提出了一种分布式存储模型,并面向CDP应用设计出了一种可靠安全、高效透明的分布式存储系统。相较于传统的CDP系统而言,本文着力强调将分布式存储应用于CDP应用的重要性。凭借元数据与数据分离的设计理念,实现数据的分级存储,可以有效提高CDP服务器运作效率,降低操作成本。本文从CDP应用服务化概述、设计缘由与设计理念、设计系统的结构分析等方面阐述了高效存储系统的必要性。     

一种适用于协同设计环境的分布式存储系统

设计并实现了一种适用于协同设计环境的分布式存储系统。本存储系统使用基于"拷贝——修改——合并"的应用模式来解决协同设计中并发写入的冲突问题,使得协同设计软件可以使用本地的数据,各设计人员的设计工作可以并行进行,提高了工作效率。系统包括唯一的元数据服务器(管理虚拟命名空间)和若干数据服务器,为使用特定客户端库的客户机(执行协同设计)提供服务,具备良好的可扩展性。存储系统还设计了一种特殊的文件格式,将一个设计文件数据的多个版本以追加的方式保存在同一个文件内,从而在提供多版本机制的同时,支持增量式数据同步,进一步提高了系统的性能。另外,系统的分布式锁机制可以支持崩溃恢复。     

基于网络软RAID的分布式文件系统的设计与实现

随着计算机技术与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点。分布式文件系统作为分布式存储系统中数据的管理者,为不同节点上的用户提供了对底层存储系统的文件访问接口。文章设计与实现了基于网络软RAID的分布式文件系统,并对系统的设计思想、总体结构和技术要点进行了详细介绍。     

分布式安全存储技术

迅速增加的敏感数据迫使企业更加重视存储系统的安全性。本文详细地讨论了分布式安全存储系统所提供的安全服务，并对这些安全服务进行了比较，为企业安全存储系统的设计和构建提供有益的帮助。     

集群环境下分布式索引的实现

针对分布式存储系统上使用非主键访问数据带来的性能问题,探讨在分布式存储系统上实现索引的相关关键技术。在充分分析分布式存储特征的基础上,提出了分布式索引设计和实现的关键点,并结合分布式存储系统的特点及相关的索引技术,讨论了索引的组织形式、索引的维护和数据一致性等问题;然后基于如上的分析,选择在分布式数据库系统OceanBase开源版本上,设计和实现分布式索引机制,并通过基准测试工具YCSB进行性能测试。实验结果表明,虽然辅助索引会对系统性能产生影响,但因为充分考虑了系统特征及存储特点,在不同数据规模下,该索引都能够将性能影响控制在5%以内。另外,使用冗余列的方式,能进一步将该索引的性能提升100%。     

改进的LPCA算法

LPCA中没有考虑到存储节点伪造份额的主动攻击,为了改进LPCA的不足,利用单向陷门函数设计了一种LPCA的改进方案。它能有效抵抗某些受到主动攻击的存储节点向用户提供篡改或者伪造的秘密份额,致使用户恢复出错误的数据或者无法恢复数据的攻击,弥补了LPCA的不足,同时又不会给存储系统带来很大的空间、计算与通信的额外开销,提高了分布式存储系统的可生存性,它也可用于所有的分布式存储中利用秘密共享方案实现数据分离的改进方案。     

分布式存储系统中数据副本管理机制

分布式存储系统需要完善的数据副本创建、部署、选择、定位和一致性管理机制以保证分布式计算环境中的数据安全、可用、可靠、可扩展性和服务的高效、连续性。文中全面分析与研究了国内外对分布式存储系统中的副本管理机制研究现状,重点对副本创建、副本定位、副本一致性维护和副本撤销机制进行深入的研究,并从数据可用性、节点负载均衡、数据一致性和带宽消耗等性能指标进行了分析。文中的研究成果对于分布式存储系统的合理设计与构建具有良好的参考价值。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。