基于水平纠删码的云存储数据布局方法

针对云存储系统的扩展性和数据容错问题,设计了一种基于水平阵列纠删码的通用云存储系统方案,系统可按存储节点子集进行规模扩展;给出了一种可容3列随机删除错的数据布局方法,并利用校验数据位与信息数据位之间的对应关系,寻找到一种具有低计算复杂度的数据重构算法,提高了丢失数据的恢复性能.理论分析和原型系统测试表明,本布局方法与存储方案适合于构建对数据编译码复杂度、系统扩展性都具有较高要求的云存储系统.     

基于免疫优化策略的副本放置算法

副本放置问题在云计算环境分布式存储系统中是一个关键问题。针对现有副本放置算法存在的数据副本访问开销较大，节点负载不均衡的问题，提出了一种基于免疫优化策略的副本放置算法。通过计算节点的亲和度，并借助免疫优化系统特有的克隆选择和免疫记忆机制，对副本节点的评价和选择更加合理。基于Matlab的仿真实验证实该算法能够降低分布式存储系统的副本访问开销，均衡节点负载。     

云存储系统中基于MSR码的局部性修复编码

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案. 具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性. 性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优.     

分布式存储系统的数据冗余策略

针对分布式存储系统的数据可用性问题展开了深入的研究,提出了一种支持纠删码的冗余倍数估计算法,根据数据统计特征获取单个数据块最优冗余方案;并基于该算法模型设计了一种适用于分布式存储系统的数据冗余策略,旨在消耗最小的存储开销获得最优的数据可用性.在实现该数据冗余策略的过程中,为了优化理论算法模型的工程可行性,提出了基于采样计算中间经验参数的方法,有效地利用目标存储数据的统计特征降低算法的计算复杂度.仿真实验验证了这种数据冗余策略的可行性和有效性.     

基于对等网络的面向小文件的云存储系统

针对目前主从结构的云存储系统在存储小文件延迟过大的问题,提出基于对等网络(P2P)的分布式云存储系统.通过改进Chord路由算法提高了资源的查询效率,在系统中引入中心路由节点,中心路由节点上存储系统中所有节点的路由和状态信息,使资源查询时间复杂度缩短到O(l),客户端预取中心路由节点数据,从而减少数据操作时的时间开销;系统通过备份的策略来保证数据的可靠性,实现中数据备份数为3;系统实现了文件存储、读取、删除及列目录等基本操作功能.实验结果表明,与Hadoop HDFS文件系统相比,该系统的小文件操作时间减少了一个数量级.     

基于XOR的TAR-CAU数据更新方法

在基于纠删码的云存储系统中，数据更新的性能往往受到网络带宽的限制。鉴于此，提出了基于异或(XOR)的TAR-CAU数据更新算法，该算法基于以下设计原则：1)利用数据更新量普遍较小的特点，将多条带的数据更新打包处理，减少网络往返次数，加快数据传输效率；2)采用基于XOR的更新，提高编解码效率。仿真实验和本地集群实验结果表明，相比于CAU算法，在数据更新量较小时，TAR-CAU算法能够提高至少44%的数据更新吞吐量。     

哈夫曼树的异构部分重复码构造

针对分布式存储系统中数据被访问频率的不同,提出一种基于哈夫曼树的可变重复度的异构部分重复(HVFR)码,将不同访问频率的数据块作为哈夫曼树带有确定权值的叶子节点,构造哈夫曼树并确定数据块的重复度,利用成对平衡设计构造异构部分的重复码,能够提高热数据的并行访问速度和系统存储效率. 性能分析和实验结果表明,与里所码以及简单再生码相比,HVFR码可以显著减少故障节点的修复时间及修复局部性,提高热数据的并行访问速度,达到负载均衡,且计算复杂度低.     

具有马尔科夫特性的云存储改进优化算法

为了提高传统移动端云存储系统的存储效率,文中提出了一种基于马尔科夫链的安全云存储优化算法,将云系统中任意两节点的存储过程近似为马尔科夫过程,通过分阶段采用稳态马尔科夫策略对云系统中数据的安全存储进行预测,在计算各节点的存储代价的基础上采用再加密技术及优化技术,构建移动端云存储系统的安全优化模型,实现云存储的安全优化,保证移动端云存储访问。在存储过程将高级加密标准(AES)和公钥加密(RSA)加密算法结合并再次加密用于云存储的安全设计,以实现移动端云存储策略的安全性。仿真实验表明:存储优化算法能根据数据大小不同选择存储代价最小的节点,保证云系统数据的安全存储,提高了移动端云系统的存储效率,验证了基于马尔科夫链的云存储优化算法具有较高的可靠性。     

基于并行计算熵的同构集群负载均衡算法

提出并行计算熵的概念以及基于并行计算熵的同构集群负载均衡算法．理论分析证明并行计算熵作为系统负载均衡程度度量的合理性．算法以并行计算熵来衡量集群系统中节点之间负载均衡程度,以节点任务运算量来衡量节点的负载信息,并根据并行计算熵来进行负载迁移决策．实验证明相对基于任务数阈值的负载均衡算法并行计算性能有一定提高．     

一种可靠的高弹性云构架设计与实验

针对云计算下数据冗余较为严重,框架节点负载不均衡及节点负载调度响应速度慢的问题,设计了一种可靠性高的高弹性云构架框架.通过对云框架下网络中拥塞过程建模,确定云数据真实负载需求,减少冗余数据对路径的占用,并使用弹性约束参数计算云框架下的弹性约束信息.利用蚁群算法获得最大弹性约束下云空间内的均衡最优节点,计算需求弹性,降低对云框架负载影响.结果表明:常规云计算网络下,设计的云构架节点负载调度响应速度快,且节点分布均匀,负载率高,表明设计的云构架计算效率较高.     

云数据中心基于异构工作负载的负载均衡调度方案

针对目前云数据中心的负载均衡调度方案没有研究将不同工作负载的应用程序进行整合的问题,提出了基于异构工作负载的静态和动态负载均衡调度算法。当放置新的虚拟机的时候,通过静态负载均衡调度算法,将虚拟机分配给物理机。云数据中心运行过程中,采用动态负载均衡调度算法将负载高的物理机上的虚拟机迁移到负载低的物理机上。仿真实验结果表明,新的调度方案不仅能够降低云数据中心的不均衡率,而且使节点内的多维度资源得到了合理地利用。     

基于灰色模型的海洋大数据迁移算法设计

针对海洋大数据环境的数据量大和实时动态变化的特点,提出了一种基于云存储的海洋大数据迁移算法。首先,对海洋大数据进行了表示;设计了一种灰色模型的服务器负载预测算法,该算法能根据服务器历史负载信息来预测下一个时刻的负载。基于服务器的负载预测信息,提出了一种对服务器的负载进行实时迁移的数据迁移算法,通过设定最大负载阈值和最小负载阈值来实现服务器负载的均衡分配。在CloudSim环境下进行实验,实验结果表明文中方法能有效地实现海洋大数据环境的云环境的负载均衡,具有负载均衡高和负载均衡效率高的优点,与其他方法相比,具有更好的负载均衡能力。     

分布式存储中数据分布策略的分析与研究

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基于节点容量感知的负载均衡策略.最后,针对当前分布式存储中数据应用环境中数据分布策略可扩展性以及灵活性的不足,并结合所得的研究成果写出了个人心得,提出一种更加合理的数据分布策略.     

基于Swiftstack的云存储关键技术研究

云计算的发展虽然使用户可以便捷的访问数据,但系统的高并发性访问和数据处理等问题影响着云存储的使用。文章针对开源云计算、云存储发展中系统架构设计和负载均衡问题提出了改进方案。本文首先对系统架构进行设计,提出了适合大、中规模部署情况下负载均衡的设置策略。采用一致性哈希、误删除恢复及节点间互备等技术保证云数据的完整性。最后通过实验对云存储进行大、小文件非结构化数据的写入性能测试,实验结果表明Swiftstack云存储能够满足用户的对云存储的使用要求。     

基于云存储技术的数据安全策略研究

当今,在互联网和云计算技术背景下,企业海量的数据通过网络被放置在云存储系统中,云存储平台服务主要通过网络环境来实现,数据的安全性是用户非常关注的问题。在探讨云存储系统基本概念和优势的基础上,分析了云存储面临的安全隐患,并研究了云存储系统下数据的安全防范措施,以求进一步保证云存储数据的安全。     

面向CPS的节点文件系统

针对信息物理融合系统(CPS)的时间关键性和节点二级存储的必要性,在深入研究闪存文件系统和传感节点存储系统的基础上,提出一种级联日志策略和虚拟扇区映射技术相结合的方法来保证数据操作的可预测性,并优化文件架构和数据操作来提高文件系统效率. 仿真测试表明,系统的顺序输入/输出(I/O)性能与随机I/O性能稳定,且代码映像较小,便于部署在存储资源有限的节点系统上.     

一种新的3容错扩展RAID码

随着存储系统规模的扩大,如何提高存储系统可靠性成为一个必须解决的问题. 目前的双容错独立冗余磁盘阵列(RAID)码已经无法满足存储系统可靠性要求. 在双容错行对角奇偶校验(RDP)码的基础上,提出了一种编码冗余率和纠错能力达到编码最优的新的扩展RDP-RAID码,可以允许任意3磁盘同时故障,并给出了一种基于二元矩阵变换的简单和直观的译码算法. 与STAT码和EEOD码相比,扩展RDP-RAID码的编译码复杂度、更新复杂度、存储效率的综合性能可达到最优,存储可靠性高.     

一种综合的结构化P2P系统负载均衡机制

提出了基于异构节点的标识空间分割算法,实现节点异构条件下分布式散列表空间的均衡分割,从而均衡各个节点的存储负载;其次提出基于虚拟环负载转移算法,将路由和响应负载由重载节点转移到轻载节点,从而缓解由于对象查询不平衡带来的路由和响应负载不均衡.在OverlayWeaver上进行实验的结果表明,通过采用包含基于异构节点的标识空间分割算法和基于虚拟环负载转移算法的综合机制可以很好地均衡对等网络(P2P)系统中异构对等方的负载.     

基于RBIBD的最优局部修复码构造

随着数据量的迅速增长,对存储海量数据的分布式存储系统的可靠性和有效性的要求日益增加。局部修复码(LRCs)具有良好的修复局部性,能够有效实现海量数据在分布式存储系统中的可靠高效存储,构造具有(r,t)局部性的局部修复码已经成为当前研究的热点。为此,提出了一种基于可分解均衡不完全区组设计(RBIBD)的最优局部修复码的构造方法,构造信息位具有(r,t)局部性的二元最优单校验LRCs。性能分析表明,构造的LRCs达到了最小距离最优边界,且在码率上表现得更优。     

敏感数据自主可控的云存储平台元数据管理

针对传统云存储平台的敏感数据的安全问题,将元数据管理分成客户端元数据管理与云端元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据,在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障元数据子服务器与云端元数据服务器之间的数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性.在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,该存储系统在自主管理敏感信息元数据的前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力.