基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

云存储中多类型文件存储及访问优化机制的研究

当前云存储已经成为存储界的研究热点,Linux也已经成为当前云存储中所采用的主流操作系统之一。但是当前的云存储是面向通用文件存取服务,并未考虑其存储的文件的类型、大小、安全级别等等需求,因此也不可能提供针对不同存储内容的优化机制。面向云存储的应用环境,提出了Linux操作系统下的一种智能自适应文件系统,作为云存储优化项目的子项目,目标是保持原有文件系统的完整性和透明性的基础之上,对Linux文件系统机制进行改进。通过采用可堆叠文件系统技术,实现对不同特征的文件(小文件、超大文件、流媒体文件、加密文件等等)的自动适应和优化,从而提高基于Linux的云存储的文件服务性能。     

基于OpenStack的云存储系统的大文件存储方案

为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略,设计关键数据结构和上传下载的核心流程,使用Java多线程实现该方案。部署云存储实验环境,通过实验验证了该方案的可行性,该方案突破了Swift对文件大小的限制,提高了文件的上传和下载速度。     

RLCP:异构的协同预取存储设计方案

根据存储系统各级缓存的不同特点,提出了一种基于网络的异构协同预取方案RLCP(RA and Linux collaborate prefetching),它通过在存储客户端和存储服务器端使用不同的预取算法和替换算法,构建一个异构的两级存储系统,并利用合适的协同预取策略,动态调整预取算法的积极性,提高了存储系统的性能,同时也为云存储提供了一种优秀的解决方案.     

基于ownCloud搭建高校计算机机房教学文件云存储

随着信息化发展,计算机机房的课程安排越来越多,教学内容也越来越丰富,师生对计算机机房的实时异地存储的需求越来越迫切.介绍了基于ownCloud开源软件为计算机机房教学搭建文件云存储,实现师生在校内实时异地存储功能.文中详细描述文件云存储的网络基础环境和服务器环境,以及在LNMP环境下搭建ownCloud校内文件云存储的...     

在异构平台上跳舞——通过统一管理优化存储架构

IT技术的不断创新和提高可以推动业务的发展。因此．企业的决策者不断地增加IT投入，但同时也在不断增加系统环境的复杂性。如果只遵循一个标准，企业就不会为选用哪种系统头疼。     

面向云存储的多副本文件完整性验证方案

文件完整性验证是云存储服务的一项重要安全需求.研究者已经提出多项针对云存储文件完整性验证的机制,例如数据持有性验证(prove of data possession, PDP)或者数据可恢复证明(proof of retrievability, POR)机制.但是,现有方案只能够证明远程云存储持有一份正确的数据,不能检验其是否保存多份冗余存储.在云存储场景中,用户需要验证云存储确实持有一定副本数的正确文件,以防止部分文件意外损坏时无法通过正确的副本进行恢复.提出的多副本文件完整性验证方案,能够帮助用户确定服务器正确持有的文件副本数目,并能够定位出错的文件块位置,从而指导用户进行数据恢复.实验证明,充分利用了多服务器分布式计算的优势,在验证效率上优于单副本验证方案.     

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3 798 bps和3 912 bps,读、写速率最高达到3 298字节/s和3 258字节/s。     

云存储四大产品机会

近阶段云存储市场风起云涌,国际国内都不乏好产品的诞生。由于市场定位的不同,衍生出来的云存储产品和服务也不同。企业应该根据自身特征、未来定位和资源匹配度,来合理选择自己适合的细分市场,进行创业和发展。建议从四个云存储产品定位分析市场:"文件云"、"应用云"、"手机云"、"开放云"等,及提出"开放云"的巨大潜力和商业机会!     

一维正态云的概率统计分析

一维正态云是一种非常重要并且具有普适性的云模型．为了进一步完善云模型的理论基础，基于概率理论对一维正态云的性质进行了较深入全面的分析，首次从不同角度形象直观地展示了正态云．此外，从统计学的角度揭示了原逆向云算法存在较大误差的根源，并构造了一种新的更精确的一维逆向正态云算法．     

BLP模型在云存储中应用分析

云存储中包含各种各样的文件,各文件包含了不同程度的敏感信息,需要受到不同访问控制策略的保护,给予其不同的安全级。为确保高敏感数据的完整性和安全性,可对BLP模型进行修改使其适应云存储的要求。文章讨论在该模型下的安全访问控制问题,研究该模型的体系结构并给出云存储中的访问控制算法。     

关于计算机云存储中数据迁移的分析

数据迁移问题是企业选择云存储方式最为重要的环节,文章从多个方面分析云存储中如何有效地进行数据迁移并提出一些自己的看法,旨在共同研究数据迁移的实施方案。     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

移动云计算中基于延时传输的多目标工作流调度

云计算和移动互联网的不断融合,促进了移动云计算的产生与发展.在移动云计算环境下,用户可将工作流的任务迁移到云端执行,这样不但能够提升移动设备的计算能力,而且可以减少电池能源消耗.但是不合理的任务迁移会引起大量的数据传输,这不仅损害工作流的服务质量,而且会增加移动设备的能耗.基于此,本文提出了基于延时传输机制的多目标工作流调度算法MOWS-DTM.该算法基于遗传算法,结合工作流的调度过程,在编码策略中考虑了工作流任务的调度位置和执行排序.由于用户在不断移动的过程中,移动设备的无线网络信号也在不断变化.当传输一定大小的数据时,网络信号越强则需要的时间越少,从而移动设备的能耗也越少.而且工作流结构中存在许多非关键任务,延长非关键任务的执行时间并不会对工作流的完工时间造成影响.因此,本文在工作流调度过程中融入了延时传输机制DTM,该机制能够同时有效地优化移动设备的能耗和工作流的完工时间.仿真结果表明,相比MOHEFT算法和RANDOM算法,MOWS-DTM算法在多目标性能上更优.     

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求; 2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first, EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.     

短时滞的网络控制系统稳定性分析

针对具有时变传输时滞和间隔的网络控制系统(Networked Control Systems,NCSs)进行分析,基于传输时滞及输入时滞构建一种新的依赖于时间的非连续的Lyapunov泛函,提出新的稳定性准则.考虑零阶保持器更新时间在两个有效采样时间范围内,结合缩放方法及凸优化技术,最后通过线性矩阵不等式计算,得到新的...