无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

局域网中文件分布式网络存储的设计和实现

以局域网用户对文件分布式存储的需求为实例,研究的分布式网络存储系统将局域网中的多台个人计算机组织起来,为用户提供一个可扩展、完整、大容量的虚拟存储空间和安全可靠的存储服务.本文介绍了该系统的设计思想和具体实现.     

局域网中文件分布式网络存储的设计和实现

以局域网用户对文件分布式存储的需求为实例，研究的分布式网络存储系统将局域网中的多台个人计算机组织起来，为用户提供一个可扩展、完整、大容量的虚拟存储空间和安全可靠的存储服务。本文介绍了该系统的设计思想和具体实现。     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

一种Ceph块设备跨集群迁移算法

在虚拟机全系统在线迁移中,由于镜像文件数据量巨大,对整个迁移过程的效率有着关键的影响,因此优化迁移时间,成为虚拟机迁移技术的研究热点.对于以分布式存储系统(其中较为常见的是Ceph块设备)作为镜像文件存储方式的虚拟机进行迁移时,镜像文件需要经过源存储节点到源计算节点,再到目的计算节点,最后到目的存储节点.这种方式忽略了底层存储系统特点可以给迁移带来的好处,针对上述问题,提出了一种Ceph块设备跨集群迁移算法,采用源存储节点并行向目的存储节点迁移数据的方式,利用了存储节点的计算和网络能力.实验表明,该算法加快了迁移速度,同时适当增加存储节点数目能进一步提升算法效率.     

一类基于极图理论的局部修复编码的性质及构造

由于分布式存储系统大量使用廉价的磁盘构建,磁盘故障往往不可避免导致数据丢失.数据编码是一种防止数据丢失的必要容错机制.局部修复码与经典的最大距离可分(MDS)码相比,以一定的存储空间开销,能够有效提高数据修复的效率,降低网络带宽占用.为了降低该码的存储空间开销,本文研究以极图理论来描述该类编码.将存储节点与编码块抽象为二分图中的X、Y两类顶点,从而存储空间占用最小化等价于计算二分图中边数的极小值.这种求极值问题可以归结为Zarankiewicz问题.本文使用极值二分图对局部修复码进行建模与分析,并给出了相应的构造算法.     

一种存储容量可扩展的文库系统设计与实现

随着Internet的发展,用户对网络存储系统的价格和性能提出了新的要求.本文分析了各种网络存储技术和Internet传输技术,在虚拟主机基础上,建立文库系统,用户上传文件到服务器中,服务器接收用户文件.服务器动态增加虚拟主机,扩展文库系统的存储容量,并利用Flash和Webservice技术,实现网络存储分布式传输和存储.系统具有良好的可扩展性和数据传输性能.     

基于分布式FTP的二进制大对象存取算法

为提升二进制大对象(BLOB)存储系统的可靠性和存储效率,设计了一种新的BLOB存取算法.通过建立分布式BLOB存储模型,设计了基于多列等候队列的存储结构,证明了适当增加等候队列数量,可改善存储系统性能.系统采用混合型数据放置策略,分布地存储BLOB数据于FTP群集中各个结点,并将其属性存储于元数据服务器.结果表明,随着系统容量的不断增长,各结点存储性能稳定,数据完整性良好.     

集群存储技术及其在石油勘探行业的应用

随着海量数据的迅猛增长,尤其是非结构化数据爆炸性增长,非结构化数据所占比例越来越高,对存储系统的高性能、可靠性和可扩展性提出了很高的要求,使得传统存储系统已经不能满足所有用户的需求,集群存储技术和产品应运而生。集群存储技术以它的高性能、高可用性、高可扩展性和易于管理等特性赢得了用户的青睐。在集群存储技术应用到石油勘探行业的数据处理高性能计算系统中,可以很好地满足该行业地震数据处理系统的大文件海量存储、高带宽和高性能等要求,明显提高了系统数据处理速度。     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

一个可容错并行文件数据存储模型

针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型： 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.     

Frequency and Similarity-Aware Partitioning for Cloud Storage Based on Space-Time Utility Maximization Model

With the rise of various cloud services, the problem of redundant data is more prominent in the cloud storage systems. How to assign a set of documents to a distributed file system, which can not only reduce storage space, but also ensure the access efficiency as much as possible, is an urgent problem which needs to be solved.Space-efficiency mainly uses data de-duplication technologies, while access-efficiency requires gathering the files with high similarity on a server. Based on the study of other data de-duplication technologies, especially the Similarity-Aware Partitioning(SAP) algorithm, this paper proposes the Frequency and Similarity-Aware Partitioning(FSAP) algorithm for cloud storage. The FSAP algorithm is a more reasonable data partitioning algorithm than the SAP algorithm. Meanwhile, this paper proposes the Space-Time Utility Maximization Model(STUMM), which is useful in balancing the relationship between space-efficiency and access-efficiency. Finally, this paper uses 100 web files downloaded from CNN for testing, and the results show that, relative to using the algorithms associated with the SAP algorithm(including the SAP-Space-Delta algorithm and the SAP-Space-Dedup algorithm), the FSAP algorithm based on STUMM reaches higher compression ratio and a more balanced distribution of data blocks.     

大数据存储技术在张衡一号卫星数据服务中的应用

随着张衡一号卫星监测数据的不断增加，目前的HDF5文件存储方式不仅在性能扩展性、读写并发性等方面凸显出劣势，而且无法实现对业务数据的精准时空查询，这给用户带来很大困扰。为解决对海量卫星数据的高效存储和读取，本文分析了HBase数据库和ElasticSearch搜索引擎的优缺点，提出了一种基于二者相结合的卫星大数据存储方案，并搭建了Hadoop架构的大数据试验平台，完成了对张衡一号卫星空间电场ULF频段数据的存储试验和对比测试。结果表明，该方案大大提高了对海量卫星观测数据的读写并发性能，达到当前文件存储方式的几十倍，并实现了对卫星数据的精准定位和快速查询，很好地满足了用户要求。     

基于维层次性的Data Cube存储优化方法

根据Data Cube模式中维的层次性,提出了层次式B^＋树及维层次编码的概念,并应用于层次树形Cube（HT Cube）方法中．HT Cube将维划分为聚集维与分析维,在分析维上利用层次式B^＋树除去了冗余数据,并在查询过程中形成维层次编码,在聚集维上则利用维层次编码组合而成的分析维编码进行索引,从而可以高效地检索到聚集值．理论分析和实验证明,该方法不但节省了存储空间,而且可利用层次信息高效地进行各种OLAP查询,为Data Cube模式更新、OLAP查询导航和OLAP查询行为分析的实现提供了可能．     

基于智慧收费云的无人收费站系统

为实现车道在正常情况下的少人化、无人化交易服务,为特情车辆提供智慧化的服务,提高车辆的通行效率,完善智慧高速建设。结合云、大数据和人工智能（artificial intelligence,AI）技术,在车道前端以智能硬件和应用软件为载体,后台以软件服务化（software as a service,SaaS）云服务为主要形式,构建智慧收费云+无人收费站系统。该系统节约了路段经营单位的收费运营成本、建设投资成本和后期维护成本,提升了路段经营管理单位的服务水平,彰显了高速公路的智慧服务能力。     

基于BSSEVD的可搜索加密方案原型系统设计与实现

针对大型数据集条件下，安全索引文件过大而导致可搜索加密方案的关键字搜索时间复杂度过高、效率低的问题，提出了大型数据集下支持布尔搜索的可搜索加密方案(BSSEVD).方案采用三层间接寻址块状存储安全索引的方法优化安全索引存储结构，通过增加关键字交集安全索引解决多关键字布尔搜索导致的泄露增加问题.并在该方案基础上，设计与实现可搜索加密方案原型系统.该系统主要包括文件预处理模块、初始化模块和关键字搜索模块等三大模块.通过实验测试对系统的性能进行分析，实验结果表明该方案计算效率得到了较大的提升.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于DirectShow组件技术的视音频存储系统的实现

采用Windows平台下的DirectShow组件技术，以及MPEG-4和DSPGroup TrueSpeech(TM)视音频压缩算法，在Visual C 6．0开发环境下实现从摄像头捕捉视频，从麦克风捕捉音频，并将视音频数据压缩后合并输出到AVI文件。数据压缩比达到100：1，节省了存储空间，实现了视频的预览。     

一种不依赖访问热度信息的分布式文件放置算法

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。     

Load-Balance Policy in Two Level-Cluster File System

In this paper, we explored a load-balancing algorithm in a cluster file system contains two levels of metadata-server, primary-level server quickly distributestasks to second-level servers depending on the closest load-balancing information. At the same time, we explored a method which accurately reflect I/O traffic and storage of storage-node： computing the heat-value of file, according to which we realized a more logical storage allocation. According to the experiment result, we conclude that this new algorithm shortens the executing time of tasks and improves the system performance compared with other load algorithm.