面向分布式存储的安全云存储系统研究

云环境下的分布式存储主要研究数据在数据中心上的组织和管理,数据中心通常由百万级以上节点组成,云存储系统所存储的数据规模往往达到PB级甚至EB级,一些数据安全的隐患也由此产生。本文首先介绍了云存储系统的安全需求;然后阐述了安全云存储系统的研究现状;并采用一些关键技术设计了一种安全云存储系统。其中包括密钥分发与管理、用户与存储节点身份认证机制、安全分布式文件系统的基本操作等。最后指出了下一步研究的方向。     

分布式数据镜像系统研究

针对由于数据量的迅猛增长，在存储系统性能和整个系统性能之间出现的严重失衡问题，研究提出了分布式数据镜像系统的架构和运行机制。分布式并行数据传输技术充分利用多个互联服务器的总带宽，实现高数据吞吐量，从而较好地解决了这一难题。     

分布式数据镜像系统研究

针对由于数据量的迅猛增长,在存储系统性能和整个系统性能之间出现的严重失衡问题,研究提出了分布式数据镜像系统的架构和运行机制。分布式并行数据传输技术充分利用多个互联服务器的总带宽,实现高数据吞吐量,从而较好地解决了这一难题。     

面向数字地球的海量地形技术研究

海量地形技术对于数字地球的实现起着举足轻重的作用．本文探讨了面向数字地球的海量地形技术中的两个关键问题——多分辨率地形的建模与实时绘制以及分布式海量地形的实时绘制.在此基础上提出了混合LOD算法,并给出了分布式海量地形实时绘制的框架．实验表明,采用该框架和混合LOD算法可以解决海量地形的实时绘制．     

高性能计算的海量存储系统新型访问策略分析

为解决海量信息处理中实时访问的"I/O墙"问题,提高海量信息分布式存储系统的性能,提出了一种基于HPC的存储部件新型访问策略.首先分析了传统访问模型存在的问题;其次研究了存储部件直通路模式的工作机理,建立了存储系统的多层次、分布式模型,根据不同层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;继而分析了直通路访问模式下的存储路径时间开销;最后在模拟环境下进行存储部件访问的性能测试,并在实际应用系统中对该策略进行验证.验证测试结果表明,该方法能够有效提高存储系统性能,满足海量信息处理的实时性需要.     

一种海量大数据云存储系统框架设计

随着数据爆炸性增长,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案。文章在分析Hadoop分布式文件系统HDFS的基础上,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

大型数据中心海量数据存储解决方案的设计

作者分析了大型数据中心对海量数据存储的要求 ,根据海量数据存储遵循性能优化的原则 ,提出了一整套完备可行的数据存储管理解决方案 ,包括数据的备份与恢复、数据归档、数据迁移与分级数据管理、数据资料的迁移和回迁方法以及SAN文件共享     

海量小文件元数据的分布式存储与检索

针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用Map Reduce并行程序对元数据检索进行了实现,并指出了并行检索中存在的问题,提出采取局部位图索引对元数据检索进行了优化．最后通过实验进行了验证,实验结果证明,该方法实现了海量元数据的分布式存储与检索,避免了现有分布式文件系统在处理海量小文件时存在的主节点单点性能瓶颈．     

一种高速数据采集及存储系统的研究

由于高速数据采集对信号完整性、信号干扰、高速布线及数据处理和高速实时存储要求极高,而其应用环境又往往非常复杂,所以在目前的实际应用中,很难找到一种既能进行高速数据采集、又能大容量存储的数据采集系统,以保证能够长时间的进行高速数据采集.针对这些问题,提出了一种高速数据采集及存储的解决方案,将嵌入式微处理器及大容量ATA硬盘直接嵌入在具有PCI总线及USB总线的采集卡上,实现既可联机运行也可脱机运行的高速数据采集及存储系统.     

海量多文件存储模式的CNSDTF-DEM数据转换方法研究

区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来的格式转换与数据合并的问题展开研究,分析CNSDTFDEM数据与USGS-DEM数据的存储结构,采用C#程序设计语言实现了海量CNSDTF-DEM数据向USGSDEM数据的自动批量转换,并在ArcGIS软件平台下采用VBA宏语言将USGS-DEM数据批量转换为可直接读取的img格式的数据,为区域高分辨率DEM数据的应用提供了便利.     

一种数据存储系统的研究

提出了一种新的数据存储系统——软件定义存储系统（SDS）的改进实施方案. 基于一种虚拟化的存储方式可以自动分配存储、安全、网络等资源,并将这些资源池化,从而实现数据保护、复制、压缩等一系列存储功能. 与传统的DAS和SAN系统的存储模式的存储性能进行了比较,结果表明该系统对于小容量的数据存储,存储速率略高其他存储方式;对大容量数据存储性能与吞吐量优化效果明显,当数据块容量达5 Tbit时,其存储速率超过SAN存储系统约3.9倍.     

基于MongoDB的海量电能质量数据存储方案设计与实现

在研究非关系型数据库Mongo DB的基础上,设计实现了基于Mongo DB的海量电能质量数据存储方案,并与基于关系型数据库的存储方案进行了性能比较测试。测试结果表明:该存储方案具有更好的数据存储和查询性能,可为海量电能质量数据的存储与处理提供借鉴。     

支持语言监测的海量数据处理技术

基于大规模语料库进行语言监测是近年来国家语言资源监测与研究中心实施的一个项目,其目的是对语言使用的实际状况进行记录、调查,调查的内容包括年度字词语的使用情况、年度流行语、新词语等。本文介绍了支持这些调查项目的海量数据的处理技术,包括语料的获取方法,年度字、词语表的提取,流行语、新词语的提取技术。最后对语言监测中存在的问题和需要继续深入的研究进行了探讨。     

基于Nagios的Hadoop集群性能监控

以Hadoop架构作为云平台的实现形式已经得到了广泛的应用。随着Hadoop集群内节点数量的增加,集群内部的复杂程度和故障率以几何级数增加,集群故障监控越来越重要。集群监控是云计算平台的重要组成部分,对提高云计算平台的稳定性发挥重要作用。文中提出一种可扩展集成化的云平台监控的实现,运维人员可以根据需求集成特定监控插件,通过一体化的监控界面,获取云平台的运行信息,确保云平台在Linux主机上的正常运行。     

一种基于分布式并行模型的海量机载LiDAR点云数据快速滤波方法

机载LiDAR点云数据是遥感大数据的重要组成部分,基于单机的处理算法已经无法满足海量点云数据处理的要求.首先,针对现有单机多级移动曲面拟合滤波算法存在粗差和拟合曲面精度不高的问题,提出适合海量机载LiDAR点云数据滤波的多级多窗口移动曲面拟合滤波算法(WHMCFA);其次,设计并实现基于MapReduce的PWHMCF...     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

基于云计算及数据挖掘技术的海量数据处理研究

主要介绍了在HADOOP平台下使用优化的SPRINT算法进行海量数据处理。首先介绍了传统的数据挖掘算法SPRINT算法,然后结合云计算中的MapReduce编程模式对SPRINT算法进行改进和优化,将并行的sPRINT算法移植到HADOOP平台下,最后通过实验实现分布式数据处理。     

分布式存储系统中带宽最优的数据修复策略

针对基于网络编码的分布式存储,研究了满足给定重建时间(即节点修复数据所耗时间)约束条件的节点数据修复问题,提出了重建时间约束下的最优节点数据修复策略,建立了该策略的优化模型并显式给出最优解.数值分析结果表明,该修复策略能在给定的重建时间阈值内最小化修复带宽,而且该修复带宽随着重建时间阈值的增加而快速下降.