基于Hadoop云存储系统在设计院的应用研究

近年来,三维设计、协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求。本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于Hadoop构建的云存储系统模型,并应用于数据备份、归档及数据共享等领域,满足了设计院对海量数据存储、数据共享和数据挖掘等要求。     

基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

基于Hadoop的云存储的研究及实现

首先描述了云计算、云存储的概念、云计算的体系结构及云存储的架构模式;然后介绍了Hadoop工作原理及其文件存储的方法;最后基于eyeOS的Web操作系统,对传统的文件存储方法进行改进,采用Hadoop的HDFS技术实现文件的分布式存储及容错控制。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

Hadoop应用测试实战

通过研究基于HBase的数据存储模式,开展基于Hadoop的数据应用研究,并探索Hadoop的集群配置、任务调度配置和优化技术。通过研究成果的应用,构建基于云计算技术的海量日志信息存储访问架构,改进监控数据存储与应用的关联度,极大地提升海量监控数据存储与访问的时效,为实时监视与业务分析人员提供更快捷、高效的访问体验,从而进一步提高对业务系统运行及性能的监视与评估能力。     

基于云环境下的海量大数据存储系统设计

云计算是目前国际和国内新兴的一项热门技术,正在给人们的生产生活方式带来深刻的变革;在分布式文件系统中,为了实现数据的可用性和持久性,数据通常被分割成大小相同的文件块,通过多副本的形式分布存储在不同地理位置;大型的云计算服务提供商拥有自己的数据中心,这些数据中心往往分布在世界的不同角落,数据以副本的形式分布在不同的地理位置可以实现更好的容错机制,从而提供高可用的持久化的数据存储;文章主要研究了海量大数据存储系统设计,系统设计以Hadoop为平台,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

基于Hadoop的分布式数据库系统

云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。     

基于参数优化的Hadoop云计算平台

传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce应用程序取代传统的单机数据分析,并对其做出优化.实验证明,Hadoop系统架构在生产上部署、投入使用的可行性.     

基于Hadoop云计算的MQT在烟草营销决策分析中的应用

文章简要介绍了MQT技术的概念、主要功能和实现方法,并结合国内某中烟公司营销决策分析系统建设项目的具体需求,提出了一种适合该项目的基于Hadoop云计算的MQT实现方法,该方法利用MQT技术以及云计算技术,对营销决策分析所依赖的海量基础数据进行灵活地多维度多度量分析计算,并实现原始基础数据和计算结果的云存储,极大提高营销决策分析系统的运行速度、数据吞吐量以及数据库服务器磁盘的利用率,为营销决策分析提供强有力的运算、存储支持,也为其他行业处理分析海量数据提供相关经验。     

Azure云平台对Twitter推文关键字实时大数据分析

Hadoop存储平台在云计算大数据存储方面占有显著优越的地位,利用Hadoop对海量数据进行快速、准确的分析是现如今最优的解决方案.详细阐述了使用微软Azure云平台的HDInsight(Hadoop集群存储架构)对Twitter推文进行实时大数据分析.     

基于Hadoop的高校档案馆私有云存储平台的构建

针对高校档案馆面临档案信息资源出现的指数级增长和现有的存储平台不能适应档案数据增长的矛盾,构建一个基于Hadoop构建高校档案馆私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理。分析了该平台的网络拓扑结构、总体框架模型、平台的功能模块、平台安全特性和比较了私有云存储和传统存储模式。     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

基于Hadoop和双密钥的云计算数据安全存储策略设计

针对原有的Hadoop平台仅通过CRC-32循环冗余校验保证数据存储的安全性,设计了一种基于双密钥和混沌信号的云计算安全存储策略;首先,介绍了原有的Hadoop框架下的数据存储对应的文件读写过程,并基于加密机制设计了改进的Hadoop数据存储模型,然后根据云存储数据量大和响应要求及时的特点,设计了一种基于双密钥的改进对称密钥算法,在传统的私钥的基础上加入动态公钥,并作为敏感函数的输入获得最终的密钥,从而实现明文的加密和密文的解密,最终定义了具体的基于Hadoop和改进双密钥对称加密算法的云计算安全存储算法;通过搭建Hadoop仿真实验平台进行实验,结果表明文中方法能有效地实现云计算环境下的安全存储,存储时间与其它方法相比少15%以上,具有安全性高和存储效率高的优点,具有一定的优越性。     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

云计算环境下的负荷特征曲线提取

文章针对电网运行产生的数据呈爆炸式增长,EMS系统有效信息往往淹没在海量数据中这一问题,提出一种云计算模式下的聚类分析处理方法,基于Hadoop平台的Map Reduce计算模型与分布式文件存储,将系统聚类法进行拆分,在云环境中对多个计算模块进行并行分析。作为试验性验证,提取某大用户近三年的负荷特征曲线,选取不同数据量、不同节点数,进行算法加速比的测试。结果表明,在云计算架构中该算法可以有效提高计算效率,适用于电力系统海量数据的挖掘分析。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

Hadoop对关系数据库的访问

Hadoop的分布式文件系统存储的是非结构化数据,可用来存储海量数据,适合海量数据集的应用程序,但有应用系统的关系数据库中存有大量的结构化数据,为了把现有关系数据库中的结化数据转存到Hadoop中,在Hadoop进行分布式计算处理并把分析结果存回到关系数据库中,Hadoop提供了两个访问关系数据的简单接口DBIn-putFormat和DBOutputFormat.通过具体实例介绍Hadoop与现有关系数据库结合,在Hadoop应用程序中访问关系数据.     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。