一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

基于Hadoop的海量小文件存储方法的研究

随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长。Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意。本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如：海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。     

基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

浅谈大数据处理中的数据库I/O问题

基于文件的数据库系统处理海量数据时,常常会遭遇到性能瓶颈。例如:返回数据等待时间长、操作数据库卡顿、无法操作数据、超时、出现其他意外错误等等,这些一般最常见的是磁盘操作产生的I/O问题导致的。文章主要针对I/O问题的进行探讨,并提出优化改进方案。     

一种基于Hadoop的多表链接策略

Hadoop系统在处理多表链接问题时,每轮都会将大量的中间结果写入本地磁盘,从而严重降低了系统的处理效率。为解决该问题,提出一种"替换-查询"方法,该方法通过对链接表建立索引,将预输出的元组集替换为索引信息输出到中间结果,以索引的形式参与多表链接,以此减少中间结果的I/O代价。运用缓冲池、二次排序和多线程技术对索引信息进行优化管理,加快索引查询速度。最后在TPC-H数据集上,设计了与原Hadoop的对比实验,结果表明该方法可减少35.5%的存储空间,提高12.9%的运行效率。     

基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

分布式数据质量管理系统在电力企业的实践和应用

随着企业信息化水平和企业精细化管理要求的不断提高,企业对数据管理的需求也随之增强,如何提高企业数据质量更是需要重点解决的问题.针对电力企业数据质量管理面临的挑战,创新提出了分布式数据质量管理解决方案.针对集中式数据质量系统的性能瓶颈,在研究数据质量系统特点并借鉴国内外对大数据的解决方案后,提出了基于Hadoop分布式处理框架的解决方案.利用Hadoop集群,可以把缺陷数据从Oracle 中抽离,分散存储在集群里多台服务器上,以有效提高磁盘I/O性能和数据分析性能.     

基于C8051F340的非易失大容量数据存储方案

海洋仪器在后期数据分析处理时数据存储电路是不可或缺的.针对海洋仪器对数据存储大容量非易失的要求,结合实际工作经验,给出几种扩展海量存储器的方案和实际电路.这些方案是以C805IF340为主控制器,充分利用C805IF340片上集成的I2C,SPI和I/O接口资源扩展大容童存储器,相比于传统的存储电路,省去了译码和锁存电路,同时简化了软件编程.经实际应用,这些存储电路工作德定、功耗低,适用于中低速,需存储大量数据的仪器仪表.     

一种面向边缘计算的可扩展网络I/O框架

作为当前的研究热点,边缘计算可以在网络边缘部署计算、存储和网络资源,为用户提供云化服务,以满足新兴应用的处理需求。但是,当前网络I/O模型的扩展性问题使得运行在边缘节点上的边缘应用难以有效地利用丰富的边缘物理资源处理海量用户的网络请求。针对边缘计算场景下网络I/O模型的数据竞争和负载不均衡问题,提出了一种新的可扩展网络I/O模型。通过试验可以看出,利用该模型的边缘应用具有良好的性能和可扩展性。     

基于Hadoop的电视编目系统的优化算法和性能测试

电视编目系统基于自动化的视频处理,为电视节目内容监管提供了技术支撑.针对内容监管范围变化大、时效性要求高的需求,本文提出了基于Hadoop的电视编目系统的优化算法,测试结果表明,该算法可以更充分的利用空闲的硬件资源,并在实现视频快速处理的同时,避免I/O瓶颈的出现.     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于云平台的海量数字图像数据挖掘探讨

本文借助云平台Hadoop的分布式文件系统(HDFS)和分布式并行计算框架(Map Reduce),来进行海量数字图像的数据挖掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统,实现海量数字图像信息数据挖掘。