首页 | 官方网站   微博 | 高级检索  
相似文献
 共查询到15条相似文献,搜索用时 62 毫秒
1.
MapReduce是由并行编程模型及相关支撑系统组成的数据处理框架,通过定义接口和运行时支持库,通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,通过隐藏底层实现细节,降低实现并行编程的难度,Hadoop是目前MapReduce框架最流行的开源实现.文章首先介绍了MapReduce并行编程模型及其hadoop的运行原理、运行机制,深入研究了MapReduce计算任务在Hadoop系统中的运行过程.  相似文献   

2.
云计算中MapReduce技术研究   总被引:1,自引:0,他引:1  
王晟  赵壁芳 《通信技术》2011,44(12):159-161
云计算是由并行计算、分布式计算和网格计算发展而来,MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案,其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算.首先介绍了云计算与MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析,并总结了目前MapReduce模型的相关研究问题,最后进行总结并展望了未来发展的趋势.  相似文献   

3.
在对PageRank算法进行研究的基础上,利用MapReduce编程模型思想对PageRank算法进行改进,设计了在云平台Hadoop环境下运行的基于MapReduce的PageRank分布式并行算法,并在实验中对不同规模的Web图数据集进行了测试,分析不同的Blocksize参数对于算法计算性能的作用以及集群节点数目对于算法运行效率的影响.  相似文献   

4.
以实际算法为例评估MapReduce在石油勘探中的应用   总被引:1,自引:0,他引:1  
石油勘探领域需要处理海量的地震数据,以获取地下构造用以发现和定位油藏。为评估云计算编程模型MapReduce对于石油勘探领域应用算法的适用性,设计并实现了基于MapReduce的三维Fresnel层析成像算法,实验发现MapReduce版本的性能比MPI版本慢3倍,而且对MapReduce作业调优的难度相当大。为了拓展MapReduce在石油勘探领域高性能计算领域的应用,需要在支持线程级并行、灵活性和提升I/O可扩展性3个方面进行改进,并提出了研究方法和技术路线。  相似文献   

5.
MapReduce模型的调度及容错机制研究   总被引:1,自引:0,他引:1  
MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度模型上,对原来的调度机制和容错机制做一定的修改。  相似文献   

6.
本文介绍了无线传感器网络定位技术的国内外研究现状,对无线传感器网络的相关技术做了整体概述。综述了无线传感器网络自身定位系统的评价、分类,重点对无需测距自定位算法中的DV-Hop算法进行了研究,并用VC++编程实现仿真。  相似文献   

7.
基于MapReduce模型的并行科学计算   总被引:4,自引:1,他引:3  
随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战,MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功,将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算.  相似文献   

8.
针对微博数据文本内容短小、特征词稀疏以及规模庞大的特点,提出了一种基于MapReduce编程模型的发现微博热点话题的方法。该方法首先利用隐主题分析技术解决了微博内容短小、特征词稀疏的问题,然后利用CURE算法缓解了Kmeans算法对初始点敏感的问题,最后采用基于MapReduce编程模型Kmeans聚类算法,对海量微博短文本数据进行快速聚类。实验结果表明该方法可以有效提高微博热点话题发现的效率。  相似文献   

9.
综合分析了数据流分类算法以及云计算的基本理论,提出了基于Hadoop框架的数据流系综分类算法,算法采用MapReduce并行编程模型对传统基于动态权重系综模型进行改进,以提升算法的分类效率.分析结果表明,该算法在处理快速海量到达的数据流时,其执行效率远高于传统系综算法.  相似文献   

10.
赵庆 《电子科技》2014,27(2):29-31
介绍了Hadoop平台下MapReduce的编程模型;分析了传统聚类Kmeans和Canopy算法的优缺点,并提出了基于Canopy的改进Kmeans算法。针对Canopy-Kmeans算法中Canopy选取的随机性问题,采用“最小最大原则”对该算法进行改进,避免了Cannopy选取的盲目性。采用MapReduce并行编程方法,以海量新闻信息聚类作为应用背景。实验结果表明,此方法相对于传统Kmeans和Canopy算法有着更高的准确率和稳定性。  相似文献   

11.
白浩泉  姚立红  陆松年 《信息技术》2011,35(4):85-88,92
随着网络攻击以及网络流量的飞速增长,分析入侵检测系统产生的海量报警信息越来越困难。MapReduce是由Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算,提出了一种基于MapReduce并行计算模型的报警聚合算法,用于执行高效的报警归并。最后使用DARPA 2000数据集,验证了本算法可以高效地聚合报警信息,大量减少冗余报警数量。  相似文献   

12.
夏卫雷  王立松 《电子科技》2013,26(2):146-149
蚁群算法在处理大规模TSP问题耗时较长,为解决这一不足,给出了一种基于MapReduce编程模式的并行蚁群算法。采用MapReduce的并行优化技术对蚁群算法中最耗时的循环迭代和循环赋值部分进行改进,同时运用PC集群环境的优势将具有一定规模的小蚁群分配到对应的PC机上,使其并行执行,减少运行时间。实验证明改进后的并行蚁群算法在大数据集上运行时间明显缩短,执行效率显著提高。  相似文献   

13.
针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。  相似文献   

14.
The MapReduce pattern can be found in many important applications, and can be exploited to significantly improve system parallelism. Unlike previous work, in which designers explicitly specify how to exploit the pattern, we develop a compilation approach for mapping applications with the MapReduce pattern automatically onto Field-Programmable Gate Array (FPGA) based parallel computing platforms. We formulate the problem of mapping the MapReduce pattern to hardware as a geometric programming model; this model exploits loop-level parallelism and pipelining to give an optimal implementation on given hardware resources. The approach is capable of handling single and multiple nested MapReduce patterns. Furthermore, we explore important variations of MapReduce, such as using a linear structure rather than a tree structure for merging intermediate results generated in parallel. Results for six benchmarks show that our approach can find performance-optimal designs in the design space, improving system performance by up to 170 times compared to the initial designs on the target platform.  相似文献   

15.
HPMR:多核集群上的高性能计算支撑平台   总被引:6,自引:1,他引:5  
HPMR是建立在多核集群上的高性能计算支撑平台,它继承并改进了MapRedcue并行编程模式,使其适合高性能计算需求.HPMR让并行程序的编写和运行变得非常简单,同时又保持很高的性能.HPMR的实用功能不但使并行程序变得易于扩展和移植,而且增强了并行程序的健壮性.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号