共查询到10条相似文献,搜索用时 735 毫秒
1.
2.
3.
4.
编程模型是云计算的关键技术之一。云计算环境下的编程模型必须设计得简单、便捷,以满足用户利用云计算的编程模型编写个性化程序。目前的云计算编程工具,都是基于Map Reduce的编程模型,它适用于大规模数据集的并行运算。其基本思想是将问题分解成Map(映射)和Reduce(化简),Map程序将数据分割独立区块,利用计算机群实现分布式处理,最后通过Reduce程序将结果汇总整合输出。Map Reduce的作业流程是任务的分解与集合的汇总。 相似文献
5.
《电子技术与软件工程》2017,(2)
基于云计算技术的电力大数据预处理属性约简是当前电力企业数据处理的主要发展方向。文中对其发展进行了简单介绍,并对Map Reduce在电力大数据预处理属性约简中的应用以及基于Map Reduce技术的电力大数据预处理属性约简进行详细分析。 相似文献
6.
基于改进的Map/Reduce及模式空间划分的数据挖掘 总被引:1,自引:0,他引:1
为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法. 相似文献
7.
8.
Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。 相似文献
9.
《信息通信》2015,(10)
Map Reduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各结点负载不均衡的问题,提出reduce阶段负载均衡分区算法。算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,引入了反馈机制来进一步提高调度策略的性能,每次给reducetask分配都是基于反馈信息选择最优的分区,reducetask完成工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节各reducetask的负载。通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响Map Reduce模型的情况下显著地缩短了任务的处理时间。 相似文献
10.
熊宁 《信息技术与信息化》2015,(2):199-200
计算机设备在进行信息数据的存储、管理以及分析的过程中,会受到大数据规模效应的极大影响,而对于这一问题,当前的学术界选择了利用计算机分布式文件系统以及Map Reduce来进行应对。在大数据的环境下,存在一种分布式MOLAP技术,其是在计算机分布式文件系统中的Map Reduc模式下得以构建,又可以将其称之为分布式联机分析处理(Distributed On-Line Analytical Processing,DOLAP)。本文将针对分布式MOLAP技术进行大数据前提下的分析,以期能够为今后的分布式MOLAP技术发展提供有效理论参考依据。 相似文献