MapReduce模型的调度及容错机制研究

MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度模型上,对原来的调度机制和容错机制做一定的修改。     

MapReduce并行编程模型研究综述

 MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.     

无线传感器网络事件簇的数据聚集容错机制

针对数据聚集操作的容错要求,提出了事件簇的数据聚集容错机制EFSA.在生成事件簇的基础上,采用k-means算法提取加权平均数作为近似的事件值,并且计算和迭代地调整节点的可信度,作为聚集计算的数据权值和节点是否出现数据错误的指标.分析和实验表明,EFSA机制能够削弱数据错误的影响,实现数据聚集的正确性与可靠性.     

基于事件触发的多智能体系统自适应容错控制

针对事件触发机制条件下具有执行器加性与乘性故障的领导-跟随线性多智能体系统的容错一致性问题,文中综合利用自适应控制思想和李雅普诺夫函数的方法对其进行研究.根据多智能体系统的拓扑结构建立集跟随多智能体执行器故障与事件触发机制于一体的闭环系统数学模型;基于自适应思想设计自适应容错控制律,以实现跟随多智能体节点执行器故障的主...     

基于HADOOP的数据挖掘平台分析与设计

云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上,从而实现了对超大数据集的巨大的存储和计算能力。HADOOP是一个用于构建云平台的Apache开源项目。使用HADOOP框架有利于我们方便、快速的实现计算机集群。在HADOOP平台上,采用了HDFS(分布式文件系统)来实现超大文件的存储和容错,而使用了MapReduce的编程模式来进行计算。     

无线传感器网络拓扑的容错度与容侵度

研究传感器网络拓扑对节点失败的容忍能力,必须解决三个基本问题,容忍节点失败的定义是什么,如何评价拓扑的这种容忍能力,什么样的拓扑具有较高的容忍能力.当前有关无线网络容错拓扑的研究均将图的多连通性看成拓扑的容错性,以图形多连通度的大小来衡量拓扑容错性的高低.本文通过实例分析指出图的多连通性与容错性是不同的,并结合网络的可用性,给出拓扑对失败节点容忍的定义,在此基础上,根据随机故障和恶意入侵两类节点失败形成原因,给出了拓扑容错度和容侵度作为拓扑对节点失败容忍能力高低的评价标准,并利用这两个标准分析了传感器网络分层拓扑,得出其拓扑容错度随簇头节点比例提高递减、而容侵度随之递增的理论结果.     

一种基于代理的拜占庭容错算法

针对目前拜占庭容错的分布式一致性算法对性能的影响,文中从算法过程出发,基于B-Raft算法,加入了代理(Proxy)机制,以此为优化点来提升因拜占庭容错而导致降低的效率,同时降低单点失效频率。实现代理(Proxy)机制的方法是在Leader节点选取之后,通过高斯混合模型(GMM)将Follower节点群分簇后分别选取代理节点(Proxy-Node,PB),通过Leader与PB的分层同步来均衡Leader节点的负载,提高一致化效率。     

构造自组网的容错骨干集

为简化网络结构和提高网络性能所使用的骨干网技术若未考虑容错易造成自组网无法面对节点和无线信道失效.本文研究了如何利用容错骨干来提高网络可靠性,设计了一种分布式容错骨干集构造算法LKFB,满足网络内任意两点之间仅通过容错骨干集保持最大限度K连通容错能力.仿真结果表明,LKFB能够通过改变K值来调整网络的容错能力,通过增加较少的骨干节点换得较高的容错性能.最后通过修改权值函数能够保证按照全网能耗均衡的方式选择容错骨干.     

MapReduce并行编程架构模型研究

针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望.     

基于高性能集群实时容错机制的研究与实现

文章基于并行执行控制框架,根据并行计算的特点,针对Master、Worker节点故障,提出一种实时容错任务调度机制.实验结果表明,此机制能够在系统资源小部分损失的情况下,对剩余可用资源重新配置并恢复需要继续执行的计算任务,极大的提高了系统的可靠性.