MapReduce模型的调度及容错机制研究

MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度模型上,对原来的调度机制和容错机制做一定的修改。     

MapReduce并行编程模型研究综述

 MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.     

无线传感器网络事件簇的数据聚集容错机制

针对数据聚集操作的容错要求,提出了事件簇的数据聚集容错机制EFSA.在生成事件簇的基础上,采用k-means算法提取加权平均数作为近似的事件值,并且计算和迭代地调整节点的可信度,作为聚集计算的数据权值和节点是否出现数据错误的指标.分析和实验表明,EFSA机制能够削弱数据错误的影响,实现数据聚集的正确性与可靠性.     

基于HADOOP的数据挖掘平台分析与设计

云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上,从而实现了对超大数据集的巨大的存储和计算能力。HADOOP是一个用于构建云平台的Apache开源项目。使用HADOOP框架有利于我们方便、快速的实现计算机集群。在HADOOP平台上,采用了HDFS(分布式文件系统)来实现超大文件的存储和容错,而使用了MapReduce的编程模式来进行计算。     

无线传感器网络拓扑的容错度与容侵度

研究传感器网络拓扑对节点失败的容忍能力,必须解决三个基本问题,容忍节点失败的定义是什么,如何评价拓扑的这种容忍能力,什么样的拓扑具有较高的容忍能力.当前有关无线网络容错拓扑的研究均将图的多连通性看成拓扑的容错性,以图形多连通度的大小来衡量拓扑容错性的高低.本文通过实例分析指出图的多连通性与容错性是不同的,并结合网络的可用性,给出拓扑对失败节点容忍的定义,在此基础上,根据随机故障和恶意入侵两类节点失败形成原因,给出了拓扑容错度和容侵度作为拓扑对节点失败容忍能力高低的评价标准,并利用这两个标准分析了传感器网络分层拓扑,得出其拓扑容错度随簇头节点比例提高递减、而容侵度随之递增的理论结果.     

构造自组网的容错骨干集

为简化网络结构和提高网络性能所使用的骨干网技术若未考虑容错易造成自组网无法面对节点和无线信道失效.本文研究了如何利用容错骨干来提高网络可靠性,设计了一种分布式容错骨干集构造算法LKFB,满足网络内任意两点之间仅通过容错骨干集保持最大限度K连通容错能力.仿真结果表明,LKFB能够通过改变K值来调整网络的容错能力,通过增加较少的骨干节点换得较高的容错性能.最后通过修改权值函数能够保证按照全网能耗均衡的方式选择容错骨干.     

一种基于代理的拜占庭容错算法

针对目前拜占庭容错的分布式一致性算法对性能的影响,文中从算法过程出发,基于B-Raft算法,加入了代理(Proxy)机制,以此为优化点来提升因拜占庭容错而导致降低的效率,同时降低单点失效频率。实现代理(Proxy)机制的方法是在Leader节点选取之后,通过高斯混合模型(GMM)将Follower节点群分簇后分别选取代理节点(Proxy-Node,PB),通过Leader与PB的分层同步来均衡Leader节点的负载,提高一致化效率。     

MapReduce并行编程架构模型研究

针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望.     

基于高性能集群实时容错机制的研究与实现

文章基于并行执行控制框架,根据并行计算的特点,针对Master、Worker节点故障,提出一种实时容错任务调度机制.实验结果表明,此机制能够在系统资源小部分损失的情况下,对剩余可用资源重新配置并恢复需要继续执行的计算任务,极大的提高了系统的可靠性.     

分布式存储系统中容错技术综述

互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。     

Ad hoc网络中基于多径路由协议的信誉机制

基于多径路由协议,采用RS编码技术,设计了一种将数据信息编码后分片沿不同路径传输的方法,在目的节点对恶意篡改行为进行检测,确定恶意节点的具体位置或将恶意节点锁定在恶意节点组内.在此基础上提出了一个完整的抵制篡改数据攻击的信誉机制,充分利用了从数据传输和恶意节点检测过程中获得的信息,采用简单贝叶斯模型方法,对节点进行信誉评价,引入了恶意节点组的概念.数据在正常传输过程中无需重复加密和签名.实验表明,该信誉机制能够有机地与多径路由协议相结合,快速准确地孤立篡改数据的恶意节点.     

RBFT:基于Raft集群的拜占庭容错共识机制

针对现有联盟链共识机制因可拓展性不足,无法在支持大规模网络的同时满足低时延、高吞吐量和安全性的问题,采用网络分片的思想,提出一种适用于联盟链的带有监督节点的两级共识机制——RBFT。首先对网络节点进行分组,组内采用改进的Raft机制进行共识,然后由每个组内选出的领导者组成网络委员会,网络委员会内部采用PBFT机制进行共识。研究结果表明,在大规模网络环境下,相比PBFT和Raft,RBFT在具备拜占庭容错能力的同时可以保证高共识效率,因而具有更高的扩展性。     

有向双环网络G(N;h)的容错路由算法

针对有向双环网络G(N;h)的容错问题,研究了有向双环网络G(N;h)容错节点所对应的等价节点的分布规律,给出一种有向双环网络G(N;h)的容错路由算法. 给出了当有向双环网络任意两个节点之间的最短路径出现故障时,找出另一条最短路径的方法. 此算法的时间复杂度为O(d).     

基于MapReduce的PageRank算法的研究

在对PageRank算法进行研究的基础上,利用MapReduce编程模型思想对PageRank算法进行改进,设计了在云平台Hadoop环境下运行的基于MapReduce的PageRank分布式并行算法,并在实验中对不同规模的Web图数据集进行了测试,分析不同的Blocksize参数对于算法计算性能的作用以及集群节点数目对于算法运行效率的影响.     

基于信誉分类的拜占庭容错共识算法

针对许可区块链场景下实用拜占庭容错(Practical Byzantine Fault Tolerance, PBFT)共识算法通信开销大、主节点选取随意以及吞吐量低等问题,通过引入并优化信誉评分模型(Reputation Scoring Model, RSM)。提出了一种基于信誉分类的拜占庭容错(Byzantine Fault Tolerance Based on Reputation Classification, RCBFT)共识算法。定义RSM,依据节点的历史共识行为所获得的信誉评分排序对参与节点进行动态分类以及分级管理,提出基于信誉分类的多层次节点架构;在可信节点层中随机选取节点来担任主节点,优化主节点选取机制;设计了缓冲节点层类型转换策略(Type Conversion Strategy for Nodes, TCSN),兼顾了环境等非主观因素导致低信誉评分的诚实节点不能参与共识的问题,使得诚实节点尽可能多地参与共识,而拜占庭节点快速下降到最差类型中限制共识权限;RCBFT共识算法还对传统三阶段共识协议进行优化,减少通信开销,在确保容错性的同时能够提高算法性能。实验分析表明...     

一种高能效的无线传感器网络主动容错机制

从无线传感器网络节点主动对报文层差错进行控制的角度出发,对容错问题建立了系统模型,提出了一种适用于无线传感器网络的主动容错机制AFS。AFS机制利用本文提出的"窗口式"统计方法估计得到的似然项与先验项,使用贝叶斯方法对错误报头字段进行容错。理论分析与仿真结果表明AFS能够削弱报头错误的影响,并具有较高的能效。     

移动IPv6网络家乡代理容错方案性能分析

移动IPv6网络家乡代理的容错机制可保证在家乡代理失效后,节点仍能被寻址。针对现有容错方案普遍存在缺少容错性能定量评价的问题,对其工作机制进行深入研究,并通过仿真对不同方案的容错性能进行定量分析和评价。仿真结果表明：环状备份方案（MADB）在容错时间、服务中断时间以及信令开销等方面的性能均优于其他方案,综合性能提高35%左右。     

自组网容错拓扑控制的研究

为省能而提出的拓扑控制若未考虑容错易造成自组网无法面对节点和无线信道失效.本文针对一般的原始平面图G0提出了保持两点之间最大限度K点、K边和K路径容错连通能力的概念.设计了一种基于K条内部节点互不相交路径的分布式拓扑控制算法LKINDP,能够保持G0内任意两点之间最大限度K连通容错能力,并给出了证明.仿真结果表明,LKINDP能够显著减小平均电台半径,简化网络拓扑结构,并且能够通过改变K值来调整网络的容错能力.     

基于扩散机制的无线传感器网络时间同步协议

针对当前无线传感器网络时间同步协议普遍存在抗毁能力不足的缺陷,提出了一种基于扩散机制的无线传感器网络时间同步协议,全局时间通过邻居节点间定时随机交换时戳信息维护,取消同步发起节点在同步网络中可能带来的不安全隐患,实现同步网络拓扑最优.同时利用容错、时分等策略进一步提高同步网络的抗毁性能.通过对典型无线传感器节点的实际测试表明,该协议在抗毁能力、同步精度、可扩展能力等方面均取得了较好结果.     

无线传感器网络容错目标定位算法——FTTL

文章提出了一种带有容错机制的目标定位算法,算法以传感器节点观测结果0．1值为依据,通过一种似然估计实现定位。文章提出的算法能够获得较好的定位精度,并在一定的节点差错概率下,保持算法性能。