基于自适应容错机制的网络资源调度平台的设计

网络资源调度过程中存在多处理机同时发生故障的情况,传统方法在处理多处理机发生故障时,主要分析执行时间和通信时间,未对资源调度的稳定性进行考虑,资源调度存在较高的误差。为了有效解决资源调度过程中存在的故障问题,设计了基于自适应容错机制的网络资源调度平台。该平台具有网络资源发现、网络网络资源预约、网络资源动态信息查询以及资源调度运行时监控等功能。网络资源调度模块的错误检测服务包括进程监控模块、汇总模块、错误评估模块以及报警模块。通过自适应错误检测算法,对网络资源调度进程中的错误进行检测,并采取对应的解决措施,确保资源调度的顺利运行。实验结果说明,所设计调度平台在进行资源调度过程中,网络利用率、调度性能以及可靠性都较优。     

基于自适应调度的网格容错机制研究

在研究现有网格计算容错技术的基础上,结合蚂蚁算法的自适应优势改进现有容错技术Migol的任务调度策略,构建一个效率更高的网格计算自适应容错框架.通过仿真实验,验证了该模型在保证系统稳定性的同时能提高系统资源利用率.     

嵌入式系统中基于DAG的容错调度算法设计

首先针对任务间有依赖关系的任务,建立了有向图(DAG)任务模型;随后,采用动态关键路径调度策略BDCP(Better List Scheduling Algorithm)进行静态调度;最后是以BDCP为基础,在同步节点处添加可重叠的时间冗余,提出了FT-DAG(Fault Tolerant DAG)容错调度算法。同步节点是指DAG中那些直接前继个数大于1的节点。同步节点恢复技术具备容错、提升调试能力以及更少的容错开销。通过一个实例展现FT-DAG的调度过程,并把FT-EDFFT容错调度算法与之对比,验证所提算法的优势。     

云计算下MapReduce多组容错机制架构的分析与研究

提出了MapReduce多组容错机制,在传统的Hadoop MapReduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明,MapReduce多组容错机制提高了MapReduce的工作效率.     

允许多处理机故障的实时任务容错调度算法

随着故障处理机个数增加,基于主/从版本技术的实时容错调度算法对处理机利用率迅速下降。论文提出了一种能够调度周期和非周期混合实时任务的容错调度算法,该算法允许多个处理机出现故障。把DS(Deferrable Server)算法扩展到多处理机系统,可在系统中设置多个DS服务器来处理非周期任务。当处理机出现故障时,通过在其他处理机上回卷执行故障任务,保证了系统的容错性能。实验结果表明,该算法能够使系统接收的所有实时任务满足截止期限并有效地减少了所需的处理机数。     

基于遗传算法的异构系统多副本容错调度算法

针对异构系统中基于多副本机制的容错调度方法忽略调度makespan、任务间依赖与系统链路失效及严格调度方式调度makespan较长问题,首先提出通用调度方式下同时考虑节点和链路失效的可靠性计算方法;然后给出该通用调度问题的0-1整数规划模型;接着提出可靠性意识多副本任务通用调度(RAMD_TGS, reliability-aware multi-duplication task general scheduling)算法,通过遗传算法种群进化来搜索副本映射节点和开始执行时间。实验表明该算法不仅满足可靠性要求,而且与严格调度方式相比能进一步减小调度makespan,该算法资源占用开销也是可接受的。     

虚拟化云平台中实时任务容错调度算法研究

为了在云平台下满足实时系统的高可靠性要求,提出了一种虚拟化云平台中的容错调度算法（FSVC, fault-tolerant scheduling algorithm in virtualized clouds）,FSVC通过主副版本方法来实现对物理主机的容错,采用副版本重叠技术与虚拟机迁移技术来提高算法的调度性能。为了达到容错的要求,分析了这2种技术应满足的约束。此外,FSVC中包含了一种两阶段策略以进一步提高算法性能。大量仿真实验表明,在虚拟化云平台中,FSVC能有效地提高系统可调度性与资源利用率。     

星载Clos网络的全分布式容错调度算法

针对星载交换结构受空间辐射影响造成的可靠性严重下降问题,该文提出了一种支持全分布式调度的三级Clos网络及其全分布式容错(Fully Distributed Fault Tolerant, FDFT)调度算法,以提高星载交换结构在交叉点故障下的容错能力。该Clos网络的中间级和输出级采用联合输入交叉点队列,以支持Clos网络和交换单元内部的全分布式调度。FDFT采用一种分布式故障检测算法获得交叉点故障信息。基于对交叉点故障影响范围的分析,FDFT在输入级采用一种容错信元分发算法,实现无故障路径的负载均衡。理论分析证明,当任一输入/输出级交换单元故障个数不超过(m-n)或所有中间级交换单元故障个数不超过(m-n)时,其中m, n分别为输入级交换单元输入、输出端口数,FDFT能够达到100%吞吐率。仿真结果进一步验证,故障随机发生情况下,FDFT能够抵抗比故障任意发生情况下更多的故障,且在不同的业务场景下具有良好的吞吐率和时延性能。     

核心网自动容错机制研究

文章基于移动用户行为和网络设备保障机制,提出了核心网的自动容错机制概念,并列举了短信中心地址自动纠正、APN融合、IP接口板自动倒换和话单写入硬盘出错等实际应用场景,对用户侧容错和网络侧容错技术进行了探讨。     

基于MapReduce模型的并行科学计算

随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战,MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功,将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算.     

MapReduce并行编程架构模型研究

针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望.     

基于MapReduce数字图像处理研究

随着海量图像数据的增加,使得需要处理的数据规模越来越大,为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题,在深入研究MapReduce大规模数据集分布式计算模型的基础之上,本文设计了基于MapReduce实现对数字图像并行化处理。实验结果表明：运行在Hadoop集群上的基于MapReduce并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足海量数据图像的处理的要求。     

使用MapReduce编程模型进行大规模FCD并行处理

浮动车交通信息获取技术是近几年发展起来的一种很有前景的获取城市动态交通信息的方法,它利用计算机、全球定位和无线通信技术来获取浮动车数据(FCD)进行处理。FCD经过地图匹配、路段速度推测等计算后转变为城市动态交通信息。为了能够使大规模的FCD处理快速、及时,必须采用并行计算。MapReduce最初由Google提出,它使开发人员不需太多并行编程经验就可以快速开发出能够运行在大规模分布式集群上的软件。本文基于MapReduce并行编程模型,提出了一种FCD并行处理的方法来解决大规模FCD实时处理的问题。最后在高性能集群上进行了实验,得到的近似线性加速比的结果验证了该设计方案的有效性。     

基于MapReduce的术语权重计算方法研究

术语识别在本体构建、词典构建等领域应用广泛,而术语权重计算是术语识别中的关键步骤。本文通过改进TF-IDF公式,将组成术语词条的长度作为权重因素之一,同时考虑术语在文档集中的领域相关性。整个过程基于MapReduce编程模型实现,在Hadoop云平台中以分布式方式计算候选领域术语的权重。实验结果表明,该方法不仅简化了术语权重计算的实施步骤,也提高了算法执行效率。     

一种基于MapReduce的知识聚类与统计机制

网络文献知识库中的海量资源及其分类的粗粒度,导致学习者容易在文献检索和阅读过程出现认知迷航和知识过载问题。该文提出一种基于MapReduce的知识聚类与统计机制：首先,提出基于MapReduce的共现矩阵构建算法MR-CoMatrix;其次,将共现矩阵与相似度系数结合构建相似度矩阵;然后,通过Z Scores对相似度矩阵进行标准化;最后,使用离差平方和法(Ward,s method)对相似度矩阵进行聚类,生成树状的知识聚类谱系图;基于聚类结果,提出基于MapReduce的知识文献统计算法MR-Statistics,对每个分类的知识属性进行统计。实验结果表明：将MR-CoMatrix和MR-Statistics方法应用于网络文献知识库进行知识聚类和统计,达到较理想的聚类精度和计算效率,实现了细粒度知识聚类和多维统计,同时减少了时间开销。     

基于MapReduce的SimRank算法在图聚类中的应用

由Jeh和Widom提出的SimRank算法是一种普适"结构相似度"计算模型。由于SimRank算法采用迭代方式计算图节点间相似性,因此时间复杂度和空间复杂度都非常高。随着数据量的激增,单机运算能力不能满足大规模数据的计算要求。本文提出了基于MapReduce计算模型的分布式SimRank算法,利用该算法对RDF图进行相似度度量,然后利用分布式的AP聚类算法对图节点进行聚类分析。实验结果表明,该方法能够高效的完成图节点的相似度度量,实现图的有效聚类。     

Sensor data compression based on MapReduce简

A compression algorithm is proposed in this paper for reducing the size of sensor data. By using a dictionary-based lossless compression algorithm, sensor data can be compressed efficiently and interpreted without decompressing. The correlation between redundancy of sensor data and compression ratio is explored. Further, a parallel compression algorithm based on MapReduce [1] is proposed. Meanwhile, data partitioner which plays an important role in performance of MapReduce application is discussed along with performance evaluation criteria proposed in this paper. Experiments demonstrate that random sampler is suitable for highly redundant sensor data and the proposed compression algorithms can compress those highly redundant sensor data efficiently.     

Parallelizing Modified Cuckoo Search on MapReduce Architecture

Meta-heuristics typically takes long time to search optimality from huge amounts of data samples for applications like communication, medicine, and civil engineering. Therefore, parallelizing meta-heuristics to massively reduce runtime is one hot topic in related research. In this paper, we propose a MapReduce modified cuckoo search (MRMCS), an efficient modified cuckoo search (MCS) implementation on a MapReduce architecture-Hadoop. MapReduce particle swarm optimization (MRPSO) from a previous work is also implemented for comparison. Four evaluation functions and two engineering design problems are used to conduct experiments. As a result, MRMCS shows better convergence in obtaining optimality than MRPSO with two to four times speed-up.