面向互联网的计算资源共享平台容错机制研究

描述了面向互联网的计算资源共享平台下的新型容错机制.该框架采用服务器端、调度节点,志愿机的层次网络体系结构,把调度节点的主-从备份容错与志愿机端的面向子任务的容错结合起来,保证了系统的最终计算结果不受影响.通过运行电力系统潮流计算的并行程序,对该系统的稳定性与可扩展性进行实验,小规模测试验证了该容错机制的正确性与高效性.     

一种基于任务区分的仿真资源调度策略研究

在如今的大规模并行计算中,一般都会使用巨型机作为仿真工具,而巨型机计算资源的有效调度能很大程度地提高仿真计算速度和资源的使用效率.首先针对当今主流巨型机的结构特点,设计了一种集中控制分布式代理部署的并行计算资源调度结构,然后根据系统提交审核的仿真计算作业的任务重要性,提出了一种根据任务区分的计算资源自适应调度策略机制和实现策略机制的主要关键算法.通过并行计算仿真的对比和分析,验证了调度策略有较好的实际应用效果.     

基于结构化对等网络的高效分布式任务调度

提出与描述了一个基于结构化对等网络的高效分布式任务调度策略HDTS(High-Efficient Distributed Task Scheduling)。HDTS建立在结构化对等网络的应用层覆盖网络上,保证了系统的非集中性、可扩展性、自组织性,以及规模大的优点。HDTS把基于Chord风格的对等网络协议和容错及高效的多播调度策略结合起来,允许分布式计算的各种大量的子任务在对等网络的节点上高效的调度、分配、执行。除了支持主-从风格的并行计算外,系统允许具有数据依赖的分布式旅行商算法正确的执行,使系统具有通用性和开放性。测试结果表明:HDTS具有正确性与高效性,可以作为对等网络上计算资源高效共享与聚集的可行方案。     

基于MPI并行程序的容错系统设计

为了确保并行程序能够在并行环境下准确地运行,须提高系统的可靠性,将容错技术应用到并行计算中。该文针对MPI并行程序提出一种容错系统的设计方法,采用检查点/卷回恢复技术、并添加故障检测功能,能够有效地处理节点失效故障和进程失效故障,在一定范围内实现容错,为MPI环境下进行大规模计算提供一个可使用的应用模型。     

一种面向大规模数据处理的数据库引擎

当数据量从GB级上升至TB级甚至PB级时,具有高性能的并行数据库在保证扩展性和容错性的同时计算代价会很高。针对该问题,设计一种面向大规模数据处理的并行数据库引擎FlexDB。利用Map Reduce的并行计算框架作为通信层,调度和协调集群中各节点的计算和通信。实验结果表明,FlexDB的系统性能接近于并行数据库,并且具有较好的扩展性和容错性。     

故障场景下的边缘计算DAG任务重调度方法

边缘计算将计算和存储资源部署在靠近数据源的网络边缘,并高效调度用户卸载的任务,从而极大地提升了用户的服务体验(Quality of Experience,QoE).但是,边缘计算缺乏可靠的基础设施保护,服务器节点或通信链路的突发故障可能会导致服务失败.为此,建立了边缘计算中的计算节点和通信链路故障模型,并针对依赖型用户任务的调度,提出了资源故障场景下的任务重调度算法DaGTR(Dependency-aware Greedy Task Rescheduling).DaGTR包括两种子算法,即DaGTR-N和DaGTR-L,分别用于处理节点和链路故障事件.DaGTR能够感知任务的数据依赖关系,并基于贪心方法对所有受故障影响的用户任务进行重调度,以保证每个任务的成功执行.仿真结果显示,所提算法能够有效避免节点或链路故障导致的任务失败,提高了资源故障情况下任务的成功率.     

异构集群中CPU与GPU协同调度算法的设计与实现

为有效提高异构的CPU/GPU集群计算性能,提出一种支持异构集群的CPU与GPU协同计算的两级动态调度算法。根据各节点计算能力评测结果和任务请求动态分发数据,在节点内CPU和GPU之间动态调度任务,使用数据缓存和数据处理双队列机制,提高异构集群的传输和处理效率。该算法实现了集群各节点“能者多劳”,避免了单节点性能瓶颈造成的任务长尾现象。实验结果表明,该算法较传统MPI/GPU并行计算性能提高了11倍。     

Windows下基于ProActive并行计算的关键技术

针对现有并行计算技术的不足，提出了基于ProActive的Windows平台下的并行计算方法，对Windows平台下并行计算的结构、节点的动态部署、并行程序设计方法、并行任务调度等关键技术进行了研究，并初步实现了一个系统原型。实验证明该方案是可行的和有效的。     

提升大规模集群上并行计算软件系统可靠性和服务性的方法与实践

大规模集群上的并行计算软件需要具备处理部分节点、网络等失效的容错能力,也需要具有易于管理、维护、移植和可扩展的服务能力。针对星形计算模型,研究和开发了一套并行计算框架。利用调度节点内部的可变粒度分解器、相关队列等方法,实现了全系统容错,且具有较好的易用性、可移植性和可扩展性。系统目前可以实现300TFlops计算能力下连续运行超过150h,而且还具有进一步的可扩展能力。     

基于学习方式对Hadoop作业调度的改进研究

随着并行计算、分布式计算和网格计算技术的发展,云计算作为一种新的模型被提出来,发展极为迅速。Hadoop作为一个开源的云计算系统,得到了广泛的运用。作业调度是Hadoop平台的核心问题之一,通过对Hadoop中已有调度算法的了解和分析后,基于学习的方式,利用过去的节点历史记录和作业属性来不断地改进作业调度;应用了基于特征加权的朴素贝叶斯分类器算法来改进任务的分配调度,并通过实验进行了验证,结果表明它对任务分配调度执行效率有一定的提高。     

基于ProActive的并行计算任务调度器的研究

ProActive在开发并行计算及网格应用中很受欢迎，但目前还没有可用于基于ProActive的并行计算的任务调度器，在对相关技术进行研究后，给出了一个简单有效的任务调度器的实现方案，介绍了其技术细节。将其应用于开发的基于ProActive的并行计算支持平台中进行了实验，实验结果表明该调度器是可行和有效的。     

基于分布式架构的星载并行计算机容错技术

星载计算机需要容错技术来满足在外太空运行的可靠性要求。目前的星载计算机多机系统通常设计为主从结构,集中于一个主节点上进行容错策略控制,这种结构存在着一点失效即瘫痪的隐患。为此,本文提出一种分布式架构下的星载并行容错计算机系统,将集中控制的容错部件分布化于各个节点之上,提高了系统的容错可靠性,在此架构上提出了计算节点、容错部件和I/O等容错策略,并给出了相应的模型及模拟测试结果,为进行类似项目的开发研究提供了有价值的指导和参考。     

网格计算自主容错服务

容错服务是分布计算系统正常运作的有力保障。该文在一个基于多Agent的校园网格计算原型系统基础上,根据网格计算以及网格应用的本质,提出了网格容错服务的特征,采用Agent分而治之,自主容错的策略,将自主容错服务作为基础服务部署在校园网格计算原型系统的三个Agent层上,并对其实现和运作机制进行了详细的论述。     

集群环境下的并行聚类算法

探讨在集群环境下，如何设计并行聚类算法。作为一种低成本、通用并行系统，集群系统的通信能力，相对于节点的计算能力，是一个瓶颈。所以在集群环境下，设计并行聚类算法时，应采用数据并行的思想。从理论上，对采用数据并行思想后，影响聚类算法的加速比和聚类质量的因素进行了分析，然后通过一个验证算法PCIT(Parallel clustering algorithm based on Index Tree)证实了理论分析的正确性。研究结果可以为以后设计更好的数据并行聚类算法提供理论依据。     

扩展双精度浮点并行计算:MPI方法

双精度浮点并行计算将不能满足高性能计算领域对计算精度的要求,但是目前还没有高性能的超双精度并行计算的解决方法。基于并行编程语言MPI,本文提出了扩展双精度浮点的并行计算实现方法,并且使用精度敏感的圆周率计算BBP算法验证了该方法的正确性和性能。     

集群环境下的并行聚类算法之研究

本文的目的就是通过理论分析和试验，探讨集群环境下并行聚类算法的设计思想。作为一种低成本、通用并行系统，集群系统的通讯能力相对于节点的计算能力是一个瓶颈。所以本文提出，在集群环境下设计并行聚类算法时，应采用数据并行的思想。本文首先从理论上，对采用数据并行思想后影响加速比的因素和通讯策略的选择进行了分析，然后实现了一个新的并行聚类算法——PARC算法。通过PARC算法的实验，证明了理论分析的正确性，并且表明并行聚类算法可以得到良好的聚类质量。本文的研究结果可以为以后设计更好的数据并行聚类算法提供一定的理论依据。     

Fault-Toleront System Design: Broad Brush and Fine Print

Fault-tolerant computing encompasses diverse architectures. This examination of the field's general concepts, with cautionary notes, identifies common characteristics within this diversity.     

Heterogeneous parallel computing accelerated generalized likelihood uncertainty estimation (GLUE) method for fast hydrological model uncertainty analysis purpose

The generalized likelihood uncertainty estimation (GLUE) is a famous and widely used sensitivity and uncertainty analysis method. It provides a new way to solve the “equifinality” problem encountered in the hydrological model parameter estimation. In this research, we focused on the computational efficiency issue of the GLUE method. Inspired by the emerging heterogeneous parallel computing technology, we parallelized the GLUE in algorithmic level and then implemented the parallel GLUE algorithm on a multi-core CPU and many-core GPU hybrid heterogeneous hardware system. The parallel GLUE was implemented using OpenMP and CUDA software ecosystems for multi-core CPU and many-core GPU systems, respectively. Application of the parallel GLUE for the Xinanjiang hydrological model parameter sensitivity analysis proved its much better computational efficiency than the traditional serial computing technology, and the correctness was also verified. The heterogeneous parallel computing accelerated GLUE method has very good application prospects for theoretical analysis and real-world applications.

     

基于Google的云计算实例分析

首先介绍了云计算产生的背景、概念、基本原理和体系结构,然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台,提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台:GFS分布式文件、分布式数据库BigTable及Map/Reduce编程模式。最后分析了云计算发展所面临的挑战。     

基于MapReduce的并行同态加密算法

根据云计算分布式的特点,并结合同态加密和Hadoop环境下MapReduce并行框架,提出了一种基于MapReduce计算框架的并行同态加密方案。实现了具体的并行同态加密算法,并对该方案的安全性和正确性进行了理论分析。同时,在16个核的计算集群中进行实验,数据加密的加速比可以达到13。实验结果表明,基于MapReduce的同态加密方案可以有效地减少数据的加密时间,有利于面向实时的应用。