PETSc库在网格环境下的应用研究

网格计算的推广应用，需要各种资源和服务的支持，在自强2000集群系统上，采用基于OGSI的GT3网格技术。实现PETSc的网格服务，提供PETSc源程序的编译及PETSc并行作业的管理功能，用于在网格环境为远程用户解决各种复杂的科学计算问题。     

网格环境下集群管理系统

分析了集群接入网格的过程中所面临的问题,研究了在网格环境下使用集群的方法,详细分析了集群接入网格需要提供的接口和服务,并实现了一个网格环境下集群管理的原型系统,将集群转化成为一种标准的、透明的资源接入网格.通过该系统用户能够在任何地方使用分布在各处的集群资源,系统能保证用户提交的作业正确、有效的运行,并及时向用户反馈提交作业的相关信息.实验分析表明,该系统能够有效的整合集群计算资源,从而提高计算能力,增大全局吞吐量.     

一个数据并行型计算的网格资源的管理模型

在由多计算机集群构成的数据网格环境下，挖掘网格计算节点的空余资源来支持数据并行型计算（Data Parallel Computing，DPC），提出了一个基于分类、统计机制的数据网格管理模型。根据不同时间的网格资源的空余、各类DPC以及逻辑计算机机群，研究了支持DPC的网格资源管理模型。实验表明，该模型有效地解决了网格环境下数据并行型计算所需的空余资源优化使用问题。     

网格环境下的集群系统作业管理研究

网格计算已经逐渐形成一个重要的新领域。相对于传统的分布式计算，它的显著之处在于它能够共享网络上的各种资源，包括地理上分布的各种计算资源。PBS是广泛应用于并行计算机的作业管理系统，它可以按照用户定义的配置参数相对公平地为每个作业分配系统资源。但是在网格环境范围内对集群系统进行管理仍然是一门有待研究的课题。利用网格系统软件和集群系统管理软件，实现了一种在网格环境下对集群系统作业进行管理的方法。     

基于Ganglia与MDS结合的网格监控体系研究

资源监控可以为使用者提供网格环境中与资源相关的性能数据,同时也可以为作业调度提供必要的资源信息支持。Ganglia可以监控基于集群的广域系统中的节点(处理器集)的状态,MDS可以用来监控和发现网格资源和服务,本文通过对Ganglia与MDS的结合进行研究,提出了一个功能强大且严密的网格资源和作业监控体系,同时将该监控体系加入到校园计算网格平台中。     

基于强化学习的多机群网格资源调度模型

在由多个计算机集群构成的多机群网格环境下，为了解决数据并行型计算（DPC）与计算资源的有效匹配问题，提出了一个基于强化学习机制的网格资源调度模型；给出了由多个计算机机群组成的多机群网格、逻辑计算机机群、数据并行型计算和一系列Agent的定义；利用多Agent的协作做竞争机制、基于强化学习的匹配知识库的修正方法，研究了逻辑计算机机群与DPC资源供需之间的有效匹配问题；描述了网格的资源调度模型。理论分析和实践表明，该模型有效地解决了多机群网格环境之下数据并行型计算所需的资源优化使用问题。该模型适合于基于多机群网格的数据并行型计算。     

基于移动代理的网格作业管理模型的研究

网格作业管理是网格的最主要的功能之一,主要涉及到网格计算环境下作业调度和分配、作业分解和迁移、负载平衡等问题.介绍了一种引用移动代理Agent技术的网格作业管理模型,并针对该系统依次详细地描述了其中的作业提交与发布、作业调度以及作业的分解和迁移,最后给出基于移动代理的网格作业管理模型的原型系统,并对该系统作单机与联机的性能进行分析和比较.     

动力灾变模拟网格系统的设计与实现

针对重大工程的动力灾变作业的特点,为增强资源的共享和远程协同能力,构建了基于网格的动力灾变模拟应用平台,并详细阐述了平台的体系架构及相关实现技术.该平台通过Web服务技术将灾变任务封装成网格服务,提交到计算节点上,以并行化方式运行,并对服务进行监控和管理.最后给出了实例应用的实现,结果表明,通过灾变模拟应用平台运行灾变作业取得了较好的效果.     

两种网格服务模型的对比研究*

结合网格系统中虚拟组织内部的集中调度机制,介绍了一种现有的多队列服务模型,该模型将提交到虚拟组织上的作业请求分配到该虚拟组织内部资源的服务队列上;考虑到网格环境中服务的动态性,将服务队列集中在调度中心的单队列服务模型应用于网格环境,通过对提供服务的资源发生故障的情况进行仿真实验,对这两种服务模型进行了对比研究,并进一步提出了自适应队列模型的构想.     

MPI+TBB混合并行编程模型在分子动力学中的应用

为了提高分子动力学模拟在对称多处理(SMP)集群上的计算速度,在分子动力学并行方法中引入MPI+TBB的混合并行编程模型。基于该模型,在分子动力学软件LAMMPS中设计并实现混合并行算法,在节点间采用MPI及空间分解技术实施进程级并行,节点内采用TBB及临界区技术实施线程级并行。在SMP集群中的测试表明,该方法在体系较大以及节点数较多时可以明显减少通信时间,使加速比在纯MPI模型上提高45%。结果表明,MPI+TBB混合并行编程模型可促进分子动力学并行模拟且效率明显提升。     

虚拟化环境下的数据库集群系统构建与性能分析

基于物理主机的数据库集群配置和管理存在配置复杂、灵活性差的问题。虚拟化技术结合集群系统管理使系统管理和资源构建更加灵活透明。本文提出一种基于Xen Server虚拟化平台的MySQL Cluster数据库集群系统配置部署方案,并对比MySQL 5.1单机版测试数据对系统性能进行分析。本文提出的方案不但利用虚拟化平台虚拟机快速复制功能有效降低数据库集群系统部署的复杂度,提高配置的灵活性,且与大并发和大数据量的处理能力相比MySQL 5.1单机版具有较高的性能优势。     

基于数组分块的FPGA高级综合编译优化算法

针对FPGA高级综合中提高矩阵存储并行的问题, 提出了一种基于数组分块的编译优化算法, 用来优化以矩阵乘法为代表的矩阵应用。算法在LLVM编译器架构下对访存密集的数组进行分块, 然后对迭代空间进行对应的合并, 最后修改迭代空间与数据空间之间的数据访问。与AutoESL循环展开算法的实验对比表明, 在分块数目最优的情况下, 矩阵乘法电路的延时平均被降低46%, 资源平均被降低39%。因而该基于数组分块的高级综合编译优化算法能有效降低电路延时和资源使用量。     

Application resource requirement estimation in a parallel-pipeline model of execution

We propose a massively parallel framework termed a parallel-pipeline model of execution that can be employed on a homogeneous computational cluster. We show that speedups near-linear in the number of processors are achievable for applications involving reduction operations based on a novel, parallel-pipeline model of execution. As computational clusters become viable alternative platforms for solving large computational problems, the research community acknowledges that the cluster environment can be used effectively when adaptive resource management is employed. This requires the ability to estimate the resource requirements of applications before scheduling decisions are made. We propose a resource estimation model for applications executed in the parallel-pipeline model of execution. We develop a performance model that predicts the resource utilization (i.e., computation and communication complexity) for applications executing under the parallel-pipeline model on a homogeneous computational cluster. This performance prediction model can provide information to a cluster scheduler.     

面向大数据复杂应用的虚拟集群动态部署模型

针对计算负载的时变性和复杂性导致虚拟集群的资源利用率不高的问题,为提高虚拟集群资源的全局利用率,采用弹性资源管理策略来吸收多种计算模式混杂时的资源需求突变。在Docker容器技术的支持下提出一个根据作业需求变化的动态部署模型。该模型根据资源的动态需求变化,实时调整虚拟集群的计算形态,具体包括计算节点的类型及规模。该模型不仅实现用户作业执行环境的动态定制,而且达到错峰计算的目的。仿真实验表明,该模型使得虚拟节点CPU利用率提升5.3%,并且优化了计算作业的执行效率。该动态部署模型适合应用到数据中心或大规模集群中,能够有效提高计算资源的利用率。     

基于软件定义网络的反饱和分组云负载均衡

云计算中统计复用是其显著特点,通过使用虚拟化技术可以提高物理资源利用率。针对云虚拟机集群需要考虑资源利用的负载均衡问题,面向OpenStack云平台,提出基于软件定义网络(SDN)的反饱和分组负载均衡(ASGS)方法。云主机按权值分配到不同的分组,SDN控制器利用探针根据不同分组周期性获取云主机负载。当请求到来时,均衡器以每组云主机平均权值为概率,随机选择一组,并在组内通过轮询选择一台合适的后端。为避免某台后端出现突发请求利用资源过多造成的云主机宕机现象,对较高权值的云主机预先加上一个参数,增高权值,使其处于高负载状态,让其接收更少的请求。实验结果表明,所提算法使各云主机不管请求量如何变化,随着时间的变化集群中云主机的资源利用率的标准方差比随机和轮询波动更小,更趋近于0,使得云主机集群的负载更均衡。     

容器云环境虚拟资源配置策略的优化

针对容器化云环境中数据中心能耗较高的问题，提出了一种基于最佳能耗优先（Power Full，PF）物理机选择算法的虚拟资源配置策略。首先，提出容器云虚拟资源的配置和迁移方案，发现物理机选择策略对数据中心能耗有重要影响；其次，通过研究主机利用率与容器利用率，主机利用率与虚拟机利用率，主机利用率与数据中心能耗之间的数学关系，建立容器云数据中心能耗的数学模型，定义出优化目标函数；最后，通过对物理机的能耗函数使用线性插值进行模拟，依据邻近事物相类似的特性，提出改进的最佳能耗优先物理机选择算法。仿真实验将此算法与先来先得（First Fit，FF）、最低利用率优先（Least Fit，LF）、最高利用率优先（Most Full，MF）进行比较，实验结果表明，在有规律不同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低45%、53%和49%；在有规律相同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低56%、46%和58%；在无规律不同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低32%、24%和12%。所提算法实现了对容器云虚拟资源的合理配置，且在数据中心节能方面具有优越性。     

一种基于QoS的云负载均衡机制的研究

提出一种基于QoS的云负载均衡机制,即:构建QoS模型和云资源模型;建立资源度量与QoS属性之间的映射;对虚拟机实例负载状况和虚拟机集群资源利用状况进行量化评估;感知用户的QoS并对比所监控的云节点的资源度量情况,根据对比结果,通过任务调度算法和弹性伸缩算法分别实现任务的分发和虚拟机集群的弹性伸缩,最终达到优化的负载均衡的目的.通过模拟试验,结果表明本方法与Round robin算法相比,有更好的负载均衡效果.     

群机计算资源管理研究

随着网络技术的发展,群机计算管理软件作为对群机计算资源进行统一管理的中间件,越来越受到人们的关注。如何合理地管理地理上相对分散的计算资源,达到资源共享的目标,是群机系统发挥性能的关键。文章首先给出了一个基于资源集合概念的资源管理模型,在此基础上,研究了群机系统的资源分配和负载管理问题,并结合作业调度过程说明了资源管理模型与策略的应用。     

基于计算期望的网格资源管理模型

网格环境下的计算资源具有分布性,异构性,动态性的特征,并分别属于不同的组织,使网格资源管理相对分布式计算环境或集群环境下的资源管理更加复杂.在计算经济模型的基础上,提出了一种基于计算期望的网格资源管理模型.模型将计算任务抽象成对计算期望的描述,以实现灵活高效的网格资源管理和调度.通过可变价格策略,反映了网格内资源的供求关系,并对基于预留的Qos保证进行了初步的讨论.     

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。