群机计算机资源管理研究

随着网络技术的发展,群机计算管理软件作为对群机计算资源进行统一管理的中间件,越来越受到人们的关注,如何合理地管理地理上相对分散的计算资源,达到资源共享的目标,是群机系统发挥性能的关键,文章首次给出了一个基于资源集合概念的资源管理模型,在此基础上,研究了群机系统的资源分配和负载管理问题,并结合作业调度过程说明了资源管理模型与策略的应用。     

群机系统内核外实现进程迁移的研究

1 引言群机系统(cluster)是实现网络高性能计算的一种有效方式。它是通过网络将一些工作站或PC机连接起来,并在之上附加一些管理软件,将连接的机器协调起来共同工作,从而获得高吞吐量计算。目前,已经有Condor,LSF,Condine和Beowulf等多个商业和科研软件包支持群机系统的运行。群机系统的基本思想是通过占用网络上空闲资源以获得高吞吐量的网络计算能力。它可以处理批处理任务和交互任务,在其上安装PVM或MPI等并行环境后,多数群机系统都支持并行计算。当在群机的任何一台主机上提交任务后,中央管理器将在系统中寻找空闲主机,并将任务分派到不同的空闲主机上,利用这些空闲的CPU资源来协同完     

网络计算管理研究

相对巨型机而言,基于网络的群机系统因其费用小、可靠性好、升级方便等特点,在解决某些高性能计算问题时完全可以代替巨型机,而且随着网络技术的发展及分布式理论的成熟,它将比巨型机有更可观的发展及应用前景。网络计算管理是群机系统能否充分发挥出优势的关键因素。该文介绍了网络计算管理的研究意义、发展阶段和趋势,从评价标准、关键技术和系统结构等方面介绍了网络计算管理的研究内容,并根据比较,选择介绍了几个性能较好的软件产品。     

群机系统的容错和恢复

工作站群机系统已成为分布式并行处理发展的主流方向之一。随着群机系统应用领域的逐渐拓展和规模的不断扩大,人们对其可靠性的要求日益提高。设计高可靠的群机系统,需要着重研究其系统容错技术。本文主要论述Linux群机分布式系统进程的容错和恢复。重点讲述用户层中的检查点设置、卷回和进程迁移关键技术。     

基于流体观点的分布式负载平衡策略

为了实现群机系统内负载的平衡分布,提高资源利用率和系统的吞吐率,文章根据工作站群机负载的特点,将负载比作为流体,从而提出一种基于流体观点的负载平衡策略,为解决分布式系统中的负载平衡问题提供一种新的思路.     

基于流体观点的分布式负载平衡策略

为了实现群机系统内负载的平衡分布，提高资源利用率和系统的吞吐率，文章根据工作站群机负载的特点，将负载比作为流体，从而提出一种基于流体观点的负载平衡策略，为解决分布式系统中的负载平衡问题提供一种新的思路。     

基于群机系统的并行程序的最大加速比计算

加速比是并行程序的重要指标之一。在大多数并行系统中,在数据规 模确定的情况下,程序的加速比随节点工作站的增加而增加,但是大多数群机 系统的节点工作站是共享物理传输介质的,这使得许多并行程序的加速比在节 点机数目超过某一个值之后会随着节,点机的增加而减少。本文通过对群机系统 上并行程序执行时间的分析,论述了在数据规模确定的情况下,程序能够获得 的最大加速比和最短的计算时间,以及获得这个加速比和计算时间的节点机个 数。     

群机系统中进程迁移实现机制的研究

通过网络连接的群机系统在网络计算方面具有非常可观的发展和应用前景,在其中实现进程迁移是支持系统功能的重要保障之一。该文论述了进程迁移在群机系统中的研究意义、应用需求和实现设计目标,并提出和分析了其实现机制的主要关键技术。     

基于信任的云计算身份管理模型设计与实现

随着云计算的发展,身份管理问题已经引起业界高度关注。基于群签名的身份认证机制保证了云服务提供者不能通过外包的数据回溯用户的身份信息,并广泛应用于云计算环境的身份管理中,但它无法阻止恶意用户对云服务的非法访问。针对此不足,改进了现有的身份管理模型,将信任管理与群签名机制相结合,设计了基于信任的身份管理模型。本模型首先计算用户信任度并将其作为群签名分组的依据,再利用群签名机制实现用户认证,在应用中既能保证用户隐私,又能帮助云计算提供者保护资源。实验结果表明,本模型能有效识别恶意用户,帮助云服务提供者阻止恶意用户对资源的访问。     

工程项目群资源管理的HTCPN 建模与优化

 资源有限性引起的项目间资源冲突是影响工程项目群建设周期和效益的重要因 素。构建一个能够准确描述工程项目群实施全过程中任务关系、资源需求以及任务持续时间 等资源管理相关信息的资源模型是进行工程项目群实施阶段过程管理和资源优化配置的关键。 针对非消耗性资源的属性及工程项目群实施阶段资源管理的建模需求,基于HTCPN 定义了工 程项目群实施阶段资源模型。该模型能够准确描述工程项目群实施全过程,可以进行资源冲 突发现、运行时间、资源计划方案优选的仿真分析。借助CPN Tools 仿真平台,以某工程项目 群实施阶段为例进行资源模型的构建和仿真,验证了基于HTCPN 构建工程项目群实施阶段资 源模型的正确性和有效性。     

高能物理云平台中的弹性计算资源管理机制

虚拟化技术作为一种新的资源管理技术,正在高能物理领域得到越来越广泛的应用。静态虚拟机集群方式已经逐渐不能满足多作业队列对于计算资源动态的需求。为此,实现了一种云计算环境下面向多作业队列的弹性计算资源管理系统。系统通过高吞吐量计算系统HTCondor运行计算作业,使用开源的云计算平台Openstack管理虚拟计算节点,给出了一种结合虚拟资源配额服务,基于双阈值的弹性资源管理算法,实现资源池整体伸缩,同时设计了二级缓冲池以提高伸缩效率。目前系统已部署在高能所公共服务云IHEPCloud上,实际运行结果表明,当计算资源需求变化时系统能够动态调整各队列虚拟计算节点数量,同时计算资源的CPU利用率相比传统的资源管理方式有显著的提高。     

网络集群计算系统中的并行任务调度

基于多处理机并行任务调度模型，探讨网络集群计算系统中的并行任务调度问题，首先证明了一般网络集群计算系统中调度算法的可近似性难度，然后提出了三种不同的启发式算法：最大长度优先调度算法、最大宽度优先调度算法和最大面积优先调度算法；然后根据大量的模拟实验对这些算法以及文献中已提出的调度算法进行了比较分析，结果表明该文的启发式算法比文献中的算法在性能上效果更好。     

面向大数据复杂应用的虚拟集群动态部署模型

针对计算负载的时变性和复杂性导致虚拟集群的资源利用率不高的问题,为提高虚拟集群资源的全局利用率,采用弹性资源管理策略来吸收多种计算模式混杂时的资源需求突变。在Docker容器技术的支持下提出一个根据作业需求变化的动态部署模型。该模型根据资源的动态需求变化,实时调整虚拟集群的计算形态,具体包括计算节点的类型及规模。该模型不仅实现用户作业执行环境的动态定制,而且达到错峰计算的目的。仿真实验表明,该模型使得虚拟节点CPU利用率提升5.3%,并且优化了计算作业的执行效率。该动态部署模型适合应用到数据中心或大规模集群中,能够有效提高计算资源的利用率。     

大型高能物理计算集群资源管理方法的评测

高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。     

网格环境下的集群系统作业管理研究

网格计算已经逐渐形成一个重要的新领域。相对于传统的分布式计算，它的显著之处在于它能够共享网络上的各种资源，包括地理上分布的各种计算资源。PBS是广泛应用于并行计算机的作业管理系统，它可以按照用户定义的配置参数相对公平地为每个作业分配系统资源。但是在网格环境范围内对集群系统进行管理仍然是一门有待研究的课题。利用网格系统软件和集群系统管理软件，实现了一种在网格环境下对集群系统作业进行管理的方法。     

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。     

曙光机群资源管理的设计与实现

机群资源管理负责机群系统内计算所需资源的管理，该文介绍机群资源管理的主要功能和重要的研究问题，着重介绍曙光3000机群系统的资源管理的设计与实现，包括分区管理，任务管理和通信管理功能及其对高可用性，可扩展性，动态特性的支持；并给出相应的性能分析结果，此外，还介绍了相关系统的资源管理和对未来该领域研究的方法。     

基于网格节点的分布计算策略分析

本文介绍了网格技术的现状和近期发展,讨论了集群服务器作为网格节点的重要组成部分在网格计算中的重要作用,重点给出了计算包在到达网格节点时的一种数学模型,并利用这种数学模型对网格节点的分布计算策略进行了分析。这对充分利用集群服务器计算资源、提高网格节点的服务能力有着重要意义。     

基于移动Agent的网格计算资源管理

为了实现网格计算资源的动态自适应性管理,移动代理技术被引入网格资源管理,提出了基于移动代理的网格资源管理调度模型;在模型基础上,采用遗传算法针对网格计算环境下移动Agent任务调度问题展开了深入的研究。     

支持网格的机群操作系统的设计

机群操作系统面临着网格计算对其提出的资源共享、协同工作和自治管理的挑战，现有的扁平机群操作系统不能够适应这种需求，提出了一种基于服务的机群操作系统DCOS，采用层次型结构和面向对象的设计思想，从多个角度为网络系统提供支持，讨论了远程过程调用、系统状态侦测、实时检查点、安全机制等主要关键技术。